Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

技術的サマリー：Ishigaki-IDS-Bench

問題定義
大規模言語モデル（LLM）は、JSON、SQL、コードなどの構造化出力を生成する能力を高めてきていますが、業界標準の XML スキーマと厳格なドメイン語彙制約を同時に満たす生成を評価するための公的リソースは依然として限られています。建築・土木・建設（AEC）分野において、ビルディングインフォメーションモデリング（BIM）はデータ表現に Industry Foundation Classes（IFC）標準に依存しています。情報提供仕様（IDS）は、これらの IFC モデルに対する機械可読の情報要件を定義するために使用される XML ベースの標準です。

自然言語の要件や表形式のチェックリストから IDS を生成することは、複雑な制約付き構造化生成タスクです。これには、構文的な妥当性だけでなく、以下の要素も必要とされます：

1. 標準準拠性：IDS スキーマおよび標準への準拠。
2. 語彙マッピング：自然言語の用語（例：「壁」）を特定の IFC 標準クラスに正しくマッピングすること。
3. 制約表現：IDS 検査単位内で値の制約（例：耐火等級）を正確に定義すること。
4. 意味的対応：生成された XML が、入力ドキュメントの意図を曖昧さなく反映していることを保証すること。

一般的な構造化生成に対する現在の評価手法は、これらのドメイン固有の複雑さの層を十分に扱っておらず、形式妥当性と内容の正確性における失敗を分析するための枠組みも提供していません。

手法
本論文は、BIM 情報要件から IDS XML を生成する LLM の能力を評価するためのベンチマークであるIshigaki-IDS-Benchを導入します。

• データセット構築：ベンチマークは、83 の実用的なシナリオから派生した166 の例で構成され、日本語と英語の両方に拡張されています。これらの例は BIM/IDS 専門家によって作成・検証されました。データセットには、入力コンテキスト（CSV または自然言語）、対象 IFC バージョン、対応する「ゴールド」IDS ファイルが含まれます。

  • 構築プロセスには、ユースケースのブレインストーミング、入力とゴールド出力の手動作成、意味的対応に関する専門家レビュー、およびIDSAuditToolを用いた形式的検証が含まれます。
  • メタデータとして、入力形式、言語、ターン設定（シングルターン対マルチターン）、IFC バージョン、および建設ドメインが提供されます。
  • データセットは、エンティティ（IFC 要素タイプ）、属性（基本的な IFC フィールド）、プロパティ（プロパティセット、ベース名、値、データ型、および多重度を含む追加情報）という 3 つの中核的な側面に焦点を当てています。

• 2 段階評価プロトコル：

  1. 形式的妥当性（ステージ 1）：IDSAuditToolを使用して、生成された出力が処理可能か、および標準に準拠しているかを評価します。3 つの指標を報告します：
     • 処理可能性：監査が完了状態（ok、構造エラー、または内容エラー）に至ったかどうか。
     • 構造：XML 構造および IDS XSD スキーマへの準拠。
     • 内容：IDS 標準および IFC 語彙制約への準拠。
  2. 内容合意（ステージ 2）：ファセットスコアが、生成された IDS とゴールド IDS を比較します。名前空間、空白、大文字小文字を正規化した後、比較ブロック（適用性/要件、ファセットタイプ、および制約）に対して完全一致を実行します。このステージでは、適合率、再現率、およびマクロ F1 スコアを計算し、XML が有効であるが入力に対して意味的に誤っている場合の失敗を捉えます。

• ベースライン実験：著者は、10 の LLM（GPT-5.5 などのクローズドなプロプライエタリモデルや、Qwen3 や Kimi などのオープンウェイトモデルを含む）をゼロショット設定で評価しました。プロンプトにはタスク指示と入力要件が含まれていましたが、ファインショットの例やゴールド IDS 参照は含まれていませんでした。

主な貢献

1. Ishigaki-IDS-Bench データセット：ゴールド IDS ファイルと多面的なメタデータを含む 166 の例を備えた、高品質で専門家検証済みのベンチマーク。AEC 分野におけるドメイン標準 XML 生成のための公的リソースの欠如に対処する。
2. 2 段階評価フレームワーク：形式的妥当性チェック（IDSAuditTool 経由）とファセットレベルの内容合意スコアリングを組み合わせたプロトコル。生成がどこで失敗するか（構文対意味）を詳細に分析可能にする。
3. ゼロショットベースラインと分析：10 の LLM の包括的な評価により、IDS 生成における現在のモデルの能力と失敗モードの診断的視点を提供する。

結果
10 の LLM の評価は、安定した IDS 生成における重大な課題を明らかにしました：

• 性能の格差：最高性能のモデルであるGPT-5.5は、内容合意において65.6% のマクロ F1を達成しましたが、内容監査（IDS 標準および IFC 語彙への準拠）のパス率は**27.7%**にとどまりました。
• 処理可能性対内容：多くのモデルは高い処理可能性率（Kimi K2.6 で 99.4% など）を示しましたが、内容のパス率は低く、構文的に処理可能な XML は生成できるものの、ドメイン固有の制約への準拠に苦戦していることを示しています。
• モデルのスケーリング：オープンウェイトの Qwen モデルにおいて、パラメータ数の増加は F1 スコアの向上（8B で 20.2% から 397B で 26.8%）をもたらしましたが、内容のパス率（10.2% から 19.3% の間で推移）を大幅に改善しませんでした。これは、規模の拡大だけではドメイン標準の習得には不十分であることを示唆しています。
• 入力と設定の影響：
  • マルチターン設定（既存の IDS の更新）は、ゼロから生成するシングルターン（F1 58.6%）と比較して、はるかに高い性能（GPT-5.5 で F1 84.8%）を示しました。
  • CSV 入力は、自然言語入力よりも高い F1 スコアをもたらしました。これは、要件とファセットの間のマッピングがより明確であるためと考えられます。
• 失敗モード：一般的なエラーには、XSD/IFC 制約の形式的違反、誤ったプロパティセット名、および自然言語のターゲットを値の制約にマッピングする際の曖昧さなどが含まれていました。

意義
本論文は、Ishigaki-IDS-Bench を大規模なトレーニングコーパスではなく、診断リソースとして位置づけています。その意義は以下の点にあります：

• 現在の LLM は IDS として部分的な情報要件を表現できるが、IDS 標準および IFC 語彙の厳格な制約を満たす出力を安定して生成することには苦戦していることを浮き彫りにすること。
• ドメイン標準に準拠した制約付き構造化生成手法の開発を導くための、比較評価と失敗分析のフレームワークを提供すること。
• 標準準拠と外部検証を必要とする他のドメイン固有の構造化生成タスク（例：医療 HL7/FHIR、金融 XBRL）を評価するためのテンプレートを提供すること。

著者は、ベンチマークが評価スクリプトと再現性ドキュメントと共に、GitHub および Hugging Face でCC BY 4.0 ライセンスの下で公開されていることを明確に述べています。また、特定のファセット（分類、材料）の除外やゼロショット評価への依存といった限界を指摘し、これらの範囲の拡張やファインショット・ファインチューニングアプローチの探求を今後の課題として位置づけています。