技術的サマリー：エージェントはセマンティックメタデータを必要とするか？エージェント型データ検索における比較研究

問題定義

大規模言語モデル（LLM）を搭載した自律型エージェントが非構造化ウェブを航行できるようになるにつれ、データ発見におけるセマンティックメタデータの必要性に関する根本的な問いが生じています。schema.org などのセマンティック標準は、機械実行可能なデータに対する FAIR 原則（発見可能、アクセス可能、相互運用可能、再利用可能）の歴史的な基盤となってきましたが、現代の LLM は理論的には HTML の散文から直接文脈を抽出でき、従来のメタデータ構造を迂回する可能性があります。核心的な研究課題は、エージェント型データ検索においてセマンティックメタデータが依然として重要なインフラであるのか、それとも非構造化ウェブ検索のみが信頼性のある実行可能な機械可読データを提供できるのかを決定することです。具体的には、非構造化検索に依存するエージェントが「ラストマイルの有用性」の失敗（実際のデータペイロードではなく、散文の多いページやポータルを検索してしまうこと）に陥るかどうか、そして構造化エコシステムが実行指向のワークフローに対して優れた基盤を提供するかどうかを調査します。

手法

著者は、Agent Development Kit（ADK）と Gemini 2.5 Pro モデルを搭載した統一されたエージェントアーキテクチャを用いて、2 つの異なる環境におけるエージェント型データ検索の比較分析を行いました。

実験設定

1. ベースラインエージェント（非構造化）: このエージェントは、数十億のオープンウェブ文書を表す一般的な Google 検索インデックスをクエリします。非構造化ウェブ内のデータを対象とするため、クエリ拡張（「データセット」などのキーワードを追加）を採用しています。
2. セマンティックエージェント（構造化）: このエージェントは、schema.org/DCAT マークアップから派生した約 9,000 万件のデータセットメタデータレコードのキュレーションされたコーパスである Google Dataset Search インデックスをクエリします。このエージェントは、データセットエンティティへのネイティブな制限を活用するため、クエリ拡張なしで動作します。
3. 評価フレームワーク: 研究では、真のユーザー意図をシミュレートするために、NTCIR-16 データ検索ベンチマークから 58 件の英語のキーワードベースのクエリを使用しました。
4. LLM-as-a-Judge パイプライン: 拡張性が高く分散の少ない評価を確保するため、著者は Gemini 2.5 Pro をジャッジとして使用する自動評価パイプラインを配備しました。このパイプラインは FAIR 原則に直接対応し、以下の 3 つの次元を評価します。
   • 関連性（発見可能）: クエリとデータセットの範囲とのセマンティックな整合性。
   • データアクセス性（アクセス可能）: データ抽出の複雑さと技術的障壁の有無（例：機械可読ファイル対散文）。
   • データセットページタイプ（相互運用可能/再利用可能）: 検索されたページの分類（例：データレジストリ、生データ、データナラティブ、発見ポータル）。
5. 検証: 自動評価は、人間の注釈による「ゴールドセット」に対して検証され、高い合意度（コホエンの kappa 係数が 0.70 から 0.95 の範囲）を達成しました。複雑なレイアウトやセキュリティブロックを含むエッジケース（検索結果の 31%）のサブセットは、選択バイアスを防ぐために人間による評価にルーティングされました。

主要な貢献

• 比較有用性研究: 本論文は、エージェント型データ検索におけるセマンティックメタデータエコシステムと非構造化ウェブ検索の直接的なエンドツーエンドの比較を提供し、コーパス構成と検索論理に対するメタデータの影響を分離します。
• FAIR 整合評価パイプライン: 著者は、人間中心の FAIR 原則を自律システム向けの具体的な指標に変換する多次元の「LLM-as-a-judge」フレームワークを導入し、従来のセマンティック関連性を超えて運用上のデータ有用性を評価します。
• 手法の透明性: 研究では、LLM-as-a-judge 手法の再現性を確保するために、自動評価者が使用した正確なプロンプトを公開しています。

結果

比較分析により、2 つのエージェント間には明確な性能特性の乖離が明らかになりました。

• 精度と実行可能性: セマンティックエージェントは、実行可能なデータ検索において有意に高い精度を示しました。メタデータ豊富なレジストリに対しては 44.9% 高い精度、機械可読ダウンロードを備えたページに対しては 46.6% 高い精度 を達成しました（ベースラインエージェントと比較）。
• ラストマイルの有用性の失敗: ベースラインエージェントは、即座のデータペイロードの特定に頻繁に失敗しました。その結果の相当部分は、さらなるナビゲーションや複雑な抽出を必要とし、自律実行を阻害する、散文の多いページ（20.1%）やポータルランディングページ（8.5%）で構成されていました。
• 全体の精度: セマンティックエージェントは、FAIR 準拠のデータセット（非常に関連性が高く、機械可読で、レジストリタイプのページとして定義される）の検索において、65.7% 高い全体の精度 を達成しました。
• カバレッジ対精度のトレードオフ: ベースラインエージェントは 40% 多くの質問に回答 しました（56 対 40）。これは、セマンティックマークアップが欠如しているニッチなトピックにおいて、優れた再現率と探索的広さを示しています。しかし、この広さは、低い精度と高いノイズを伴う代償でした。
• FAIR 準拠: セマンティックエージェントの検索結果のほぼ半分（46.4%）が厳格な FAIR 基準を満たしたのに対し、ベースラインエージェントでは 28.0% にとどまりました。

意義と主張

本論文は、非構造化検索が広範な探索タスクをサポートする一方で、構造化エコシステムは、信頼性が高く実行指向の自律ワークフローにとって不可欠な基盤であり続けると結論付けています。

著者は、エージェントの登場が FAIR データの必要性を低下させるのではなく、むしろ FAIR 原則を人間中心のベストプラクティスから技術的要件へと昇華させると主張しています。自律型エージェントにとって、「発見可能性」は単なる出発点に過ぎず、タスクを実行する能力には、機械実行可能なアクセス性（例：直接 API、機械可読形式）とセマンティック属性による相互運用性が不可欠です。本研究は、非構造化ウェブ検索のみに依存することは、高いエントロピーとエージェントの性能を低下させる「ラストマイル」の失敗をもたらすと示唆しています。

したがって、著者は将来のエージェントシステム向けにハイブリッドアーキテクチャを提案しています。エージェントはまず、信頼性と機械実行可能性を確保するために、高精度なセマンティックメタデータ層をクエリすべきです。この初期検索で結果が得られない場合、システムはより広範な網を張るために非構造化アプローチにフォールバックし、広範な知識発見の必要性と信頼性のあるデータ実行の必要性のバランスを取ります。