技術概要：VeriTrip 非構造化 Web コーパスにおける旅行計画エージェントのための検証可能ベンチマーク

1. 問題定義

自律型旅行計画エージェントのための現在のベンチマークは、評価パラダイムと現実世界での展開との間に根本的な断絶を有している。既存のベンチマーク（例：TravelPlanner、TripTailor）は、通常、事実が構造化されたインターフェースを介して提供される整備された API 環境内で動作する。このアプローチは、オープン Web の核心的な認知的課題——情報のノイズ、複数ソースからの事実的矛盾、視覚的知覚を論理的計画に接地させる必要性——を抽象化してしまい、見落としてしまう。

一方、深層研究ベンチマークは、合成された出力に対する厳格な検証プロトコルを欠くことが多く、「LLM をジャッジとして用いる」評価に依存しており、微妙な事実の捏造を検知できない。この研究が扱う中心的な研究課題は以下の通りである：エージェントは、非構造化かつマルチモーダルな証拠から自ら事実を能動的に発見しなければならない場合、事実的に正確な計画を生成できるか？

2. 手法

2.1 VeriTrip 環境

API ベースの計画とオープン Web 検索の間のギャップを埋めるため、著者はマルチモーダル検索基盤（MRB）と検証可能知識ベース（VKB）に基づいて構築されたベンチマークVeriTripを導入する。

• マルチモーダル検索基盤（MRB）： 現実世界のソース（観光ポータル、フォーラム、予約ページ）からキュレーションされた 8,210 件のドキュメントと 4,146 件の画像を含む、静的かつ凍結された Web のスナップショット。MRB は、LLM ベースのセマンティックフィルター（Qwen3-Max）を用いて PII や隠れた広告をフィルタリングしつつ、古くなった意見、矛盾するレビュー、プロモーションスパムを含む「本物の Web ノイズ」を保持するように設計されている。
• タスク定式化： エージェントはクエリ $Q = (q_{txt}, q_{img})$ を受け取る。テキスト成分は制約（予算、期間、好み）を指定し、画像成分は視覚的アンカー（例、目的地の重く切り取られたソーシャルメディア写真）を提供する。
• エージェントインターフェース： エージェントは制限されたツールセットを介して MRB と対話する。
  • docSearch：キーワードベースのテキスト検索。
  • imgSearch：曖昧なアンカーを解決するための視覚的類似性検索。
  • getDocument：全文コンテンツの取得。
  • 構造化されたレストランメタデータ用の専用関数（生の Web データがしばしば断片化しているため、評価の完全性を確保する）。
• 検証可能知識ベース（VKB）： MRB から抽出された構造化されたゴールドスタンダードであり、エージェントからは厳密にアクセスできない。自動検証に使用される真の事実（交通 ID、POI 名、営業時間）を含む。

2.2 評価プロトコル

VeriTrip は、表面形式の一致を超えて、セル単位の事実検証プロトコルへと移行する。評価パイプラインには以下が含まれる。

1. 配信率（DR）： 出力が有効で解析可能な JSON であるかどうかを測定する。
2. 事実的信頼性（FR）： 生成された詳細（例、フライト番号、ホテル名）のうち、VKB と完全に一致する割合。これは体系的な推論の失敗とパラメトリックな幻覚を区別する。
3. 嗜好充足率（PFR）およびパス率（PR）： 柔軟な制約（食事の好み）と厳格な制約（予算、時系列的連続性）への準拠を評価する。
4. 地理的整合性： 巡回セールスマン問題（TSP）ソルバーを使用して**平均マージン（AM）**を計算し、最適ルートに対する過剰な移動距離を測定することで、空間的常識を評価する。

2.3 実験設定

このベンチマークは、以下の多様な最先端マルチモーダル大規模言語モデル（MLLM）で評価された。

• 思考なし： GPT-4o、GPT-5-mini、Claude-4.5-Sonnet、Gemini-2.5-flash、Qwen-VL-Max など。
• 思考あり： o3、o4-mini、Gemini-2.5-pro。
  モデルは、中国と米国の 15 の観光都市に関連する、難易度の異なるタスク（簡単、中程度、複雑）でテストされた。

3. 主要な貢献

1. 非構造化マルチモーダルベンチマーク： VeriTrip は、孤立した API ではなく、凍結された非構造化マルチモーダル Web コーパス上の旅行計画を評価する最初のベンチマークである。これは、エージェントに視覚的曖昧さを解決させ、ノイズの多い矛盾する証拠を navigated させることを強制する。
2. セル単位検証プロトコル： MRB から直接派生した VKB を構築することにより、著者は事実的信頼性の正確な自動定量化を可能にする。これにより、真の論理的推論を内部パラメトリック記憶から分離できる。
3. 認知的トレードオフの発見： 評価は、重要な検索 - 推論トレードオフを明らかにする。自律的検索と視覚的接地に必要な認知的負荷は、指示の保持や高レベルの嗜好充足を著しく損なう。
4. 視覚的接地分析： 本論文は、視覚ツール（Timg）が検索を強制することで事実的接地を改善し（幻覚を減少させる）、同時にモデルの推論能力を消耗させることで計画の質（PFR）を低下させることを実証する。

4. 主要な結果

• 無制限環境における体系的失敗： 試験されたすべての MLLM は、制約のない検索ベースの計画に苦しむ。**配信率（DR）**は比較的高いままだが、**事実的信頼性（FR）**は一貫して低く（多くのモデルで複雑なタスクにおいて 50% 未満）、常に低い。
• 「怠惰」現象： モデルは単純なタスクにおいて「怠惰」を示し、ツール呼び出しを減らしてパラメトリック記憶に依存し、その結果 FR が低下する。エージェントを複雑なタスクに強制するとツール使用が増加し FR が向上する（例：o4-mini は複雑なタスクで FR を 8.74% 改善）、これは能動的検索が幻覚を減少させることを確認する。
• 検索 - 推論トレードオフ：
  • 事実的信頼性対嗜好充足： タスクの複雑さが増すにつれ、FR は（強制検索により）向上する傾向があるが、**嗜好充足率（PFR）**は崩壊する。例えば、GPT-4o-mini の PFR は複雑なタスクで 21.45% 低下した。
  • 視覚的接地の影響： 除去実験により、視覚検索ツールの提供は（曖昧さを解決することで）FR を向上させるが、PFR を著しく低下させることが示された。視覚入力を処理する認知的負荷が、グローバルな制約を満たすために必要な推論リソースを消費する。
• ノイズ感受性： MRB 内の矛盾するまたは誤解を招く情報の存在は、特に配信率とパス率において性能を一般的に低下させるが、地理的整合性において一部のモデルは回復力を見せる。
• 失敗モード： ケーススタディは、エージェントが微細なエンティティ認識（特定の視覚的アンカーを POI にリンクさせること）で失敗し、強いテキスト事前知識が視覚的証拠を上書きする文脈的幻覚（例、ボストンの旅行計画にロサンゼルスのランドマークを無理やり組み込むこと）を示すことを明らかにする。

5. 意義と主張

著者は、VeriTrip を「ツール実行」から「証拠に基づく推論」へと焦点を移す、エージェント評価における必要な進化として位置づける。

• ギャップの埋め合わせ： この研究は、「見る」（視覚的知覚）と「計画する」（論理的合成）の間の大きな能力ギャップを浮き彫りにする。現在の MLLM は、外部検索なしにこのギャップを埋めるための微細な視覚的識別能力を欠いている。
• 記憶化に対する堅牢性： このベンチマークは、構造化された API 環境での高い性能がオープン Web には転嫁しないことを実証する。真の堅牢性には、ノイズの多い非構造化ソースに対して事実を検証する能力が必要である。
• 限界と境界： 著者は控えめに、VeriTrip は凍結されたサンドボックス内での静的証拠検索を評価すると主張する。リアルタイムの動的予約機能（ライブチケット購入や完売状況の処理など）は測定しない。対象範囲は中国と米国の 15 都市に限定され、評価はサンドボックスの「証拠が十分である」という性質によって制限される。

結論として、VeriTrip は次世代の計画エージェントの開発のための厳密な基盤を提供し、将来の進展は、自律的検索の認知的要求と論理的計画の忠実度との間の緊張関係を解決することに依存していることを強調する。