技術的サマリー：検証可能なマルチモーダル深層研究への道

問題定義

大規模言語モデル（LLM）やビジョン・ランゲージモデル（VLM）の進展により、自律エージェントは「深層検索」（簡潔な事実的回答の取得）から「深層研究」（散在する証拠の統合による長文レポートの作成）へと進化しましたが、検証可能なマルチモーダル深層研究においては依然として重大な課題が残っています。

本論文は、現在のシステムにおける 2 つの主要なボトルネックを特定しています：

1. 開放性： 決定論的な正解を持つ閉域タスクとは異なり、深層研究は出力が単純に検証できない開放領域における多回反復検索を必要とします。既存のパイプラインはしばしば段階的な検証を欠いており、初期段階のノイズが蓄積し、事実的に信頼性の低いテキストや整合性の取れていない視覚要素へと至ります。
2. マルチモーダル交錯： 専門的なレポートは、テキストの論理と視覚的証拠（例：チャート、図表、スクリーンショット）の緊密な統合を必要とします。現在のフレームワークは、画像の統合を核心的な研究要素ではなく、事後の装飾的ステップとして扱うことが多く、その結果、視覚的証拠がテキストの論理と緩く結びつき、専門的な交錯基準を満たせません。

既存のアプローチは、深い多段推論、広範な情報網羅、そして信頼性が高く画像とテキストが交錯したレポートの生成を同時に達成することに苦労しています。

手法：PTAH

著者らは、古代エジプトの創造神 Ptah にちなんで名付けられたPTAHを提案します。これは、信頼性の高いマルチモーダル深層研究のために設計されたマルチエージェント・ハネスです。レポート生成を単一の巨大な問題として扱うのではなく、PTAH は計画、研究、執筆という 3 つの明確な段階を通じて制御された実行ワークフローを調整し、ライフサイクル全体で承認関数として機能する検証エージェントによって管理されます。

1. 計画段階：視覚認識型研究状態の初期化

• プランナーエージェント： ドメイン知識を探索するためにテキスト検索ツールを反復的に呼び出します。高レベルの概要、セクションレベルの目標、期待される証拠の種類、および明示的な視覚仕様を含む構造化された計画を生成します。これらの仕様は、視覚要素がどこに現れるべきか、その伝達役割、および必要な形式（チャート対スクリーンショットなど）を定義します。
• 検証： 計画は二重の検証を受けます：
  • ルールベース： 対話プロトコル、ツール使用の制約、および JSON 形式をチェックします。
  • LLM ベース： クエリの網羅性、セクションの整合性、および視覚的論理との関連性を評価します。
  • 失敗した計画は、進行する前に修正されます。

2. 研究段階：並列証拠収集と視覚作業メモリ

• リサーチャーエージェント： 計画された各セクションについて、独立したエージェントが検索および取得ツールを使用して調査を行います。発見事項、主張に基づく証拠、数値データ、表、および参考文献を含む構造化されたパッケージを生成します。
• 視覚作業メモリ（VWM）： テキスト収集と並行して、研究者は訪問したウェブページから画像を抽出します。
  • フィルタリング： ルールベースのフィルタが、低解像度、重複、または無関係な画像を除去します。
  • 選択： VLM ベースのセレクターが、計画段階の視覚要件に対して残りの候補を評価します。
  • 保存： 保持された画像は、ソース URL、周囲のコンテキスト、関連するセクション、および意図された視覚役割と共に保存されます。これにより、ソースに整合した資料が、事後の資産ではなく、構造化されたクロスモーダル状態として外部化されます。
• 検証： 検証エージェントは、引用の忠実性、主張の裏付け、および視覚的関連性をチェックします。失敗したパッケージは修正のために返却されます。

3. 執筆段階：宣言的マルチモーダル構成

• ライターエージェント： グローバルな計画、検証済みの研究パッケージ、および VWM を使用して最終レポートを構成します。その場限りの挿入ではなく、宣言的マルチモーダル構成戦略を採用し、テキストコンテンツと画像指示を同時に生成します。
• 画像操作： ハネスは 3 つの操作を調整します：
  1. 画像参照： VWM からソースに整合した画像を再利用します。
  2. 画像検索： VWM が不十分な場合、追加のウェブ画像を取得します。
  3. 画像生成： 合成が必要な場合、コード実行または生成モデルを通じて新しい視覚要素（チャート、図表）を作成します。
• テスト時スケーリング（TTS）： 最終レンダリング前に、システムは 6 段階の洗練ループを適用します：
  1. セクション洗練： 明瞭性と証拠の網羅性を向上させます。
  2. 画像洗練： 画像を保持、削除、または編集するかを決定します。
  3. 全体洗練： グローバルな組織化とクロスモーダルの一貫性を強化します。
  4. HTML 生成： レポートを HTML に変換します。
  5. HTML 洗練： レイアウトとスタイルを調整します。
  6. レンダリング： 最終的なユーザー向けレポートを表示します。

評価プロトコル：PTAHEval

交錯レポートの評価指標の欠如に対処するため、著者らは既存のベンチマークに 2 つの新しい次元を追加したPTAHEvalを導入します：

1. 画像コンテンツ品質（ICQ）： 個々の画像について、視覚的明瞭性（VC）、クロスモーダル整合性（CMA）、情報補完性（IC）、および証拠的支援（ES）を評価します。
2. マルチモーダルプレゼンテーション品質（MPQ）： レンダリングされたウェブページ（ビューポート）について、密度と可読性のバランス（DLB）、情報の顕著性（IS）、視覚的エンコーディングの多様性（VED）、および視覚的人間工学（VE）を評価します。

実験結果

実験はDeepResearch BenchおよびDeepConsultで行われ、PTAH を直接生成モデル、テキストのみの検索エージェント（ReAct、Search-o1、WebThinker）、およびマルチモーダルベースライン（LLM-I）と比較しました。

• 全体的なコンテンツ品質： PTAH は DeepResearch Bench で最高の総合スコア（45.16）を達成し、洞察/深さと可読性においてリードしました。DeepConsult では、平均スコア 16.18（次点の 2 倍以上）で全てのベースラインを上回りました。
• 視覚品質： PTAH は ICQ（4.39 対 LLM-I の 1.97）および MPQ（3.71 対 LLM-I の 3.00）においてベースラインを大幅に上回り、より明確で文脈に関連性の高い画像、および優れたレイアウト組織化を実証しました。
• 信頼性： PTAH は引用精度 87.53、タスクあたり 9.64 の有効な引用を達成し、無効または幻覚的な URL を頻繁に出力するベースラインを大幅に上回りました。
• 人間評価： 人間の注釈者は、可読性のケースの 88.75% および情報取得効率のケースの 96.25% で、ベースラインよりも PTAH を好みました。
• アブレーション研究：
  • 検証エージェントを除去すると、タスク完了成功率が 32% 低下し、引用精度が大幅に低下しました。
  • **テスト時スケーリング（TTS）**を除去すると、総合スコアが 3.03 ポイント低下し、画像生成の失敗が増加しました。
  • 視覚要素を除去（PTAH w/o images）すると、高品質なテキスト品質（45.10）は維持されましたが、MPQ スコア（3.29）は低下し、視覚的交錯が特にプレゼンテーション品質を向上させることを確認しました。

意義と主張

本論文は、PTAHが以下の点で検証可能なマルチモーダル深層研究における重要なギャップを埋めると主張しています：

1. 検査可能な中間成果物を持つ計画、研究、執筆の段階へとライフサイクルを分解すること。
2. 各段階で事実の裏付け、引用の忠実性、およびクロスモーダルの一貫性を強制し、エラーの蓄積を防ぐ検証エージェントを導入すること。
3. 事後の装飾ではなく、視覚作業メモリを通じて視覚的証拠を核心的な研究要素として扱うこと。
4. 交錯した画像・テキストレポートの品質とそのレンダリングされたプレゼンテーションを評価するために必要な指標を提供するプロトコルPTAHEvalを導入すること。

著者らは、検証とテスト時スケーリングが、信頼性が高く専門的に交錯したレポートを生成する上で中心的であり、彼らのモジュール式マルチエージェントアプローチが信頼性の高いマルチモーダル生成のための堅牢なフレームワークを提供すると結論付けています。また、長期的タスクにおける現在のオープンソースモデルの推論能力に関する限界を認め、システムの制御性と信頼性のために、彼らの逐次的段階設計は必要なトレードオフであると述べています。