技術要約：コストを考慮したマルチモーダルRAGのための事後的な選択的モダリティ・エスカレーション

1. 問題提起

マルチモーダル検索拡張生成（RAG）システムは、ヘテロジニアスな証拠（テキスト、表、画像）に基づいて大規模言語モデル（LLM）をグラウンディングさせる必要がある。デプロイメントにおける根本的な課題は、モダリティ間のコスト非対称性である。テキストや表の処理は計算コストが低い一方で、画像の処理には高価な視覚言語モデル（VLM）が必要となり、高いレイテンシと計算コストが発生する。

現在の適応型システムは、通常、証拠を読み取る前、あるいは回答をドラフトする前の**事前検索（pre-retrieval）段階でモダリティの決定を行う。これらのシステムは、質問の視覚的な関連性に基づいてVLMを呼び出すかどうかを決定する、質問条件付きの予測器を使用している。著者らは、これが誤った決定ポイントであると主張する。彼らは、「モダリティの関連性（relevance）は、モダリティの有用性（utility）ではない」**と断じている。ある質問は画像に対してトピックとして関連している（関連性がある）が、テキストと表のみで十分に回答可能である（有用性がある）場合がある。したがって、事前検索型のルーターは、視覚的な処理が厳密には必要ない質問に対しても「過剰なエスカレーション（over-escalate）」を行い、視覚的処理のコストを支払ってしまう一方で、微細だが不可欠な視覚的手がかりを見逃す可能性がある。

2. 手法：事後的な選択的モダリティ・エスカレーション

本論文は、安価な回答試行の後にモダリティの決定を遅らせるフレームワークを提案している。システムは以下の3つのステージで動作する。

A. 安価なドラフト生成

システムはまず、テキストと表のコンテキスト（$C_{tt}$）のみを使用して、クエリに回答する試みを行う。これにより、低い計算コストでドラフト回答（$a_{tt}$）が生成される。

B. モダリティ・ギャップ検証

**検証器（verifier）**が、タプル $(query, draft, evidence)$ を検査する。標準的な充足性チェックとは異なり、この検証器は単なるバイナリの「不十分」信号を出すのではなく、証拠の欠落を特定のモダリティに帰属させる。具体的には、ドラフトを修正または検証するために不足している証拠が、視覚的な性質を持つものであるかどうかを判断する。

• 重要な相違点: 検証器は、質問だけでなくドラフト回答を条件とする。もしドラフトがテキスト/表に基づき正解であれば、たとえ質問が視覚的に関連していても、検証器はそれを受理し、視覚的な呼び出しを回避する。

C. 校正された価値（Value-of-Escalation）ルーター

精度とコストのトレードオフを最適化するために、システムは単純なバイナリ検証器ではなく、校正されたルーターを採用する。

• メカニズム: ルーターは、2つのアクションの正解率の校正された推定値、すなわち $\hat{p}_{KEEP}$（テキスト/表のまま維持した場合の精度）と $\hat{p}_{ESC}$（VLMへエスカレーションした場合の精度）を学習する。
• 決定ルール: 期待される精度向上が閾値 $\tau$ を超える場合にのみ、エスカレーションが行われる：
  $$\hat{p}_{ESC}(q) - \hat{p}_{KEEP}(q) \geq \tau$$
• 特徴: モデルは、ポストドラフト信号（例：ドラフトの棄権、ドラフトの長さ、検証器の投票、画像候補の数）を使用するが、データリークを防ぐためにゴールドアノテーションは除外する。
• 結果: これにより、システムは精度－エスカレーション・フロンティアを追跡することが可能になり、オペレーターは与えられた視覚コストに対して精度を最大化する特定の動作点（予算）を選択できる。

3. 主要な貢献

モダリティの関連性と有用性のギャップ

MultiModalQAデータセットを用いたオラクル・ヘッドルーム分析を通じて、著者らは以下を実証している：

• テキスト＋表のパイプラインは、約35.1%の質問に正解する。
• 「常時オンのVLM」パイプラインは、100%の視覚コストをかけて44.6%に達する。
• オラクル（どの質問に画像が必要かを正確に知っているもの）は、39%のエスカレーションで43.0%の精度に達する。
• これは、注釈付きの画像を持つ質問の約61%が「モダリティ飽和（modality saturated）」（画像なしで回答可能）であることを意味している。事前関連性ルーターは、これらの飽和した質問に対してリソースを浪費している。

事後的選択的エスカレーション

本論文は、以下の手法を導入する：

1. まず安価に回答する。
2. 検証器を通じて、証拠の欠落を画像モダリティに特定する。
3. ギャップが視覚的な場合にのみ、VLMの証拠へとエスカレートする。
4. 校正された価値モデルを使用して、利得がコストに見合うかを判断し、調整可能な精度－コスト・フロンティアを提示する。

実証的妥当性

MultiModalQAにおける、厳密に一致させた予算に基づくマルチシード・ホールドアウト・プロトコル下での検証：

• 性能: 事後ルーターは、様々なエスカレーション予算において、強化された事前検索ベースライン（VOILAスタイル）を上回る性能を示す。例えば、45%のエスカレーション予算において、事後手法は0.442の精度を達成し、事前検索ベースラインの0.431を上回る。
• オラクルへの近接性: 本手法は、学習された信号のみを使用して、モダリティ・オラクルの性能（39%のエスカレーションで0.430）に接近し、常時オンのVLMと比較して視覚的呼び出しを大幅に削減する。
• 外部妥当性: モダリティが分離している（disjoint）WebQAにおいて、事後手法は事前検索ベースラインに収束する。これは、精度向上のメリットが関連性－有用性のギャップの大きさに比例することを裏付けている。

4. コストおよびレイテンシ分析

本論文は、実際のオンラインコストを報告している：

• オーバーヘッド: 事後手法は、ベースラインの1回の呼び出しに対し、追加の72Bドラフト生成と検証器の呼び出しを必要とする（45%のエスカレーション時で質問あたり約2.45回の呼び出し）。
• レイテンシ: エンドツーエンドのレイテンシは、検証器によって支配され、約4.49秒となる。これは、テキストのみの約0.91秒や、常時オンVLMの約1.40秒と比較して長い。
• トレードオフ: 著者らは、レイテンシは高くなるものの、本手法はマッチド・バジェット精度や視覚的呼び出しの削減を優先するシナリオにおいて優れていると述べている。将来的な課題として、検証器をより小さなモデルに委譲することでレイテンシを軽減できる可能性を示唆している。

5. 意義と主張

本論文は、RAG文献で確立されたルーティング信号の階層（ドラフトされた回答や特定の推論ステップに基づいた決定が、クエリのみの決定よりも優れているというもの）を、第三の軸であるモダリティへと拡張することを主張している。

• 核心となるテーゼ: モダリティの決定は、前（事前）ではなく、安価な試行の後に行われるべきである。
• 統一原理: 著者らは、検索の深さ、推論ステップ、およびモダリティに適用可能な、単一のコストを考慮した選択的エスカレーションの原則を提案している：安価に回答し、証拠に対して検証を行い、報われる場合にのみ選択的にエスカレートする。
• 限界: 著者らは、本手法が事前計算された視覚サイドカー（オフラインのVLMコスト）に依存しており、ほぼ全ての質問に視覚が必要な場合には最適ではない可能性があることを認めている。また、ルーターの学習にオフラインの反事実ログへの依存があることも述べている。

要約すると、本論文は、事後の検証と校正されたルーティングを通じて、モダリティの関連性と有用性を分離することにより、マルチモーダルRAGシステムが視覚推論コストを大幅に削減しながら、オラクルに近い精度を達成できることを示している。