技術的サマリー：CAVE – 断片的な視覚的証拠推論のための構造化されたクレジット割り当てアプローチ

1. 問題定義：断片的視覚推論（FVR）

ビジョン・ランゲージモデル（VLM）は一般的なマルチモーダル推論において著しく進歩してきたが、非局所的な視覚情報を低セマンティックな事前知識と統合する必要があるタスクにおいては脆さを示す。著者らはこの課題を**断片的視覚推論（FVR）**と定義する。FVR において、タスクに不可欠な証拠は空間的に断片化され、異なる画像領域間で意味的に弱く分離可能である。

現在の VLM はこの設定においてしばしば失敗する。その理由は以下の通りである：

• 粗いグローバル知覚： グローバル表現に依存することは、長距離依存関係や微妙な局所的差異を捉えることに失敗する。
• 言語化バイアス： モデルは証拠の言語化された部分集合へと推論をバイアスする傾向があり、一貫性はあるが視覚的根拠に欠ける連鎖を生み出す。
• 誤差伝播： 証拠選択における初期の誤りは、その後の推論ステップにおける連鎖的な失敗へと至る。

既存のインターリーブ推論手法（例："Think-with-Image"）は局所的な再観察を可能にするが、アクション固有のプロセス監視を欠いている。既存のプロセス報酬手法は、通常、最終回答の改善や全体的な軌道の質に基づいて中間ステップを評価するものであり、証拠の取得や領域への焦点化といった特定の推論行動に対するターゲットを絞ったガイダンスを提供することに失敗している。

2. 手法：CAVE（Visual Evidence に対するクレジット割り当て）

これらの限界に対処するため、著者らはインターリーブ視覚推論向けに設計されたGRPO（Group Relative Policy Optimization）に基づく構造化されたプロセス報酬手法であるCAVEを提案する。

2.1 インターリーブ推論軌道

モデルの解決プロセスは、軌道 $\tau = \{(M_t, a_t, o_t)\}_{t=1}^{T_\tau}$ としてモデル化される。ここで：

• $M_t$：マルチモーダル文脈状態（元の画像、質問、履歴、局所観察）。
• $a_t$：アシスタントアクション（テキスト推論、ズームツール呼び出し、または最終回答）。
• $o_t$：環境観察（例：ズームされたサブ画像）。

2.2 構造化されたプロセスクレジット

単一の状態効用報酬とは異なり、CAVE は中間ステップの価値を、3 つの相補的なアクションレベル信号に分解する：

1. 信念更新クレジット（$c_{bu}$）：

   • 目的： 正解への進捗を測定する。
   • メカニズム： 教師強制を用いて、状態 $M_t$ と $M_{t+1}$ の間の正解の本文（$A$）の条件付き対数尤度の増加を計算する。
   • 機能： モデルの状態を正解に近づけるステップに報酬を与え、回答指向の状態更新を制約する。

2. 証拠取得クレジット（$c_{ea}$）：

   • 目的： 重要な視覚的手がかりが回答信念に完全に統合される前に利用可能になる、先行する進捗を捉える。
   • メカニズム： タスクに対して注釈付けられた $K$ 個のテキスト化された視覚証拠単位（$P = \{p_1, ..., p_K\}$、例：「三角形の建物」）のセットを使用する。状態間におけるこれらの単位の回復可能性スコアの増加を測定する。
   • 機能： 必要な視覚詳細を段階的に取得する軌道に報酬を与え、盲目の推測と区別する。

3. 適応的焦点制御クレジット（$c_{af}$）：

   • 目的： 証拠のカバレッジと視覚ノイズのバランスを取るために、ズームベースの視覚的探索を制約する。
   • メカニズム：
     • 回答トークンのエントロピーを通じて状態の不確実性（$u_t$）を推定する。
     • 不確実性に基づいて目標ズームスケール $\hat{\rho}_t$ を定義する。
     • 報酬をゲートする：ズームアクションが正の信念または証拠の増加（$g_t$）をもたらすかつそのスケールが現在の不確実性と一致する場合（$1 - |\rho_t - \hat{\rho}_t|$）にのみ報酬が与えられる。
   • 機能： モデルに状態の進捗をもたらす局所観察を選択させつつ、無関係なノイズを避けるよう促す。

2.3 最適化

総報酬は、集約された軌道レベルのクレジットの重み付き和である：
$$R_{CAVE}(\tau) = \lambda_{bu}C_{bu}(\tau) + \lambda_{ea}C_{ea}(\tau) + \lambda_{af}C_{af}(\tau)$$
方策は、$R_{CAVE}$ に基づくグループ相対アドバンテージを計算して GRPO を用いて最適化される。最適化はアシスタントによって生成されたトークンのみに対して適用され、ツール観察は文脈として機能するが、方策勾配には参加しない。

3. ベンチマーク：TRACER-Bench

制御された評価とプロセスレベルの分析を可能にするため、著者らはTRACER-Bench（Text-Resistant Cross-Region Evidence Reasoning）を構築した。

• 範囲： 4 つのシナリオを網羅する 980 件の VQA サンプル：
  1. ルール切り替えナビゲーション（VJump）： ルール切り替え間での状態維持を要求する。
  2. 非意味的追跡（LT）： 意味的手がかりなしに経路を追跡する。
  3. 埋め込みマッチング（Match）： 微細なテンプレート - グリッド対応。
  4. リモートセンシングサブ画像マッチング（MME-RS）： 現実世界のノイズの多い画像におけるパッチのマッチング。
• 主要な特徴： 各サンプルには、オフライン分析と報酬計算に使用される重要な中間視覚的証拠（テキスト化されたもの）を含む知覚フィールドが含まれているが、推論中はモデル入力として提供されない。
• 隔離： 学習コーパスは、ランダムシード、レイアウト、インスタンスに関してテストセットから厳密に隔離されており、漏洩を防いでいる。

4. 実験結果

著者らは、一般的な VLM、推論指向モデル、ツール拡張手法を含む各種ベースラインに対して、CAVE（Qwen2.5-VL ベース）を評価した。

• 断片的視覚性能： CAVE は、比較可能なオープンソースベースラインの中で最高の平均性能を達成した。
  • TRACER-Benchにおいて、CAVE-7B はベースの Qwen2.5-VL-7B より平均スコアを**+15.5%**向上させた。
  • 専門的な推論モデル（例：ThinkLite-VL、VLAA-Thinker）やツール支援手法（DeepEyes）を大幅に上回った。
  • 除去実験（"Belief-Only"）は、回答信念の増加は効果的であるが、証拠取得と焦点制御がなければ不十分であることを示し、3 部構成の構造化されたクレジットの必要性を確認した。
• 一般マルチモーダル性能： CAVE は、一般的なベンチマーク（MMStar、RealWorldQA、HallusionBench など）において競争力のある性能を維持し、6 つのベンチマークのうち 4 つでトップまたはそれに準ずる結果を達成した。これは、視覚的証拠の探索の最適化が一般能力を低下させないことを示している。
• 頑健性： CAVE は、推論深度（ホップ数）およびクロスリージョン距離の増加に伴い、性能の低下が緩やかであることを示し、長距離依存関係における改善された安定性を示唆している。
• 効率性： CAVE は、ベースラインと比較して同等または低いトークン/ツール予算で高い精度を達成しており、より高い「有用ズーム率」（正の増加をもたらすズームの割合）によって実証されている。

5. 意義と主張

本論文は、CAVE が VLM 推論における特定のギャップ、すなわち空間的に断片化され意味的に弱い証拠を確実に統合できないという課題に対処すると主張する。

• 構造化されたクレジット割り当て： 主要な貢献は、中間推論価値を信念更新、証拠取得、および適応的焦点制御に分解することである。これは、既存の軌道レベルの報酬が見逃している、ターゲットを絞ったアクションレベルの監視を提供する。
• プロセス指向最適化： 結果は、性能向上がより大きなモデルスケールや特定のツール形式から生じるものではなく、視覚的証拠の進行プロセスの構造化されたモデリングに由来することを示唆している。
• 汎用性： この手法は、断片的なタスクの性能を向上させつつ、一般的なマルチモーダル能力を保持しており、視覚的証拠を探索し統合する学習された能力が転移可能であることを示している。
• ベンチマーキング： TRACER-Bench は、検証可能な中間証拠連鎖を伴うクロスリージョン依存関係推論を評価するための必要な枠組みを提供し、Tunnel Vision や BabyVision などの既存のベンチマークにおけるプロセス証拠分析の欠如に対処する。

著者らは、CAVE がモデルにタスクに不可欠な証拠を発見し、推論状態を更新し、有益な領域に焦点を当てるよう効果的に導き、低セマンティック分離性と長距離依存関係の条件下でより頑健な視覚推論をもたらすと結論づけている。