テクニカル・サマリー：マルチモーダルな注目の推移（Ebb and Flow）

1. 問題提起

視覚言語モデル（VLM）は強力な推論能力を示しているが、多段階の推論プロセスにおいて、しばしば**視覚的エビデンスの劣化（visual evidence degradation）**に直面する。視覚情報が言語スタックに取り込まれると、その影響力は層の深さとともに減衰し、言語的な構成と絡み合い、あるいは生成が進むにつれて漂流してしまうことがよくある。これが「視覚的無視（visual neglect）」を引き起こし、モデルが接地された視覚的エビデンスではなく言語的な事前知識に依存してしまう結果、ハルシネーションや推論の失敗を招く。

先行研究では、コントラスト・デコーディングやアテンション再配分、活性化ステアリングを通じてこれらの問題の軽減を試みてきたが、ネットワークの深さにわたって視覚的エビデンスがどのように整理され、使用されているかという統一的な理解は依然として不明である。具体的には、これらの失敗モードが単一の進化するプロセスに起因するのか、それとも別々のキューに起因するのか、また、推論が進むにつれて変化する視覚的エビデンスの役割をどのように追跡して介入すべきかが分かっていない。

2. メソドロジー

2.1 メカニスティック分析：ビジュアル・リレー・ウィンドウ（VRW）

著者らはまず、メカニスティックな観点からVLMの内部ダイナミクスを調査した。Transformer層全体にわたって2つの特定のアテンション・プローブを追跡することで、マルチモーダルな注目の安定した3段階の再分配を明らかにした。

1. 初期段階（質問条件付きの構成）： モデルは視覚入力をクエリに適合させる。アテンションは質問指向のプローブ（$M_{A \to Q}$）に支配され、視覚内アテンション（$M_{I \to I}$）は低い。
2. 中間段階（視覚主導のリレー）： バランスがシフトする重要なフェーズ。モデルが視覚的エビデンスを統合し、回答に関連する構造を組み立てるにつれ、視覚内アテンションが大幅に上昇する。質問指向のプローブは後退する。
3. 後期段階（回答の形成）： 計算は言語側に戻り、組み立てられた視覚的サポートをハンドオフ（受け渡し）して最終的な回答を生成する。

著者らは、この中間フェーズを**ビジュアル・リレー・ウィンドウ（VRW）**として定式化した。彼らは、リレー支配度スコア $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ （結合正規化後）を定義し、視覚的統合が支配的となる区間 $[s, e]$ を特定した。

分析からの主要な知見：

• タスク依存的な幾何学（Geometry）： VRWは固定されたものではない。その幅と終了深度はタスクの要求に応じて適応する。「詳細重視」のタスク（例：カウント）は、より広く、より遅いリレー・ウィンドウを示す一方、「推論重視」のタスクは、より早いハンドオフを伴う短いウィンドウを示す。
• リレーのミスマッチ： ハルシネーション（根拠のない）回答は、リレーの幾何学におけるミスマッチと因果的に結びついている。これらの軌跡は、リレーフェーズを早すぎるタイミングで終了させる（狭いウィンドウ）、あるいはハンドオフ後に強い視覚的アンカリングを維持できず、言語的事前知識へと漂流することが多い。
• 因果的検証： 裏付けのない軌跡の推定されたVRW内でのみ状態を摂動させると、接地された回答が有意に回復した（回復率41.4%）。一方で、このウィンドウ外での摂動は最小限の効果しか示さなかった。

2.2 TRACEフレームワーク

これらの知見に基づき、著者らは、3つの軽量な学習済みモジュールからなる推論時制御フレームワークであるTRACE（Task-adaptive Relay Anchoring and Controlled Evidence Scheduling）を提案する。

1. 学習済みリレー予測器（Learned Relay Predictor）： コンパクトなアテンション統計量（視覚自己アテンションの質量、その変化、質問対視覚アテンション、および層の深さ）に基づき、各プリフィル層の「リレー・スコア」を予測する軽量なMLP。どの層がリレーに参加する可能性が高いかを特定する。
2. タスク適応型リレー・スケジューリング（Task-Aware Relay Scheduling）：
   • プリフィル： 予測器の出力を用いて、視覚対視覚のアテンション・バイアスを動的に調整する。接地感に敏感なタスクのためにリレーフェーズを拡張したり、推論重視のタスクのために縮小したりすることができる。
   • 動的選択： 質問対視覚の関連性に基づくTop-Pを用いて、タスクに関連する視覚トークレットのサブセットを維持し、介入を動員されたエビデンスに集中させる。
3. ハンドオフ後のアンカリング（Post-Handoff Anchoring）： リレーフェーズが終了したことを確認した後（閾値付きの停止ルールによって特定）、回答対視覚のロジットに対して深度減衰を伴う加算バイアスを適用する。これにより、組み立てられた視覚的サポートがデコーディングフェーズ中もアクセス可能な状態に保たれ、モデルがエビデンスから離れていくのを防ぐ。

このフレームワークは、ベースとなるVLMのパラメータを凍結したまま、教師ありトリプルを用いた予測器、スケジューラー、およびアンカリング損失の共同最適化を通じて訓練される。

3. 主要な貢献

1. 構造的特定： 本論文は、深さにわたるマルチモーダルな注目の安定した3段階の再分配を特定し、中間フェーズを**ビジュアル・リレー・ウィンドウ（VRW）**として定式化することで、内部的なエビデンス組み立ての構造的な尺度を提供した。
2. メカニスティックな説明： 最適なリレーのタイミングと接地された生成との間の因果関係を確立し、ハルシネーションが、タスクの要求とモデルのリレー幾何学との間のミスマッチに起因することを実証した。
3. 統一的な介入（TRACE）： プリフィル中のリレー配分を再形成し、デコーディング中のサポートを維持するフレームワークを導入した。このアプローチは、個別の修正策を設計することなく、ハルシネーションの軽減と複雑な推論の両方に単一の制御原理の下で対処する。

4. 実験結果

TRACEは、4つのオープンウェイトVLMバックボーン（Qwen3-VL-4B/8B, InternVL3.5-4B/8B）を用い、接地感、微細なエビデンス、および推論重視のタスクをカバーする7つのベンチマークで評価された。

• 接地感に敏感な設定： TRACEはHallusionBench、VlmsAreBlind、CountBenchにおいて大幅な向上を実現し、平均で4.33ポイント、特定のモデルとベンチマークの組み合わせ（例：HallusionBenchにおけるInternVL3.5-8B）では最大6.6ポイントの向上を示した。
• 推論重視のタスク： MathVistaにおいても平均3.05ポイントの向上を示し、リレー幾何学を調整することが、エビデンスが整理された後に言語側への推論を早期にハンドオフすることを可能にし、推論タスクにも有益であることを示した。
• 比較： TRACEは、バニラの推論、セルフ・コンシステンシー、Chain-of-Thought、および様々な推論時制御のベースライン（VCD, PAI, MARINE, PTI, DMAS）を上回った。
• アブレーション： 3つのコアコンポーネント（予測器、スケジューラー、アンカリング）のいずれかを削除すると性能低下を招き、リレー幾何学を再形成するという特定のメカニズムが重要であることを裏付けた。

5. 意義と主張

本論文は、深さにわたってマルチモーダルな注力を明示的に制御することが、エビデンスに接地された推論を強化するための統一的かつ効果的なメカニズムを提供すると主張している。多様なダウンストリーム・タスクの要求を、単一の基礎的な計算リズム（リレー）の観点から捉えることで、TRACEはタスク固有のヒューリスティックを必要としない。

著者らは、本研究が典型的なハルシネーション（早期のリレー終了）および「思考型（Thinking）」モデルと標準的なモデルの能力差に対するメカニスティックな説明を提供することを強調している。現在の分析はアテンション由来のプローブと単一画像の設定に基づいているが、本研究は、モデルの内部的なエビデンス組み立てプロセスを特定のタスクの要求に適合させることにより、より信頼性の高いマルチモーダル推論のための一般的なパラダイムを提示している。