技術要約: CFPO: マルチモーダル推論のための反事実的方策最適化 (Counterfactual Policy Optimization)

1. 問題提起

大規模視覚言語モデル（LVLM）はマルチモーダル推論において著しい進歩を遂げているが、既存の強化学習（RL）パラダイム（例：PPO、GRPO）は根本的な不整合に直面している。これらの手法は主に結果の正当性を最適化しており、最終的な回答のみに基づいてモデルに報酬を与える。因果関係の観点から見ると、この結果駆動型のアプローチは、推論プロセスにおけるクロスモーダルな因果的一貫性を強制することに失敗している。その結果、モデルは「ショートカット学習」に陥りやすく、クロスモーダルなサリエンシー（顕著性）に関して以下の3つの特異な病理的分布を引き起こす。

1. クロスモーダル・サリエンシーの欠如 (Cross-Modal Saliency Deficiency): モデルが視覚的証拠を無視し、LLMバックボーンのパラメータ知識（言語的事前知識）に頼って回答を「推測」する。これは、推論チェーンを無理やり成立させるために、存在しない視覚的実体を幻覚として生成する現象として現れる。
2. クロスモーダル・サリエンシーの不整合 (Cross-Modal Saliency Misalignment): モデルが知覚的に顕著ではあるが意味的には無関係な視覚的キューに注意を向けたり、高レベルの概念と微細なピクセルを整合させることに失敗したりすることで、曖昧な特徴と幻覚的なテキストとの間に偽の因果関係を構築する。
3. クロスモーダル・サリエンシーの慣性 (Cross-Modal Saliency Inertia): モデルは視覚的証拠に正しく注意を向けているものの、それを不変のアンカーとして扱う。そのため、仮説的な指示（例：「もし〜だったら…」）に応じて推論を更新することができず、静的な視覚的事実が論理的な因果介入を上書きしてしまう。

既存の反事実的アプローチの多くは、推論時の介入（二重の計算オーバーヘッドを伴う）や、多大な労力を要する監督が必要なデータ駆動型の整合に依存している。外部の報酬モデルを使用せずに、因果的検証を最適化ループ内に直接内部化する堅牢なソリューションが不足している。

2. 手法: 反事実的方策最適化 (CFPO)

著者らは、反事実的方策最適化 (Counterfactual Policy Optimization: CFPO) を提案する。これは、クロスモーダル反事実的介入 (Cross-Modal Counterfactual Intervention) メカニズムを方策更新ループに直接統合することで、因果的一貫性を強制するフレームワークである。CFPOは標準的なRLアルゴリズムと互換性があるように設計されており、ここでは特に グループ相対方策最適化 (GRPO) および デカップル・クリップおよび動的サンプリング方策最適化 (DAPO) とともに実証されている。

コアメカニズム

この手法は、LVLMの言語デコーダの マルチヘッド・アテンション (Multi-Head Attention) レイヤーに対して作用する。モデルは、アテンション出力 ($Z$) が入力と生成されたレスポンス間の因果的中介者として機能する 反事実的因果グラフ (Counterfactual Causal Graph) を構築する。

1. アテンション行列の分解:
   アテンション行列 $A$ は、高サリエンシー領域 (High Saliency Regions: $A_{H-sal}$) と 低サリエンシー領域 (Low Saliency Regions: $A_{L-sal}$) に分解される。高サリエンシー領域は、テキストクエリ・トークンが画像トークンに対して有意に注意を向けている外れ値（アテンションスコアが $\mu + 2\sigma$ を超えるもの）として統計的に特定される。

2. 反事実的パスの構築:
   高サリエンシー領域に対応するバリューベクトル ($V$) に介入することで、反事実的パス (Counterfactual Path) が作成される。元の視覚的特徴を使用する代わりに、モデルはこれらの値を非情報的な事前分布（当該レイヤーにおける全画像トークンの平均値）で置換する。

   • 事実的パス (Factual Path): $Z = A_{L-sal} \cdot V + A_{H-sal} \cdot V$ （標準的なフォワードパス）。
   • 反事実的パス (Counterfactual Path): $Z_{cf} = A_{L-sal} \cdot V + A_{H-sal} \cdot \bar{V}$ （ここで $\bar{V}$ は平均事前分布）。

   この介入は、決定的な視覚的キューを効果的に抑制し、モデルに言語的事前知識と低サリエンシーな文脈のみに基づいたレスポンスを生成させる。

3. 反事実的正則化目的関数:
   本フレームワークは、RLの目的関数に 反事実的正則化 (Counterfactual Regularization) 項 ($KL_{cf}$) を導入する。この項は、事実的方策 $\pi_\theta(o|Z)$ と反事実的方策 $\pi_{cf}(o|do(Z=Z_{cf}))$ の間のダイバージェンスを測定する。

   • 目的は、事実的状態と反事実的状態の間の対数尤度差 ($\Delta_{cf}$) として定義される 有効因果貢献 (Effective Causal Contribution) を最大化することである。
   • もし視覚的キューが抑制されたときにモデルの予測が変化しない場合（すなわち $\Delta_{cf} \approx 0$）、それはモデルが言語的事前知識に依存していることを意味する。この正則化はこのような挙動にペナルティを与え、視覚的証拠から得られる情報利得を最大化するようにモデルを強制する。

総目的関数は、この正則化を GRPO/DAPO に統合する：
$$J_{CFPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} (\hat{J}_{clip} - \beta KL_{ref} + \gamma KL_{cf} - \eta Ent) \right]$$
ここで、$\gamma$ は反事実的正則化の強度を制御する。

3. 主な貢献

• 新規フレームワーク: RL訓練ループ内のクロスモーダル反事実的強化メカニズムを介して、視覚的知覚とテキスト的推論の間の因果的一貫性を強制する、初のフレームワークであるCFPOの導入。
• 因果介入メカニズム: アテンション出力レベルで高サリエンシーな視覚領域を抑制することにより、動的な因果的必要性テストを実行し、視覚的証拠に対するモデルの依存度（言語的事前知識に対するもの）を定量化する手法。
• SOTA RLとの統合: 外部の報酬モデルや追加の教師あり学習、推論時のオーバーヘッドを必要とせずに、GRPOおよびDAPOとシームレスに統合。
• 病理的分布への対処: ハルシネーションやグラウンディングの失敗の根本原因として特定された、サリエンシーの欠如、不整合、および慣性に明示的に対処。

4. 実験結果

ViRL39K での学習を行い、RealWorld-Centric (C-VQA-Real, MARS-Bench, POPE, TextVQA, MMMU-Pro(V)) および Mathematic-Centric (Geo3k, We-Math, MMk12, MathVerse, LogicVista) のベンチマーク全体で評価を行った。

• 性能向上: CFPOは、標準的なRLベースライン（GRPO/DAPO）および最先端の知覚認識手法（PAPO）を一貫して上回った。
  • vs. GRPO/DAPO: 全体的な精度において 3.17% から 6.25% の一貫した向上を達成。
  • vs. PAPO: 知覚認識ベースラインに対して 1.32% から 2.13% の一貫した向上を達成。
• 具体的な改善: 数学的推論や幾何学的な問題解決など、厳密な論理と複雑なChain-of-Thought (CoT) 生成を必要とするタスクにおいて顕著な改善が見られた。
• 安定性と効率性: 学習曲線は、CFPOがベースラインと比較して、より速い収束と高いサンプル効率を達成していることを示している。また、異なるドメイン間での分散が低く、より高い推論安定性を示す。
• 定性的分析: ケーススタディにより、CFPOが、ベースラインが視覚的幾何学を無視した場合（欠如）、仮説的な指示から知覚を切り離せなかった場合（慣性）、あるいは顕著なディストラクターに支配された場合（不整合）の失敗モードを正常に修正できることが示された。

5. 重要性と主張

本論文は、CFPOが 因果的一貫性を持つマルチモーダル・インテリジェンスへの原則的な道筋 を提供すると主張している。因果的検証を内部化することで、この手法は単なる連合学習を超え、注視された情報の必要性を明示的に検証する。

著者らは、CFPOが 推論の忠実度 (reasoning fidelity) を大幅に向上させ、ハルシネーションを減少させ、LVLMの堅牢性と解釈性を高めると断言している。既存の手法のように、モダリティを暗黙的に整合させたり粗い入力マスキングに依存したりするのではなく、CFPOは、推論プロセスが妥当な視覚的証拠に基づいているという 厳格な因果的保証 を提供する。このアプローチは、現在のマルチモーダル・タスクにおける結果駆動型RLに内在する「ショートカット学習」を克服するためには、因果的一貫性を強制することが不可欠であることを示している。