技術的サマリー：MARS – 多ソース視覚推論のための単一アンカー型アドバンテージ正規化

問題定義

検証可能な報酬を用いた強化学習（RLVR）は視覚推論を進展させてきたが、既存の手法は RGB、赤外線、深度、マルチビューなどの多ソース入力を処理する際に苦労している。現在のアプローチは、通常、多ソースデータを単なる情報の蓄積として扱い、「より多く見ることは、より多く知ることを意味する」という仮定に基づいて動作する。しかし、本論文は重要な限界を特定している：ソースが物理的性質や意味において著しく異なる場合、単純な統合は情報増加ではなく、干渉やノイズをもたらす可能性がある。

あるソースが支配的で信頼性の高い信号（例えば、低照度環境における赤外線）を持ち、他のソースが劣化しているか無関係であるような状況では、標準的な RLVR フレームワークは、有益な融合と有害な衝突を区別することに失敗することが多い。その結果、多ソース推論のパフォーマンスは、強力な単一ソース推論のレベル以下に低下しうる。既存のフレームワークは、ソース間の動的相互作用をモデル化するか、単一ソースの基準に対して追加のソースを統合することが正味の情報増加をもたらすかどうかを定量化する明示的なメカニズムを欠いている。

手法：MARS

これらの課題に対処するため、著者は多ソース推論のための単一アンカー型アドバンテージ正規化（MARS）を提案する。このフレームワークは、各視覚モダリティを独立した情報ソースとして扱い、多ソース融合によって導入される情報増加を明示的にモデル化する。

中核メカニズム

MARS の中核的な革新は、RLVR 訓練中にマルチソースロールアウトのアドバンテージを正規化するために、単一ソース報酬を動的なアンカーとして使用することである。

1. デュアルロールアウト生成： 与えられた訓練インスタンス（質問 $q$ と複数の画像 $i$）に対して、方策モデル $\pi_\theta$ は 2 種類の軌跡を生成する：

   • マルチソースロールアウト（$G_{multi}$）： モデルは利用可能なすべての画像を共同で処理する。
   • 単一ソースロールアウト（$G_{mono}$）： モデルは、テキスト入力と対になった各画像を個別に処理する。

2. ハイブリッドアドバンテージ正規化： 単にマルチソース軌跡からアドバンテージ統計を計算するのではなく、MARS は単一ソース報酬とマルチソース報酬の和集合（$G_{multi} \cup G_{mono}$）を用いて、ハイブリッドな平均と標準偏差を計算する。マルチソース軌跡に対するアドバンテージ $A_j$ は以下のように計算される：
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$$

3. 適応的調整：

   • 衝突抑制： 特定のソースが支配的で、マルチソース融合がノイズをもたらす場合（単一ソースのアンカーよりも低い報酬をもたらす場合）、正規化統計がシフトして衝突するマルチソース信号を抑制し、モデルを信頼性の高い単一ソースの動作へと誘導する。
   • 促進強調： マルチソース融合が単一ソースの基準よりも高い報酬をもたらす場合（真の情報増加を示す場合）、アルゴリズムは単一ソースの手がかりを超えた探索を促進し、実質的に「マルチソース情報増加」を定量化する。

理論的基盤

著者はこの手法を支持する理論的分析を提供する：

• 不偏性： 提案されたアルゴリズムは、勾配推定の期待値が標準的なオンポリシー最適化と同等であることを保証し、バイアスが導入されないことを保証する。
• 勾配分解： 勾配更新は、標準的なマルチソース報酬の最大化と、**マルチソース情報増加（$\Delta IG$）**に基づく正則化項の最大化の和に等しいことが示される。この項は、マルチソース軌跡と単一ソース軌跡の期待報酬の差を表す。負の $\Delta IG$ はモダリティ間の衝突を示し、正の値は相互促進を示す。

主要な貢献

1. 中核的限界の特定： 本論文は、既存の多ソース視覚推論が、モデル化されていないモダリティ干渉によりパフォーマンスを体系的に低下させる可能性を明らかにし、より多くの入力が常により良い知識に等しいという仮定に挑戦する。
2. 新規フレームワーク（MARS）： 著者は、単一ソース報酬をアンカーとして導入し、アドバンテージ正規化中に情報増加を定量的に測定する手法を設計する。これにより、アーキテクチャの再設計やオフポリシー補正を必要とせずに、異なるソースの適応的調整が可能になる。
3. 実証的検証： 多様なデータセット（深度、赤外線、マルチビュー、テキスト豊富）および RL アルゴリズム（GRPO、DAPO）にわたる広範な実験により、一貫したパフォーマンス向上が実証された。

実験結果

著者は、Qwen2.5-VL-3B および 7B モデルを用いて、4 つの多ソースタスクで MARS を評価した。主な知見は以下の通りである：

• パフォーマンス向上： MARS は、ベースラインの RLVR 手法に対して顕著な改善を達成した。具体的には、マルチソース推論指標において、GRPO および DAPO フレームワークそれぞれで平均して**3.2%および4.9%**のパフォーマンス向上をもたらした。
• 特定タスクの改善： 赤外線（3.8%）およびマルチビュー（7.0%）データセットで顕著な向上が観察された。
• 頑健性： この手法は、視覚的劣化（ガウスノイズ、モーションブラー、遮蔽）に対して優れた頑健性を示し、ベースラインがパフォーマンス低下を被る状況でも高い精度を維持した。
• 効率性： このアプローチは単一の方策モデルのみを必要とし、入力を修正することで単一ソースサンプルを生成するため、経験再生やオフポリシー補正のストレージオーバーヘッドを回避する。計算オーバーヘッドは中程度であり、主な利益は軌跡量の増加ではなく、アンカーメカニズムに由来する。
• 定性的分析： ケーススタディは、MARS が低照度環境での赤外線など有益なソースを優先し、白飛びした深度画像など無関係またはノイズの多いソースを抑制することを示しており、標準的な GRPO と比較してより正確な推論とグラウンディングを実現している。

意義と主張

本論文は、MARS が多ソースシナリオにおける視覚推論パフォーマンスを向上させるための一般的かつ効果的な解決策を提供すると主張する。ソース間の動的相互作用を明示的にモデル化し、情報増加を定量化することで、この手法は「より多く見る」ことと「より多く知る」ことの間の衝突を解決する。

著者は、彼らのアプローチが以下の点に重点を置いていると強調する：

• 特定の訓練フレームワークに依存しない（GRPO および DAPO と互換性がある）。
• 基盤モデルのアーキテクチャ変更を必要としない。
• モダリティ間の衝突と促進を処理するための原理的な方法を提供し、より安定して解釈可能な最適化軌跡につながる。
• 単一ソース報酬をアンカーとして動的に活用することが、モデルを有益なソースに集中させ、ノイズを抑制する効果的なガイドとなり、効果的な多ソース推論には情報増加と干渉を区別することが必要であることを実証している。