技術要約：Activation Replayによる大規模マルチモーダルモデルの推論能力の向上

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、大規模マルチモーダルモデル（LMM）の推論能力を強化するための主要なポストトレーニング・パラダイムとして台頭しています。効果的ではあるものの、RLVRがモデルの振る舞いを変化させる基礎的なメカニズムについては、依然として理解が進んでいません。具体的には、RLVRがLMMの内部入力活性化（input activations）をどのように修正するのか、また、それらの修正が特定の文脈において推論を不当に阻害してしまう可能性があるのかが不明確です。

著者らは、RLVRが入力活性化に予期せぬシフトを引き起こし、特に低エントロピーの活性化に影響を与え、それが推論性能を低下させているという仮説を立てています。さらに、既存のRLVR手法は「推論のカバー範囲の狭窄化」に悩まされることが多く、モデルはサンプリング効率は向上させるものの、ベースモデルを超える新たな推論能力を引き出すことには失敗していることが、Pass@Kなどの指標から示されています。

2. 手法：Activation Replay（活性化リプレイ）

これらの課題に対処するため、著者らは、高価な方策最適化やアーキテクチャの変更を必要とせず、テスト時にマルチモーダル推論をブーストする新しいトレーニングフリーの手法であるActivation Replayを提案します。

2.1. コアメカニズム

この手法は、テスト時に視覚トークンを操作することで、RLVRでポストトレーニングされたLMMの低エントロピー活性化を制御し、ペアとなるベースLMMの分布を模倣するように強制します。

1. 学習可能なトークン: この手法は、RLVRモデルの視覚入力トークンに加えられる、ゼロ初期化された一連の学習可能なトークン $\{x_1, x_2, ..., x_n\}$ を導入します。
2. エントロピーに基づく選択: 本手法は、低エントロピーの活性化と高エントロピーの活性化を区別します。ベースLMMの最大エントロピーに基づく動的な閾値 $\tau$ を用いて、低エントロピーの活性化を特定します（$e^b_{l,i} < \max(h^b_l) * \tau$ の場合、$M_{l,i} = 1$）。
3. KLダイバージェンスの最小化: 学習可能なトークンは、ベースLMMの低エントロピー活性化とRLVR LMMの間のカルバック・ライブラー（KL）ダイバージェンスを最小化するように最適化されます。更新ルールは以下の通りです：
   $$x_i \leftarrow x_i - \alpha \nabla_{x_i} (D_{KL}(P_{base} \| P_{rlvr}) \cdot M_i)$$
   ここで、$\alpha$ はガイダンスの強度を制御します。
4. テスト時の適用: 最適化された後、これらのトークンはデコーディング（貪欲法またはサンプリング）の前に入力に追加され、RLVRモデルのフォワードパス内でベースモデルの低エントロピー活性化パターンを効果的に「リプレイ」します。

2.2. 理論的根拠

この設計は、2つの経験的な観察に基づいています：

• Logit Lens分析: RLVRはトップの予測とトークンレベルの分布をシフトさせ、低エントロピーの活性化は高エントロピーの活性化よりも著しく大きなシフトを経験します。
• 摂動および介入研究:
  • 摂動: 低エントロピー活性化におけるより小さなKLダイバージェンスのシフトは、正しい推論パスのパープレキシティの低下と相関しています。
  • 介入: ベースモデルの低エントロピー活性化をRLVRモデルに直接注入すると性能が向上しますが、高エントロピーの活性化を注入すると性能が低下します。これは、低エントロピーの活性化が推論において安定化の役割を果たしており、RLVRがそれを乱している可能性を示唆しています。

3. 主な貢献

• RLVRの影響に関する体系的な調査: 著者らは、RLVRがLMMの入力活性化をどのように変化させるかを詳細に分析し、低エントロピーの活性化が高エントロピーのものと比較して不釣り合いにシフトしていることを明らかにしました。
• Activation Replay: テスト時に視覚トークンを操作して、ベースLMMからの活性化をリプレイすることで、RLVRの低エントロピー活性化を制御する、シンプルでトレーニングフリーな手法。
• 幅広い経験的検証: 数学的推論、o3のようなエージェンティックな視覚探索、ビデオ推論を含む、多様な推論シナリオにおいて本手法を検証しました。
• 狭い推論の緩和: 本手法はPass@Kを向上させることが示されており、RLVRモデルが持つ推論のカバー範囲の狭さという限界に対処しています。

4. 実験結果

著者らは、複数のRLVRポストトレーニング済みLMM（例：MMR1-Math, MM-Eureka, VL-Rethinker, DeepEyes, Video-R1）を用いて、様々なベンチマークでActivation Replayを評価しました。

• 数学的推論: MathVerse, MathVision, WeMath, LogicVistaを含むデータセット全体で、一貫した性能向上が観察されました。例えば、VL-Rethinker-7Bは、MathVerseで+2.2、MathVisionで+2.9の改善を示しました。
• エージェンティックな推論: HRBench（高解像度視覚探索）において、本手法はDeepEyes-7BのH4ベンチマークにおけるスコアを53.7から56.3に向上させました。
• ビデオ推論: Video-R1-7Bに対して、このアプローチはVideoMMMU (+4.0)、MLVU (+1.7)、VideoHolmes (+4.4) でのゲインをもたらしました。
• Pass@K: 本手法はPass@Kスコアを大幅に向上させ（例：Pass@16での大きなマージン）、単なるサンプリング効率の向上ではなく、モデルの推論境界の拡張を示しました。
• アブレーション研究:
  • 閾値 ($\tau$): より低い閾値（より厳密に低エントロピーの活性化のみを選択する）の方が一般的に良い結果をもたらし、高エントロピーの活性化をリプレイすることが有害であることを裏付けました。
  • 強度 ($\alpha$): より大きなガイダンス強度が一般的に性能を向上させ、コアとなる仮説を検証しました。

5. 意義と主張

本論文は、Activation Replayが、再学習の計算コストをかけることなく、ポストトレーニングされたLMMの推論能力を高めるための実用的かつ効率的なソリューションを提供すると主張しています。RLVRが推論に不可欠な低エントロピー活性化を不当に乱していることを特定することで、著者らは、ベースモデルの安定した表現を「リプレイ」することが、これらの偏差を修正できることを示しました。

著者らは、彼らのアプローチが以下の点において優れていると強調しています：

1. 推論の強化とトレーニングの分離: これは、事後的なテスト時の介入として機能します。
2. モダリティを横断した汎用性: 静止画、マルチターン・エージェンティック・タスク、および時間的なビデオ推論に対して有効です。
3. 堅牢性の向上: 一部のRLVRモデルで見られる「考えすぎ（overthinking）」や推論の失敗を軽減し、初期のコンテキスト処理を安定させます。

この研究は、RLVRモデルの「内部構造」が活性化操作を通じて制御可能であることを示唆しており、従来の方策最適化を超えたマルチモーダル推論の最適化に向けた新しい方向性を提示しています。