技術要約：推論能力の向上を超えて：大規模推論モデルにおける汎用能力の忘却の軽減

問題提起

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）および視覚言語モデル（VLM）の推論能力を強化するための標準的なポストトレーニング・パラダイムとなっています。しかし、著者らは決定的な失敗モードを特定しています。それは**汎用能力の忘却（general-capability forgetting）**です。RLVRは特定の推論タスク（例：数学、論理的演繹）の性能を効果的に向上させる一方で、事前学習で獲得した基礎的なスキル（例：視覚的知覚、事実に基づく接地性、堅牢性）の著しい退行を招くことがよくあります。

本論文における実証的な観察によれば、オープンソースの推論モデルは、非推論ベンチマーク（例：画像の美学、時空間推論、OCR、および分布シフトに対する堅牢性）において、ベースとなるモデルよりも性能が低下することが頻繁に確認されています。著者らは、既存の緩和戦略であるKLダイバージェンス正則化は、現在のタスクに基づいて計算されるため、より広範で異種混合な知識の保持を保証できないという点で不十分であると指摘しています。さらに、異種ドメイン間での標準的な経験再生（experience replay）は、**目的の不均衡（objective imbalance）**という課題に直面します。すなわち、異なる目的が極めて異なる速度で収束するため、推論報酬と汎用能力損失の間の最適な重み付けを決定することは容易ではありません。

手法：RECAP

これらの課題に対処するため、著者らは、動的な目的再重み付けメカニズムを用いて、汎用能力データをRLVRパイプラインに統合するエンドツーエンドのトレーニング戦略であるRECAP（Replay-Enhanced CApability Preservation）を提案しています。

コア構成要素

1. 再生戦略（Replay Strategy）: RECAPは、ファインチューニング中に汎用ドメインのデータ（例：物体検出、セグメンテーション、OCR）をターゲットとなる推論データと交互に配置します。これにより、モデルが非推論タスクに継続的にさらされることを保証し、破滅的な忘却を防ぎます。
2. 動的再重み付けメカニメント（Dynamic Reweighting Mechanism）: 静的な、あるいは手動で調整された重みを使用する代わりに、RECAPは個々の目的の収束挙動と不安定性に基づいて、オンラインで損失係数を適応させます。
   • 収束率 ($c_k$): 現在のスライディングウィンドウの平均損失を前のウィンドウと比較することで測定されます。比率が1に近い場合は飽和（目的が学習済み）を示し、比率が1より大きい場合は最近の改善を示します。
   • 不安定性 ($i_k$): スライディングウィンドウ内における変動係数（平均に対する標準偏差）として測定されます。高い不安定性は、その目的が揮発的であり、より多くの注力が必要であることを示唆しています。
   • 優先度スコア: 目的 $k$ の優先度スコアは $s_k = c_k + i_k$ と定義されます。
   • ソフトマックス再重み付け: 重み $\lambda_k$ は、優先度スコアに対する温度制御されたソフトマックスを用いて計算されます：
     $$\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$$
     エントロピー正則化された優先度割り当て問題から導出されたこの定式化は、飽和した低分散の目的（フォーマット遵守など、すぐに収束するもの）の重みを自然に下げ、性能が低い、あるいは高分散な目的（推論の正確性や知覚など）へと容量をシフトさせます。

理論的基礎

本論文は、RECAPの再重み付けルールが、エントロキシー正則化された優先度割り当て問題の閉形式解であることを確立しています。これは、ソフトマックスベースの重み付けに理論的な正当性を与え、割り当てが退化した解（単一の目的に集中すること）を避けつつ、高い優先度スコアを持つ目的を優先することを保証します。

主な貢献

1. 体系的な再評価: 著者らは、推論に特化したファインチューニングが、複数のオープンソースモデル（Qwen2.5-VLファミリー）において、汎用能力（知覚、堅牢性）の一貫した退行を引き起こすことを体系的に示しています。
2. RECAPアルゴリズム: 収束と不安定性の信号に基づいて目的を動的に再重み付けする、プラグイン式のスケジューラを導入しています。この手法は補助モデルを必要とせず、大きさ（magnitude）に依存せず、既存のRLVRパイプライン（特にGRPO）に最小限のオーバーヘッドでシームレスに統合できます。
3. 性能向上: 本手法は汎用能力を保持するだけでなく、タスク内の報酬間のより柔軟なトレードオフを可能にすることで、推論性能をも向上させます。これにより、困難な信号（正確性など）を犠牲にして容易な信号（フォーマットなど）を過剰最適化することを回避します。

実験結果

著者らは、Qwen2.5-VL-3BおよびQwen2.5-VL-7Bについて、「RLVRのみ」の設定と「ハイブリッド」（RLVRとSFTスタイルのトレーニングの組み合わせ）の設定の2つの設定でRECAPを評価しました。

• 汎用能力の保持: RLVRのみの設定において、RECAPは、推論のみのベースラインが大幅な劣化を示した知覚および堅牢性のベンチマーク（例：A-OKVQA, VisOnly, OCRBench）において、性能を保持または向上させました。例えば、LISAセグメンテーションベンチマークでは、推論のみのファインチューニングは性能を65.13から57.58に低下させましたが、RECAPは67.24のスコアを維持しました（ベースモデルを上回っています）。
• 推論性能: RECAPは、推論のみのファインチューニングの推論性能と同等またはそれを上回る性能を実現しました。ScienceQAベンチマークにおいて、RECAPは71.59のスコアを獲得し、ベースモデル（6.20）およびいくつかのオープンソースの推論ベースラインを上回りました。
• 効率性と簡潔さ: 動的な再重み付けは、より効率的な推論をもたらしました。RECAPで訓練されたモデルは、精度を損なうことなく、より短い根拠（rationale）を生成しました（推論タスクにおける平均思考長を約67語から約27語に短縮）。これにより、推論のレイテンシと計算コストが削減されました。
• ベースラインとの比較: RECAPは、以下の強力なベースラインを一貫して上回りました：
  • 推論のみ（Reasoning-only）: 深刻な忘却に陥りました。
  • Uniform/PropMix: 静的な重み付けを使用しており、収束率に適応できませんでした。
  • LwF (Learning without Forgetting): KL正則化を使用していますが、RECAPと比較して推論スコアが低くなりました。
  • MoDoMoDo: プロキシモデルと手動チューニングを必要とする、複雑で計算コストの高いベースラインです。

意義と主張

本論文は、RECAPが「推論 vs 汎用能力」のトレードオフに対する、原理に基づいた低オーバーヘッドのソリューションを提供すると主張しています。飽和した目的（フォーマット遵守など）から、揮発的または性能が低い目的（正確性や知覚など）へとポストトレーニングの焦点をシフトさせることで、RECAPはモデルが「知覚することを忘れる」ことなく「推論することを学ぶ」ことを可能にします。

著者らは、彼らの手法がエンドツーエンドであり、追加の報酬モデルの訓練や重いハイパーパラメータのチューニングを必要としないことを強調しています。彼らはRECAPをポストトレーニング・パイプラインにおける必要な進化として位置づけ、狭い推論報酬のために最適化を行うことは、現実世界の異種混合なシナリオにおいて失敗する脆弱なモデルを生むと論じています。本研究は、現在見られる「忘却」は、RLVRの避けられない副作用ではなく、動的な目的管理を通じて解決可能な最適化問題であることを示唆しています。