ReLaX: 大規模推論モデルのための潜在空間探索による推論（ReLaX）の技術的サマリー

本論文は、大規模推論モデル（LRMs）の推論能力を強化するための新しい強化学習フレームワーク「ReLaX (Reasoning with Latent Exploration)」を提案するものです。可検証報酬を用いた強化学習（RLVR）が推論能力向上に寄与している一方で、既存の手法が抱える「探索と活用のトレードオフ」における課題、特にモデルの内部計算が硬直化し、探索が不十分になる問題（エントロピー崩壊）を解決するために開発されました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

1.1 現状の課題

近年、可検証報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）やマルチモーダル大規模言語モデル（MLLM）の複雑な推論タスクにおける能力向上に大きな成果を上げています。しかし、RLVR には以下の根本的な課題が存在します。

• エントロピー崩壊と過剰な決定論: RLVR におけるスパースな報酬は、方策（Policy）の分布を急速に収束させ、エントロピーを低下させます。これにより、モデルは特定の推論パターンに过早に収束し（モード崩壊）、多様な探索が阻害されます。
• トークンレベルの限界: 既存の手法は、トークンレベルのエントロピーを最大化しようとするアプローチ（報酬の再設計、エントロピー正則化など）が主流です。しかし、これは RL の本質的な傾向（低エントロピーの方策への収束）と矛盾しており、特にマルチモーダルモデルにおいて、クロスモーダルな内部計算とテキスト出力の間に乖離がある場合、トークンレベルのフィードバックでは内部の計算ダイナミクスを適切に制御できません。
• 潜在ダイナミクスの硬直化: 著者らは、エントロピー崩壊は単なる表面現象であり、その背後には「トーク生成を支配する内部計算（潜在状態のダイナミクス）が柔軟性を失い、硬直したパターンに収束する」という病理があると主張します。

2. 提案手法：ReLaX

ReLaX は、モデルの「トークン生成」ではなく、「潜在状態のダイナミクス（内部計算プロセス）」に焦点を当て、探索を制御する新しいフレームワークです。

2.1 核心理論：クープマン作用素理論（Koopman Operator Theory）

非線形な潜在ダイナミクスを解析可能にするために、クープマン作用素理論を採用しています。

• 線形化: 非線形な隠れ状態の進化を、無限次元の観測空間における線形な進化として表現します。
• ResKoopNet: 高次元で非線形な LRMs の潜在状態を忠実に線形化するために、ニューラルネットワーク（ResKoopNet）を用いたクープマン辞書（Koopman Dictionary）を学習し、潜在ダイナミクスを安定して近似します。

2.2 新規指標：動的スペクトル分散（DSD, Dynamic Spectral Dispersion）

潜在ダイナミクスの多様性を定量化する新しい指標としてDSDを提案しました。

• 定義: 学習されたクープマン作用素の固有値（スペクトル）の大きさの分散（Variance）として定義されます。
• 意味: DSD が高い値を示すことは、モデルの内部ダイナミクスが豊かで多様（ヘテロジニアス）であることを意味し、モデルが硬直したパターンに陥っていないことを示します。逆に、DSD が低い（分散が小さい）ことは、計算パターンが退化・収束していることを示唆します。

2.3 最適化フレームワーク

ReLaX は、GRPO（Group Relative Policy Optimization）の目的関数に DSD を基にした正則化項を組み込みます。

• DSD 正則化: 潜在ダイナミクスの分散（DSD）を最大化するように方策を誘導します。これにより、内部計算の柔軟性が維持されます。
• アドバンテージ・シェイピング: 探索を無差別に行うのではなく、報酬がプラス（有益）な軌道に対してのみ DSD 正則化を適用し、有害な探索を防ぎます。
• 適応的 KL 正則化: 過度な分散（不安定化）を防ぐため、DSD が閾値を超えた軌道に対してのみ KL 正則化を適用し、安定した学習を維持します。

最終的な目的関数は以下のようになります：
$$J(\theta) = J_{GRPO}(\theta) + \alpha \tilde{L}_{xp} + \beta \sum_{i \in I} D_{KL}(\pi_\theta(o_i) \| \pi_{ref}(o_i))$$
ここで、$\tilde{L}_{xp}$ は DSD に基づく正則化項、$I$ は DSD が閾値 $\xi$ を超える軌道の集合です。

3. 主要な貢献

1. DSD（動的スペクトル分散）の提案:
   トークン統計量ではなく、モデルの内部計算プロセス（潜在ダイナミクス）の多様性を捉える指標を提案しました。これにより、方策の探索をより本質的なレベルで評価・制御可能になりました。
2. ReLaX フレームワークの構築:
   クープマン作用素理論に基づき、潜在ダイナミクスを線形化・解析可能な形式に変換し、それを RLVR の目的関数に統合する新しい手法を提案しました。これにより、RLVR における性能飽和（モード崩壊）を効果的に緩和します。
3. 広範な実験による実証:
   7 つのマルチモーダル推論ベンチマークと 6 つのテキストベースの数学推論ベンチマークにおいて、既存のトークンレベルの手法（KL-Cov, FR3E など）やベースライン（GRPO）を凌駕する SOTA（State-of-the-Art）の結果を達成しました。

4. 実験結果

4.1 マルチモーダル推論（VLMs）

• ベースモデル: Qwen2.5-VL (3B, 7B)
• 結果: 7 つのマルチモーダルベンチマーク（MMMU, MathVista, DynaMath など）の平均精度において、ReLaX-7B は 53.2 のスコアを達成し、既存の 7B モデル中最も高い性能を記録しました（VL-Rethinker-7B の 52.5 を上回る）。
• 特徴: 3B モデルでも、以前の 7B モデル（R1-VL など）を上回る性能を示し、モデルサイズに依存しない汎用性を示しました。
• トレーニングダイナミクス: 従来の GRPO ではエントロピーと DSD が早期に急激に低下し性能が頭打ちになるのに対し、ReLaX は高いエントロピーと多様な DSD を維持し、継続的な性能向上を実現しました。

4.2 テキストベースの数学推論（LLMs）

• ベースモデル: Qwen2.5 (3B, 7B), Qwen2.5-Math
• 結果: MATH500, Minerva, AMC, AIME などの主要ベンチマークで、既存の RLVR 手法（SimpleRL, DAPO, FR3E など）を大幅に上回る性能を達成しました。
  • 例：Qwen2.5-7B-Base において、FR3E より 4.3 ポイント、Qwen2.5-7B-Math において 6.3 ポイントの改善。
• 一般化: Llama3.2 や Qwen3 などの異なるモデルファミリーでも同様の性能向上が確認されました。

4.3 定性的分析

• 推論の質: ReLaX で学習されたモデルは、自己検証を行う際にも数学的な原理（余弦定理など）を適切に適用するのに対し、トークンレベルのエントロピー最大化のみを促す手法（R1-zero-Div など）は、実行環境のない Python コード生成など、意味のない「幻覚（Hallucination）」を起こす傾向がありました。
• 視覚的頑健性: 視覚的詳細が変化する質問（DynaMath）に対して、ReLaX は一貫して正しい推論を行うのに対し、KL-Cov は視覚情報の誤解により失敗しました。

5. 意義と結論

ReLaX は、大規模推論モデルの能力向上において、「トークン空間」からの介入から「潜在空間」への介入へとパラダイムシフトをもたらす重要な研究です。

• 理論的意義: 強化学習における「探索と活用」のトレードオフを、単なる出力の多様性ではなく、モデル内部の計算ダイナミクスの柔軟性という観点から解決しました。
• 実用的意義: マルチモーダル推論を含む複雑なタスクにおいて、既存手法の限界を突破し、より安定して高性能な推論モデルを構築する道を開きました。
• 将来展望: 潜在ダイナミクスを制御することで、LLM の推論能力をさらに拡張できる可能性を示唆しており、将来的な汎用人工知能（AGI）への道筋として期待されます。

本論文は、RLVR のボトルネックである「エントロピー崩壊」を、クープマン作用素理論を用いた潜在的なダイナミクスの解析と制御によって克服する、画期的なアプローチを提示しています。