技術要約: InftyThink+

1. 問題提起

大規模推論モデル（LRM）は、推論時思考連鎖（CoT）をスケールさせることで優れた性能を示してきました。しかし、このパラダイムは、推論のトレースが極端に長くなる際に、以下の3つの根本的な障壁に直面します。

1. 二次的なコスト: Transformerにおける自己注意（self-attention）メカニズムは $O(L^2)$ の計算複雑性を伴うため、非常に長い推論トレースは計算コストが極めて高くなります。
2. コンテキスト制限: 推論はモデルの最大コンテキストウィンドウによってハードバウンドされます。問題解決にコンテキスト制限を超える思考連鎖が必要な場合、生成は途中で終了してしまい、複雑な問題が解決不能になります。
3. Lost-in-the-Middle（中だるみ現象）: 推論トレースが長くなるにつれ、モデルの性能低下が生じ、たとえコンテキスト制限内に収まっていても、重要な初期情報にアクセスできなくなる現象が発生します。

定期的な要約を伴う反復的な推論などの既存の解決策は、これらの問題を軽減しようと試みています。しかし、現在の手法は、いつ要約するか、何を保持するか、そしてどのように推論を再開するかを決定するために、教師あり微調整（SFT）や固定されたヒューリスティックに依存しています。これらのアプローチは、長期的な影響を及ぼす逐次的な決定を最適化できていません。不適切な要約は後続の推論を台無しにする可能性があり、一方で不要な反復は計算資源を浪費します。論文では、これらのトレードオフには、SFTでは提供できない軌跡レベル（trajectory-level）の最適化が必要であると主張しています。

2. 手法: InftyThink+

著者らは、反復的な推論の全軌跡を最適化するエンドツーエンドの強化学習（RL）フレームワークである InftyThink+ を提案します。この手法は、明示的にモデルが生成する要約によって複数の反復ラウンドを接続することで、推論の深さとコンテキスト長を分離する InftyThink パラダイムに基づいています。

2.1. InftyThink パラダイム

単一の連続した長いCoTを生成する「バニラ」なパラダイムとは異なり、InftyThinkは以下のラウンド形式で動作します：

• イテレーション $i$: モデルは元のクエリ $q$ と、前のイテレーションからの要約 $s_{i-1}$ に基づいて条件付けられます。
• 生成: モデルは推論セグメント $r_i$ と更新された要約 $s_i$ を生成します。
• 終了: プロセスは、モデルが最終的な結論 $c$ を生成することを自律的に決定するまで繰り返されます。
• 限定されたコンテキスト: 各イテレーションは限定されたコンテキストウィンドウ（クエリ + 最新の要約）内で動作するため、コンテキストのオーバーフローを防ぎ、ステップごとの計算コストを削減します。

2.2. 二段階学習スキーム

InftyThink+は、フォーマットの習得と戦略の最適化を分離するために、二段階の学習プロセスを採用しています。

1. コールドスタート（教師あり微調整 - SFT）:

   • 目的: モデルに基本的なInftyThinkフォーマット（推論セグメントと要約の生成）を教えること。
   • データ変換: 既存のバニラな推論データ $(q, r, c)$ を反復的なインスタンスへと変換します。推論トレース $r$ は、トークン制限 $\eta$ に基づいてセグメント $\{r_1, \dots, r_n\}$ に分割されます。汎用LLMを用いて、現在のセグメントと前の要約を条件として、要約 $\{s_1, \dots, s_{n-1}\}$ を生成します。
   • 学習: モデルは、これらの変換されたインスタンスを用いて、構文的に正しい反復出力を生成するように微調整されます。この段階では、「いつ」要約するかや「何を」保持するかといった最適化は行わず、単に手続き的なフォーマットを確立することのみを目的とします。

2. 強化学習（軌跡レベルの最適化）:

   • 目的: 軌跡レベルのフィードバックを通じて、戦略的な決定（圧縮のタイミング、要約の内容、継続戦略）を最適化すること。
   • ロールアウト: クエリ $q$ に対して、モデルは複数の推論ラウンドからなる軌跡 $O_i = \{o_1, \dots, o_{n_i}\}$ を生成します。ロールアウトは、モデルが結論を出力した場合、有効なフォーマットを生成できなかった場合、または最大イテレーション上限 $\phi$ に達した場合に終了します。
   • 報酬設計:
     • タスク報酬 ($R_{task}$): 最終的な回答の正誤に基づくバイナリ報酬。
     • 効率報酬 ($R_{eff}$): 過剰な反復を罰する二次減衰関数 $1 - (\frac{n_i-1}{\phi})^2$。これにより、可能な限り少ないステップで問題を解決することを促します。
     • 合計報酬: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$。この乗算形式により、効率性は正しい解が得られた場合にのみ報酬として与えられます。
   • 方策最適化: 著者らは Group Relative Policy Optimization (GRPO) を使用しています。決定的な点は、アドバンテージが軌跡レベルで計算され、軌跡内のすべてのトークン間で共有されることです。これにより、例えば高品質な最初の要約のような初期のイテレーションが、要約自体に答えが含まれていなくても、最終的な正解に寄与していれば正の勾配信号を受け取れるようになります。
   • 安定性: フレームワークは、推論エンジンと学習エンジンの間のミスマッチによる学習の不安定性を緩和するために、トークンレベルの勾配マスキング技術である IcePop を採用しています。

3. 主な貢献

1. 反復的推論のためのエンドツーエンドRL: 本論文は、反復的な推論パラダイムに強化学習を直接適用する最初のフレームワークを紹介しており、モデルが固定されたヒューリスティックや模倣に頼るのではなく、要約と継続の最適な戦略を学習できるようにしました。
2. InftyThink+ フレームワーク: 以下の要素からなる完全な学習レシピを提供します：
   • 反復フォーマットを確立するためのコールドスタートフェーズ。
   • 初期の決定にクレジットを与えるための、共有アドバンテージを用いた軌跡レベルの最適化。
   • 精度と推論コストのバランスを取るための効率性重視の報酬形成。
3. 実証的検証: 広範な実験により、InftyThink+ が SFTベースの反復的推論および標準的なロングコンテキストRLベースラインの両方を上回ることが示されました。

4. 実験結果

実験は DeepSeek-R1-Distill-Qwen-1.5B および Qwen3-4B-Base に対して行われました。

• 精度の向上:
  • AIME24 において、InftyThink+ はベースラインと比較して精度を 21% 向上させ、従来のロングCoT RLを明確な差で上回りました（標準的なRLに対して9%の利得）。
  • GPQA Diamond のような分布外（OOD）ベンチマークにおいて、ベースラインに対して5%の精度向上、バニラな手法に対して4%の利得を達成しました。
• 効率性の向上:
  • 推論レイテンシ: AIME25において、InftyThink+ はバニラなアプローチと比較して推論レイテンシを 32.8% 削減しました。
  • 学習速度: このフレームワークは、ステップあたりの計算オーバーヘッドの減少により、RL学習時間を 18.2% 高速化しました。
• 汎用性: 本手法は、より大きなモデル（Qwen3-4B）や、コードおよび科学的推論を含む分布外のタスクに対しても良好に汎用化されました。

5. 意義と主張

本論文は、軌跡レベルの最適化が効果的な反復的推論にとって不可欠であることを示していると主張しています。鍵となる洞察は、反復的推論の有効性はフォーマットそのものからではなく、各ステップにおいて（いつ圧縮し、何を保持し、どのように継続するかという）最適な戦略的決定を下すモデルの能力から生まれるという点です。

SFTによるフォーマット学習とRLによる戦略最適化を分離することで、InftyThink+ は以下のような適応的な振る舞いをモデルに学習させることができます：

• 推論の深さをコンテキスト長から切り離す: 計算コストを限定したまま、無限の推論を可能にします。
• 精度と効率のトレードオフを最適化する: 効率性重視の報酬を通じて、モデルは精度を犠牲にすることなく、より早く推論を終了することを学習します。
• 学習の安定性と速度を向上させる: 学習ロールアウト中のアテンションの二次的な複雑性を軽減します。

著者らは、InftyThink+ を、静的なコンテキストウィンドウやヒューリスティックベースの圧縮の限界を超え、大規模言語モデルにおけるスケーラブルで効率的かつ効果的な長期間の推論への重要な一歩として位置づけています。