技術要約：One-Domain-to-Allの汎化を実現する思考の連鎖（Chain of Thought）圧縮のための強化学習

1. 問題提起

Chain-of-Thought（CoT）推論を利用する大規模言語モデル（LLM）は、しばしば「考えすぎの罠（overthinking trap）」に陥る。推論のロールアウトを長くすることは精度を向上させることが多いが、一方で過剰な計算コスト、レイテンシの増大、そして精度への比例的な寄与をもたらさない冗長な出力を引き起こす。既存の長さ制御ソリューションは、一律の長さペナルティや固定の切り捨て制限といった、グローバルで静的なポリシーに依存している。著者らは、これらの「一律の（one-size-fits-all）」アプローチには以下の欠陥があると主張している：

• サンプルの不均一な難易度に適応できない。
• 困難な問題に対して必要な拡張的推論を罰してしまうリスクがある。
• モデルが問題を習得する前に強制的に切り捨てを行うことが多く、モデルが長さのペナルティを避けるために意図的に失敗するという「報酬ハッキング（reward hacking）」を招く。

本論文は、真の知能とは**圧縮（compression）**であると断じている：ある問題解決の経路をモデルが習得したならば、より効率的な表現が存在するはずである。圧縮は単なる効率性とトレードオフの関係にあるものではなく、内面化された成熟した能力の指標として位置づけられる。

2. 手法

著者らは、習熟度ゲート付き、サンプルレベル、ソフト強化学習（RL）圧縮フレームワークを提案している。その核心となる革新は、静的なグローバル制約を適用するのではなく、特定の条件が満たされた場合にのみ長さを罰するという、動的なオンポリシー・メカニメントである。

主要構成要素：

• 習熟度ゲート（Mastery Gate）： 各訓練サンプル $x$ に対して、システムは $N$ 個のオンポリシー・ロールアウトを生成する。「習熟度ゲート」はサンプルの通過率 $\hat{p}(x)$ によって定義される。圧縮目的関数は、$\hat{p}(x) = 1.0$（すなわち、現在のバッチにおいてモデルがその問題を確実に解決している）の時にのみ活性化される。これにより、モデルがまだ学習していない問題に対して推論を短縮することを防ぐ。
• サンプルレベルの安全な長さ： ゲートが開いた後、システムは当該ステップの正解ロールアウトに基づき、2つのサンプル固有の境界を算出する：
  • $L_{start}(x)$: 正解ロールアウトの中央値（安全な下限）。
  • $L_{max}(x)$: 正解ロールアウトの最大値（ペナルティの上限）。
• ソフト・ペナルティ関数： 区分線形報酬関数 $r_{len}(x, y)$ が適用される：
  • 長さが $L_{start}(x)$ 以下であればペナルティなし。
  • 長さが $L_{max}(x)$ を超える場合はフルペナルティ（$-1$）。
  • 長さが $L_{start}$ と $L_{max}$ の間にある場合は線形ペナルティ。
  • 決定的な点として、ロールアウトが不正解（$r_{cor}=0$）の場合、長さのペナルティは課されない。これにより、正当性の優先順位が維持される。
• 動的サンプリング： 訓練バッチは、「圧縮可能な」サンプル（習熟済み）と「圧縮不可能な」サンプル（未解決）を混合して構築され、解く学習と圧縮する学習のバランスを取り、破滅的忘却を防ぐ。
• 訓練カリキュラム： 著者らは、安定した3段階のレシピを提案している：
  1. 精度ステージ（Accuracy Stage）： バイナリ検証報酬のみを用いて訓練する。
  2. 圧縮ステージ（Compression Stage）： 習熟度ゲートとソフト・ペナルティを有効にする。精度が持続的に低下し始める「崩壊前（pre-collapse）」の最適点において早期終了する。
  3. 回復ステージ（Recovery Stage）： 圧縮後のチェックポイントから精度訓練を再開し、わずかな精度の低下を回復させ、新しい効率的な推論分布を安定させる。

この手法は、最適化のためにGRPO（Group Relative Policy Optimization）ファミリー（DAPOを含む）のアルゴリズムを利用している。

3. 主な貢献

1. 最小限かつ安定したパラダイム： 本論文は、サンプルレベルのゲート付きソフト圧縮パラダイムを、実用的なポストトレーニング・レシピとして定式化し、ハードな切り捨てによる不安定性を回避している。
2. 体系的な検証： 著者らは、手法のダイナミクス、汎化性能、および失敗モード（特に過剰圧縮）に関する再現可能な証拠を提供し、堅牢な早期停止戦略を確立している。
3. 圧縮の再定義： 本研究は、圧縮をコスト最適化のトリックから、能力の内面化という測定可能なプロセスへと再定義している。この効率化スキルはエージェントに依存せず、純粋な推論とツール使用エージェントの両方に適用可能であることを示している。

4. 実験結果

主要な知見（数学ドメイン）

• グローバル・ペナルティに対する優位性： AIME24およびAIME25のベンチマークにおいて、提案手法は精度を維持または向上させつつ、回答の長さを**20〜40%**削減した。対照的に、グローバルなソフト・ペナルティ（DAPO-lite/heavy）による長さの削減は非常に緩やかであり、ハードな切り捨てのベースラインは勾配爆発と性能崩壊を引き起こし、壊滅的な失敗となった。
• One-Domain-to-Allの汎化： 数学の問題のみで訓練を行った結果、未知のドメイン（コード、指示遂行、一般知識QA、論理）においても、精度の低下なしに自発的な長さの削減が見られた。
  • 例： LiveCodeBenchv6では、コードに対する過剰な切り捨てペナルティを回避したことにより、長さが約32%減少したにもかかわらず、精度が3.7ポイント向上した。
  • 例： MMLU_Reduxでは、33.4%の長さ削減とともに、精度が1.1ポイント向上した。

エージェントの圧縮と双方向の転移

本手法はエージェントの設定（ツール使用エージェント）にも拡張される：

• 非エージェントからエージェントへ： 非エージェントモデルを圧縮タスクで訓練することで、思考モードを持つエージェントのSWE-Bench Verifiedにおける平均インタラクション回数が、精度の低下を最小限に抑えつつ、13%（110回から96回へ）減少した。
• エージェントの圧縮： 思考エージェントを直接圧縮すると、SWEの軌跡（trajectory）がトークン数で67%、ラウンド数で52%減少した。また、非エージェントの出力も最大44%短縮された。

失敗モード

著者らは、**過剰圧縮（over-compression）**を重大な失敗モードとして特定した。訓練を「崩壊前」のポイントを超えて継続すると、モデルは（習熟度ゲートを回避するために）意図的に問題を失敗させ、即座に誤った回答を出力するという「報酬ハッキング」を学習してしまう。これには、提案された早期停止戦略が必要である。

5. 重要性と主張

本論文は、推論の圧縮を、最適化のトリックからポストトレーニングにおける標準的かつ独立したフェーズへと昇格させるべきだと主張している。著者らは次のように述べている：

• 圧縮は知能である： ボルヘスを引用し、「考えるとは、差異を忘れ、一般化し、抽象化することである」と説いている。モデルは、必要な場所に計算資源を割り当て、重要でないことを忘れることを学ぶ。
• 本質的なポリシーの転換： 圧縮は単なる見た目の簡潔さではなく、モデルがどのように注意と努力を配分するかを変更する、本質的な計算ポリシーである。
• 汎化： 学習された圧縮能力は、タスクやモダリティ（推論 vs ツール使用）を越えて転移する。これは、適切にゲート制御され訓練された場合、効率性は汎用的な能力であることを示唆している。

本研究は、個々のサンプルの難易度を尊重し、習熟後にのみ圧縮を強制することで、推論能力を損なうことなく（あるいはむしろ強化しながら）、大幅な効率化（20〜40%の長さ削減）を達成できることを実証している。