技術要約: HMPO – 連鎖的思考（Chain-of-Thought）圧縮のためのハイブリッド・メディアン長方策最適化

1. 問題提起

大規模言語モデル（LLM）は、OpenAI o1、DeepSeek-R1、Qwen-3に見られるように、拡張された連鎖的思考（Chain-of-Thought: CoT）プロセスを通じて驚異的な推論能力を示してきました。しかし、この「思考」パラダイムは、1つのクエリに対して数千トークンを生成するため、高いレイテンシと膨大なリソース消費を伴う、極めてコストの高い推測（インファレンス）をもたらします。

既存のCoT圧縮手法には、以下の3つの決定的な限界が存在します：

1. 柔軟性に欠ける制約: 現在のアプローチは、手動で調整された静的な長さの予算や、硬直的な「思考するかスキップするか」のバイナリな決定に依存しており、適用範囲が狭いドメイン（主に数学）に限定され、問題の複雑さの変化に適応することができません。
2. 過度な学習コスト: 効果的な圧縮を行うには、データの蒸留、教師あり微調整（SFT）によるウォームアップ、あるいは段階的な反復プルーニングを含む、計算コストの高いマルチステージのパイプラインが必要になることがよくあります。
3. 脆弱なスケーラビリティ: 評価は主に小規模なデンスモデル（≤32B）に限定されており、最先端の大規模モデルや混合エキスパート（MoE）アーキテクチャへの適用可能性が検証されていません。

2. 手法: HMPO

著者らは、Group Relative Policy Optimization (GRPO) に基づく、コスト効率の高いシングルステージの強化学習フレームワークである HMPO (Hybrid Median-length Policy Optimization) を提案しています。HMPOは、以下の3つの相乗的なコンポーネントを通じて、従来の研究の限界に対処します。

A. 適応型メディアンベース予算

静的かつ手動で定義されたトークン予算を使用する代わりに、HMPOは学習バッチ内の**成功した（正解の）ロールアウトのメディアン長（中央値）**から、動的に予算 $b$ を導出します。

• メカニズム: $G$ 個のロールアウトのグループに対し、正解を含むサブセット $C$ を特定します。予算は $b = \text{median}(\{n_i \mid i \in C\})$ として計算されます（ここで $n_i$ はトークン長）。
• メリット: このアプローチは、ノイズの多い失敗した試行から長さの信号を分離し、難易度に応じた制約を作り出します。複雑なクエリは自然と長い正解のロールアウトを生み出し（予算を緩和）、単純なクエリはより厳しい制約を受けます。方策が改善されるにつれて、予算は自動的に減少するため、手動の介入なしに自己収束的なカリキュラムを形成します。

B. コサイン減衰トークン報酬

冗長性を排除しつつ精度を低下させないために、HMPOは成功した軌跡に対してのみ長さの選好を適用します。

• メカニズム: 長さ $n < b$ である正解のロールアウトに対し、滑らかなコサイン減衰関数を用いてトークン報酬 $R_{token}$ を定義します。
  $$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$$
  不正解または空のレスポンスには $R_{token} = 0$ となります。スカラー $\lambda$ は、長さによって誘発される利得の大きさを制御します。
• メリット: これは「ソフトランディング」的なペナルティを提供し、必要な推論ステップを維持しながら、より短い正解レスポンスを促します。これにより、バイナリ閾値による厳しい罰則を回避します。

C. 乗法的報酬定式化

回答の正確性を厳格に優先し、「報酬ハッキング」（長さを短くして正解を得るのではなく、短くすることで報酬を最大化しようとする挙動）を防ぐために、最終的な報酬は乗法的に定式化されます：
$$R_{final} = R_{acc} \cdot R_{token}$$

• メカニズム: $R_{acc}$ は正解の場合は1、不正解の場合は0となります。
• メリット: これにより、「正確性第一、長さ第二」の階層構造が強制されます。数学的には、不正解のレスポンス（$R_{acc}=0$）は、その長さに関わらず最終的な報酬が0になります。これにより、不正解に対する効率性の勾配を排除し、報酬ハッキングに対する耐性を備えます。

3. 主な貢献

1. 手法の革新性: HMPOは、適応型メディアン予算、コサイン報酬シェイピング、および乗法的報酬因数分解を導入しました。これらのコンポーネントは、手動予算の硬直性、静的ペナルティの過激さ、および従来のRLベースの圧縮手法に見られる報酬ハッキングへの脆弱性を共同で解決します。
2. クロスドメインの汎化性能: 本論文は、9Bから122BのデンスモデルおよびMoEモデルにわたる広範な評価を提示しています。極めて重要な点として、HMPOは数学データのみで学習されているにもかかわらず、タスク固有のチューニングなしに、コード、科学、および指示遂行タスクへの堅牢な汎化性能を示しています。
3. 前例のないスケーラビリティ: HMPOは、大規模なMoEアーキテクチャ（最大122Bパラメータ）における初の成功したCoT圧縮を実現しました。本モデルは、ニアパーフェクトな精度パリティを維持しながらトークン使用量を大幅に削減し、より少ないトークン数で、はるかに大規模な活性化スケールを持つフロンティアモデル（例：700B+ MoEs）に対抗することを可能にします。

4. 実験結果

実験は、DeepMath-103Kから抽出された6.5Kのインスタンスを用いて、Qwen3.5シリーズのモデル（9B, 35B-A3B, 122B-A10B）に対して行われました。

• 圧縮 vs 精度: HMPOは、異なるモデルスケールにおいて、精度の低下を無視できるレベルに抑えつつ、19%～46%のトークン圧縮を達成しました。
  • Qwen3.5-9Bでは、平均精度の低下がわずか0.02ポイント（pp）である中で、出力トークンを46%削減しました。
  • Qwen3.5-122Bでは、0.10 ppの精度低下で19%の圧縮を達成しました。
• ベースラインとの比較:
  • ThinkPrune: より高い圧縮率（64–72%）を達成していますが、深刻な精度低下（11–22 ppの低下）を招きます。
  • Thinkless: SFTによるモード崩壊のため、小規模モデルにおいて壊滅的な失敗（精度15%未満）を示します。
  • AdaptThink: わずかな利得しか得られず、大規模モデルでは効果的な圧縮に失敗し、時にはトークン長を増大させてしまいます。
• 学習効率: 蒸留およびSFTフェーズを排除することで、HMPOはマルチステージのベースラインと比較して、学習GPU時間を1.5倍～2.5倍削減しました。
• トークン効率: AIME 2026において、HMPOで学習された122Bモデルは、大幅に大きなフロンティアモデル（例：Nemotron-3-Super-120BやKimi-K2.2.5-1T）に対して競争力のある精度を維持しながら、トークン消費量を23%削減しました。

5. 意義と主張

本論文は、HMPOがシングルステージのドロップイン最適化戦略を提供することで、効率的な推論のパラダイムシフトを象徴していると主張しています。その意義は以下の通りです：

• 手動チューニングの排除: 適応型メディアン予算により、ドメイン固有の長さ予算の退屈な調整の必要性を排除します。
• 数学的堅牢性: 乗法的報酬定式化は、正確さを犠牲にして簡潔になろうとする学習を数学的に防ぎます。
• 実用的な展開: 多様なアーキテクチャやドメイン（数学専用の学習にもかかわらず）において、無視できるほどの精度損失とともに高い圧縮を実現することで、HMPOは複雑なマルチステージの学習パイプラインを必要とせず、高度な推論LLMの効率的な実世界展開を可能にします。

著者らは、マルチターン推論およびエージェント的タスクに関する限界を認めており、現在のフレームワークはシングルターン設定向けに設計されており、インタラクティブまたはツールベースのシナリオへの拡張が今後の研究方向であることを述べています。