技術的サマリー：Extra-CoT

問題定義

大規模言語推論モデル（LRMs）は、段階的な思考連鎖（Chain-of-Thought: CoT）推論を生成することで、複雑な論理的推論において顕著な能力を示しています。しかし、この性能は多大な計算コストを伴い、しばしば「過剰思考」を引き起こし、モデルが単純なクエリに対しても冗長な推論パスを生成する結果となります。既存の CoT 圧縮手法（例：TokenSkip、CTS）は、中程度の圧縮率（50–60%）においてトークンを効果的に剪定できますが、極端な比率（例：20–30%）では致命的な「忠実度の破綻」に陥ります。これらのレベルでは、汎用圧縮器は希薄で重要な推論ステップと数学的整合性を保持できず、論理的忠実度の壊滅的な損失と性能の大幅な低下を招きます。核心的な課題は、回答の精度を犠牲にすることなく、超低トークン予算下で高忠実度の推論を実現することです。

手法：Extra-CoT フレームワーク

著者らは、高精度な推論を維持しつつ CoT の効率性の限界を押し広げるために設計された、新たな 3 段階のフレームワーク「Extra-CoT」を提案します。このパイプラインは、意味的圧縮器、混合比率の教師あり微調整（SFT）、および専門的な強化学習（RL）アルゴリズムを統合しています。

1. 意味保持型・質問認識圧縮器

極端な圧縮のための信頼性の高い教師データを生成するために、著者らは数学的 CoT データ上で専用圧縮器を訓練します。

• アーキテクチャ: Longformer-large-4096 を基盤とし、入力質問のすべてのトークンに対してグローバルアテンションを利用することで、圧縮器を「質問認識型」にします。これにより、すべての推論トークンが問題文脈に直接アテンションを向けることが可能になります。
• 注釈戦略: 訓練データは、固有のインデックスベース・数式認識型注釈プロセスを経ます。数式と LaTeX 実体は断片化を防ぐために原子単位に統合されます。教師モデル（GPT-4o）は、保持すべきインデックスのセットのみを返すようプロンプトされ、レンダリングのばらつきに対する堅牢性を確保します。
• 目的: 圧縮器は、クラス重み付き Focal Loss を用いて各トークンの保持または削除を予測するように訓練され、数学的整合性の保持を優先します。

2. 混合比率教師あり微調整（SFT）

推論 LLM を高忠実度の圧縮データで微調整し、堅牢な制御性を学習させます。

• 制御語彙: トークナイザーに、特別な制御トークン（例：<COMP 20>、<COMP 40>、...、<COMP POLICY>）が追加されます。
• 2 段階データコホート:
  • 固定比率コホート: 特定の圧縮コマンド（例：<COMP 40>）に厳密に従うようモデルを訓練し、予算のスペクトル全体にわたる堅牢な制御性を確立します。
  • ポリシーウォームアップコホート: <COMP POLICY> トリガーが与えられた際に、モデルが自律的に比率トークンを予測するよう訓練し、後続の RL 段階のための学習可能なメカニズムを確立します。
• 目標: この段階は RL に対する安定した初期化を提供し、モデルに単一の目標だけでなく、圧縮予算のスペクトルに従うことを教えます。

3. 制約付き階層型比率ポリシー最適化（CHRPO）

精度を維持しつつ、より低い予算の選択を明示的にインセンティブ化するために、著者らは階層的 RL アルゴリズムであるCHRPOを導入します。

• 教師予算選択: 各クエリに対して、「教師予算」$r^*$ を、SFT モデルがまだ正解を生成する最小の比率として決定し、RL ターゲットが達成可能であることを保証します。
• 階層的報酬構造:
  • メイン報酬（$R_{main}$）: 全体のシーケンスに適用され、4 つの構成要素を統合します：精度、比率最適化モード（成功した短縮に報酬、失敗にペナルティ）、予算較正（実現された比率が選択された比率と一致することの保証）、および根拠整合性（欠落した推論ブロックにペナルティ）。
  • 制御ヘッド報酬（$R_{ctrl}$）: 最初のトークン（比率選択トークン）にのみ適用されます。これにより、最終的な精度シグナルが初期の比率選択から遠すぎるというクレジット割り当ての問題に対処し、ポリシーの意思決定を形成するための即座の勾配シグナルを提供します。
• リスク感受性シェイピング: 報酬関数は非対称なペナルティを採用し、ポリシーが正しい場合のみ短縮する（「安全な短縮」）ことと、困難なインスタンスで失敗するよりも予算を増やすことを好む（「失敗時の迅速な回復」）ことを保証します。

主要な貢献

1. Extra-CoT フレームワーク: 圧縮器 $\to$ 混合比率 SFT $\to$ CHRPO という新たな 3 段階パイプラインにより、超低トークン予算下で高忠実度の推論を実現し、意味保持と制御順守の課題を効果的に緩和します。
2. 意味保持型圧縮器: 数式認識型注釈を備えた質問認識型アーキテクチャにより、高忠実度の教師データを生成し、数学的整合性を保持するとともに、記号的推論コンポーネントの断片化を防ぎます。
3. 統合 SFT-RL パイプライン: 堅牢な制御性を確立するために混合比率 SFT を用い、その後、極端な圧縮率下での精度を明示的にインセンティブ化するために階層的報酬を備えた CHRPO を用いる訓練戦略です。

実験結果

このフレームワークは、主にQwen3-1.7Bバックボーンを使用して、3 つの数学的推論ベンチマーク：GSM8K、MATH-500、およびAMC2023で評価されました。

• 極端な比率での性能: MATH-500 において、Extra-CoT はベースモデルに対して0.6%の精度向上を伴いながら73% のトークン削減（0.27 の ActRatio）を達成し、TokenSkip などの最先端手法を大幅に上回りました。0.2 の目標比率において、Extra-CoT は堅牢な性能（MATH-500 で 47.8% の精度）を維持しましたが、TokenSkip は 23.4% まで壊滅的に低下しました。
• 制御順守: 実現された比率が目標から大幅に逸脱する「制御崩壊」を示すベースラインとは異なり、Extra-CoT はすべての比率において圧縮コマンドに正確に従うことを示しました。
• 効率性: エンドツーエンドの推論遅延テストにおいて、Extra-CoT はベースモデルと比較して GSM8K で3.24 倍、MATH-500 で2.35 倍の遅延削減を実現しました。一方、TokenSkip は一部のベンチマークでわずかな gains しか示さず、あるいは遅延が増加さえしました。
• 汎化性: この手法は、異なるバックボーンモデル（Qwen2.5-7B、Llama3.2-3B）および長文脈設定（16K 文脈を備えた Pangu-Embedded-7B-V1.1）において堅牢性を示し、改善が特定のモデルアーキテクチャではなく、圧縮された教師データの品質に由来することを確認しました。

意義と主張

本論文は、Extra-CoTが、高忠実度の極端な圧縮が効率的な推論への viable な道であることを実証していると主張しています。意味保持型教師と階層的 RL 最適化を通じて「忠実度の破綻」に対処することで、このフレームワークは、既存の手法で見られる性能の崩壊なしに、大規模言語推論モデルが超低トークン予算下で効果的に動作することを可能にします。この研究は、トークン数が劇的に削減された場合でも、問題解決能力を維持するために推論連鎖の論理的整合性を保持することが不可欠であることを浮き彫りにしています。著者らは、この方向性のさらなる研究を促進するためにコードを提供しています。