技術的概要：適応型 GoGI-Skip

問題定義

思考連鎖（CoT）プロンプティングは、大規模言語モデル（LLM）の推論能力を大幅に向上させるが、冗長で重複した推論トレースの生成により、推論遅延とメモリコストが許容不可能なレベルに達する。既存の圧縮戦略は、以下の根本的なトレードオフに直面している：

1. 静的勾配/重要度手法：TokenSkip や意味的類似性に依存するアプローチは、トークンを独立して扱う。これらは、構造的に重要だが意味的に単純なトークン（例：論理接続詞）を削除することで逐次的な論理を断絶させたり、機能的な冗長性と必要な詳細化を区別できずに失敗したりする。
2. 不確実性に基づく剪定：予測エントロピーやパープレキシティのみに依存する手法は、局所的な曖昧さを捉えるが、回答の正しさを最終目標として無視する。最終的な解決策に機能的に無関係な、驚きのあるトークンを保持してしまう可能性がある。
3. 静的圧縮率：固定された圧縮率は、推論ステップの不均一な難易度に対応できず、複雑なタスクでは過剰な精度低下を招いたり、単純なタスクでは十分な効率向上が得られなかったりする。

核心的な課題は、モデルが厳密に必要な分だけ推論を行う「思考最適」の均衡を達成することであり、これには目的意識的（回答の正しさと整合する）かつ動的適応的（局所的な推論の複雑さに対応する）な圧縮パラダイムが必要である。

手法：適応型 GoGI-Skip

著者は、推論精度を犠牲にすることなく CoT トレースを剪定するために、目的勾配重要度（GoGI）と適応的動的スキップ（ADS）を結合したフレームワーク「適応型 GoGI-Skip」を提案する。この手法は、圧縮されたトレースに対する教師あり微調整（SFT）によって実装される。

1. 目的勾配重要度（GoGI）

一般的な重要度指標とは異なり、GoGI は勾配感度を通じてトークンの最終回答の正しさに寄与する機能的な貢献度を定量化する。

• 定義：ターゲット層 $l^*$ におけるトークン $x_t$ について、GoGI スコア $G_t$ は、回答予測損失（$L_{ans}$）の隠れ状態 $h_t^{l^*}$ に対する勾配の $L_1$ ノルムである：
  $$G_t = \left\| \frac{\partial L_{ans}(A|c; \theta)}{\partial h_t^{l^*}} \right\|_1$$
• 層の選択：実証分析により、ピーク感度は中盤から後半の層（例：Gemma3-4B の Layer 23）で発生することが示された。この手法は、下流の性能が正確な選択に依存しない代表的な層を選択し、局所的および全球的な信号のバランスを取る。
• 洞察：GoGI は、意味的に単純であっても最終回答にとって機能的に重要なトークンを特定し、単に驚き（高いエントロピー）があるが無関係なトークンと区別する。

2. 適応的動的スキップ（ADS）

ADS は、実行時のコンテキストに基づいて剪定戦略を動的に調整し、GoGI に 2 つの規制メカニズムを組み合わせる：

• エントロピー駆動レート（EDR）：
  • 情報密度と分岐点の指標として予測エントロピー $H_t$ を使用する。
  • $H_t$ を局所保持率 $\gamma_t$ にマッピングする。高いエントロピー（不確実性）は保守的な剪定（高い保持）を触发し、低いエントロピーは積極的な剪定を可能にする。
  • これにより、局所的不確実性に基づいて動的 GoGI 閾値 $\tau_t$（保持に必要な GoGI スコアの百分位）が調整される。
• 適応的 N-制約（ANC）：
  • 構造的整合性を維持するため、ANC は連続して剪定されるトークンの数（$N_t$）を制限する。
  • $N_t$ は局所ウィンドウエントロピーによって調整される。高エントロピー領域（遷移）では、$N_t$ を削減してより厳格な整合性を強制し、個々の GoGI スコアが低くても重要な論理接続詞（例：「したがって」）をモデルがスキップするのを防ぐ。
  • これは断片化した推論連鎖を防ぐための「セーフティネット」として機能する。

3. 剪定アルゴリズム

アルゴリズムは CoT 系列を反復する。トークンは以下の条件を満たす場合に保持される：

1. 重み付けされた GoGI スコアが動的閾値を超えている場合（$G'_t \geq \tau_t$）、または
2. 剪定することが連続スキップ制約に違反する場合（$C_{t-1} + 1 \geq N_t$）。

得られた圧縮された系列は SFT のためのデータセットを形成し、圧縮ポリシーを直接モデルの重みに蒸留する。これにより、推論中にゼロ実行時オーバーヘッドが可能となり、モデルは単に短く高密度な系列を生成する。

主要な貢献

1. フレームワーク設計：CoT 圧縮のために、目的論的な目標整合（GoGI）と認識論的不確実性（ADS）を非線形的に結合する最初のフレームワークである適応型 GoGI-Skip の導入。
2. ゼロショット普遍性：わずか 7,472 の MATH トレースでトレーニングされた単一の圧縮ポリシーが、タスク固有のチューニングなしに多様なベンチマーク（AIME、GPQA、GSM8K）およびモデルファミリー（Gemma、Qwen）間で効果的に転移することを示実。
3. 効率 - 精度フロンティア：厳格なベンチマークにおいて元の精度を維持または向上させながら、大幅な効率向上（トークン削減率 45% 超、最大 2.0 倍の高速化）を達成し、静的ベースラインで見られた硬直的なトレードオフを打破した。

実験結果

Gemma3 および Qwen2.5 モデルを、AIME 2024/2025、GPQA Diamond、GSM8K において評価：

• 性能：適応型 GoGI-Skip は、静的ベースライン（TokenSkip、Spiritft）および外部蒸留器（C3oT）を一貫して上回った。
  • GSM8K では、元のモデルより 0.3% 高い 89.9% の精度を達成し、1.9 倍の高速化と 45% のトークン削減を実現した。
  • AIME 2024 では、元の 14.5% に対し 14.1% の精度を維持しつつ、1.7 倍の高速化を達成した。
  • GPQA Diamond では、元の 29.6% に対し 29.3% の精度を達成し、1.8 倍の高速化を実現した。
• 汎化：この手法はモデルサイズ（1B から 12B）に対して正のスケールを示し、より大きなモデルほど推論信号とノイズの分離が顕著であることを示唆している。
• アブレーション研究：動的規制（ADS）または N-制約（ANC）を除去すると精度が大幅に低下し、静的圧縮が変化する推論の複雑さを処理できないことを確認した。GoGI をパープレキシティベースの指標（LLMLingua）に置き換えることも性能を低下させ、勾配ベースの目標整合の優位性を検証した。

意義と主張

本論文は、推論における構造的冗長性は、意味とは区別される学習可能なタスク非依存の性質であると主張する。表面レベルのパープレキシティや静的ヒューリスティックではなく、回答損失の勾配に重要度を固定することで、この手法は余分な内容から核心的な演繹信号を分離する。

著者は、思考最適の圧縮には、目的論的目標と認識論的不確実性の間の相乗効果が必要であると論じる。提案された手法は、強化学習（RL）アプローチに関連するトレーニングの不安定性や報酬ハッキングを回避する、安定した直接的な最適化経路（SFT 経由）を提供する。さらに、これは DeepSeek-R1 のような RL 最適化された推論器（より冗長なトレースを生成するもの）に対する補完的なポストプロセッサとして機能し、固定されたインフラ制約下での高能力モデルの効率的な展開を可能にし、エネルギー消費の削減を通じて Green AI 構想を支援する。