💬 NLP

Think Silently, Think Fast: Dynamic Latent Compression of LLM Reasoning Chains

本論文は、教師あり微調整と強化学習を利用してLLMの推論連鎖を潜在空間へと動的に圧縮するフレームワークであるCompressed Latent Reasoning (CoLaR) を導入するものであり、複雑な数学的タスクにおける精度を維持または向上させつつ、計算コストと推論時間を大幅に削減する。

原著者： Wenhui Tan, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

公開日 2026-02-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenhui Tan, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは数学の問題を解こうとしているところだと想像してください。例えば、「7本のスプーンが21ドルのとき、5本のスプーンはいくらになるか」を計算する場合です。

旧来の方法（「一歩一歩」の歩行）
現在、ほとんどのAIモデルは、このように問題を解いています。つまり、一単語ずつ、自分自身に声に出して語りかける方法です。彼らはこう言うかもしれません。「ええと、21を7で割ると3だ。だからスプーン1本は3ドル。それから3に5を掛けると15だ。答えは15だ」。
これは「思考の連鎖（Chain of Thought）」と呼ばれます。これはうまく機能しますが、遅くてコストがかかります。これは、牛乳を買いに店へ行くのに、ただ歩くだけでなく、一歩進むたびにカメラに向かって自分の歩みのすべてを説明しなければならないようなものです。もし同時に100万人にこれを行わなければならないとしたら、サーバーは詰まり、永遠に時間がかかってしまいます。

新しい方法：CoLaR（「テレポートする」思考者）
この論文では、CoLaR（Compressed Latent Reasoning：圧縮された潜在的推論）と呼ばれる新しい手法を紹介しています。CoLaRを、歩行者ではなく、テレポート（瞬間移動）する者だと考えてください。

すべての言葉を発する代わりに、CoLaRは数語をまとめて、一つの目に見えない「思考のパケット」（潜在変数）にします。

圧縮： 例えば、「21 divided by 7 equals 3（21を7で割ると3になる）」という長い文章があるとします。CoLaRはこの文章全体を、一つの小さく高密度な情報の「点」へと押しつぶします。意味を失うのではなく、より密に詰め込むのです。
スピードダイヤル： 最も素晴らしいのは、CoLaRに対して「どれくらいの速さで考えるか」を指示できる点です。
- もしあなたが「ステップ・バイ・ステップで考えて」と言えば、AIは時間をかけ、一つの点に数語ずつを詰め込みます。
- もしあなたが「5倍速く考えて！」と言えば、AIは一つの点に「5つの単語」を詰め込みます。無駄な言葉を飛ばして、核心となるロジックへと直行するのです。

どのように学習するか（トレーニングジム）
AIにこのようなことを教えるのは難しいと論文では説明されています。ただ単に「速くなれ」と言うだけでは、AIが怠慢になり、間違った答えを出してしまう可能性があるからです。そこで研究者たちは、2段階のトレーニングプロセスを用いました。

宿題（教師あり微調整 / Supervised Fine-Tuning）： 彼らはAIに何千もの数学の問題を見せました。時にはゆっくりと考えさせ、時には速く考えさせました。そして、特別なテクニックを教え込みました。「一連の単語のグループを見たら、次のグループを一つの単位として予測せよ」というものです。これは、学生に「段落を一つの文章に要約してから次に進む」ことを教えるようなものです。
ゲーム（強化学習 / Reinforcement Learning）： ここでAIは本当に賢くなります。研究者たちは、AIがさまざまな方法で問題を解けるようにしました。
- もしAIが長く回り道をして正解に辿り着いた場合、小さな報酬を与えました。
- もしAIが短く巧妙なショートカットを見つけて正解に辿り着いた場合、大きな報酬を与えました。
- もし答えが間違っていた場合は、ペナルティを与えました。
- 時間の経過とともに、AIはこれらの圧縮されたパケットの中で「静かに思考する」ことを学び、不必要な言葉にエネルギーを浪費することなく、解決への最短かつ最も効率的な経路を見つけ出すようになりました。

結果
この論文は、この新しい「テレポート」手法が大きな勝利であることを主張しています。

より賢い： 他の圧縮手法と比較して、CoLaRは14%高い精度を誇ります。
より速い： 標準的な一単語ずつの方法と比較して、推論の連鎖（AIが踏む「ステップ」の数）を50%以上削減しており、精度もほとんど損なわれません。
より柔軟： 非常に難しい数学の問題に対しては、特別な「スピードダイヤル」設定を使用することで、推論の連鎖を83%短縮しながら、AIが問題を解く精度を5%向上させることができました。

まとめ
CoLaRは、壁のレンガ一つひとつを説明する、ゆっくりとしたおしゃべりなツアーガイドから、必要な知識をすべて一つのコンパクトなバックパックに詰め込んで、目的地へ瞬時にあなたをテレポートさせる、静かで効率的なエキスパートへのアップグレードのようなものです。これにより、AIは「静かに思考」することができ、より速く、コンピューターの電力を節約しながら、実際には問題を解く能力さえ向上させることができるのです。

技術要約：圧縮潜在推論 (Compressed Latent Reasoning: CoLaR)

問題提起

大規模言語モデル（LLM）は、思考の連鎖（Chain-of-Thought: CoT）プロンプティングを通じて、明示的なトークンレベルの推論過程を生成することで、優れた数学的推論能力を実現しています。しかし、これらの長いシーケンスは計算コストが高く非効率であり、高コンカレンシー（高並列実行）条件下において、深刻なサーバー負荷とスケーラビリティの阻害を引き起こします。既存の効率化手法は、冗長なトークンのスキップやコンパクトな表記の使用を試みていますが、依然として疎なトークンベースの表現に制約されています。さらに、近年の潜在変数ベースの推論手法（Coconut、CODIなど）は、固定長の推論チェーンや決定論的な潜在変数生成に依存していることが多く、適応性や探索能力に限界があります。

手法：圧縮潜在推論 (CoLaR)

CoLaRは、多様な推論経路の探索能力を維持しつつ、推論プロセスを密な潜在空間へと動的に圧縮するように設計された新しいフレームフレームワークです。この手法は、以下の2段階の学習アプローチを通じて動作します。

1. 補助的目標を用いた教師あり微調整 (SFT)

CoLaRは、標準的な次トークン予測を超え、補助的な「次圧縮埋め込み予測（next compressed embedding prediction）」目標を導入しています。

動的圧縮: 学習中、圧縮係数 $c$ が定義された範囲 $[1, c_{max}]$ からランダムにサンプリングされます。 $c$ 個の連続する推論トークンの埋め込みは、「埋め込み圧縮（Embedding Compress）」モジュールを使用して、単一の圧縮された埋め込みへと統合されます。このモジュールは、単純な平均プーリングによる歪みを避けるため、埋め込みの総和を $1/\sqrt{c}$ 倍にスケールすることで、元の分布特性を保持します。
デュアルヘッド・アーキテクチャ: モデルは2つのヘッドを利用します。
- 潜在ヘッド (Latent Head): 確率的ヘッド（2つのヘッドを持つMLP）であり、次の圧縮埋め込み分布の平均 ( $\mu$ ) と標準偏差 ( $\sigma$ ) を予測します。これにより、決定論的な値ではなく、密な潜在変数の自己回帰的な予測が可能になります。
- 言語ヘッド (Language Head): 最終的な回答を予測し、さらに重要なことに、圧縮された埋め込みに対応する元の推論トークンを予測することで、密な教師信号を提供します。これはマルチラベル分類タスクを近似しており、モデルが圧縮されたグループのセマンティクス（意味論）を学習することを確実にします。
損失関数: 学習損失は、言語モデリング損失（トークン予測用）と潜在損失を組み合わせたものです。潜在損失は、平均二乗誤差（MSE）とエントロピー正則化項を組み合わせたソフトMSE定式化を使用します。これにより、モデルがデータの適合を図りながら、探索能力（多様な潜在変数）を維持することを促進し、単純なデータセットで標準的な負の対数尤度（NLL）損失で見られるアンダーフィッティングの問題に対処します。

2. 探索と活用（Exploration and Exploitation）のための強化学習 (RL)

CoTという教師を模倣する段階を超え、潜在推論の可能性を解き放つために、CoLaRは「グループ相対方策最適化（Group Relative Policy Optimization: GRPO）」を採用しています。

確率的サンプリング: 潜在ヘッドは確率分布を出力するため、モデルは同じ入力に対して多様な潜在推論チェーンをサンプリングできます。
報酬メカニズム: 各問題に対して、出力のグループ（潜在チェーン＋回答）が生成されます。報酬は、回答の正誤に基づいて割り当てられます（正解なら1、不正解なら0）。
バランシング戦略: GRPO目的関数は、グループ正規化された報酬を計算します。極めて重要な点として、報酬はチェーン内のトークン数または潜在変数の数で平均化されます。この設計により、モデルは正しい（かつ短い）推論パスを**活用（exploit）すること（トークンあたりの報酬が高くなるため）を本質的に促しながら、同時に正しい解を見つけるための多様なパスを探索（explore）**することを可能にします。

主な貢献

動的速度の潜在推論: CoLaRは、複数の単語トークンの意味を包含する潜在変数を自己回帰的に予測するフレームワークを導入しました。これにより、推論時に望ましい圧縮係数をプロンプトするだけで、推論速度を動的に調整することが可能になります。
確率的潜在ヘッドとRLの統合: 決定論的な従来の潜在手法とは異なり、CoLaRは確率的潜在ヘッドを採用しています。これを強化学習と組み合わせることで、モデルは多様な推論経路を探索し、よりコンパクトな解を活用できるようになり、精度を損なうことなく効率性を大幅に向上させます。
新規な学習目標: 次の圧縮埋め込み予測タスクとソフトMSE潜在損失の導入により、モデルは密な表現を効果的に学習し、探索と活用のトレードオフをバランスよく制御できます。

実験結果

GSM8k、GSM8k-hard、SVAMP、MultiArithの4つの算数データセット、およびより困難なMATHデータセットに対して広範な評価が行われました。

潜在変数ベースラインとの比較: 算数系データセットにおいて、CoLaRは同等の圧縮率において、最先端の潜在ベースのベースライン（Coconutなど）よりも14.1%高い精度を達成しました。
明示的CoTとの比較: 明示的なCoTと比較して、CoLaRは推論チェーンの長さを53.3%削減しながら、性能低下をわずか**4.8%**に抑えました。
困難なタスクにおけるRLの強化: MATHデータセットにおいて、CoLaRにRLを適用した結果、非RL版と比較して5.36%の精度向上を実現しつつ、推論チェーンの長さを82.8%削減しました。
スケーリング: 1Bから8Bパラメータへのスケーリング実験により、CoLaRの効率性と精度の向上は、より大きなモデル容量においても維持されることが確認されました。CoLaR-8B-RLは、GPQAベンチマークにおいてCoTの教師モデルを上回りました（37.5% vs 35.7%）。その際、推論チェーンを69%短縮しています。
汎化性能: モデルは、未知の圧縮係数やドメイン外のデータセット（MultiArith、GPQAなど）に対しても、堅牢な汎化性能を示しました。

意義

本論文は、推論を疎なトークンレベルの処理から密な潜在空間の推論へと移行させることで、CoLaRがLLM推論における計算コストの決定的なボトルネックを解決すると主張しています。その意義は以下の通りです。

動的な適応性: 推論時に圧縮係数を調整できる能力は、レイテンシと精度の柔軟なトレードオフを提供し、多様な実世界のアプリケーションの制約に適応可能です。
犠牲のない効率化: 確率的潜在推論と強化学習を活用することで、CoLaRは複雑なタスクにおいて精度を維持、あるいは向上させながら、推論チェーンの長さを大幅に（最大82.8%）削減できます。これは、「効率化は性能の低下を伴う」という概念に挑戦するものです。
潜在空間における探索と活用: 本研究は、潜在推論プロセスに確率性と強化学習を導入することで、決定論的で固定長のモデルが見落としてしまう、より効率的な推論パスを発見できることを示しています。

著者らは、現在の性能が一部のベンチマークにおいて明示的なCoTに近似していること（常に上回るわけではないこと）や、離散的なトークン化の制約により非整数の圧縮係数への汎化に課題があることなどの限界も認めています。しかし、本フレームワークは、効率的でスケーラブル、かつ適応的なLLM推論に向けた有望な方向性を確立しています。