🤖 AI

Reasoning Models Can be Accurately Pruned Via Chain-of-Thought Reconstruction

本論文は、標準的な剪定手法によって引き起こされる性能低下と遅延の増加を回避しつつ、推論モデルの展開コストを効果的に削減するための推論意識型圧縮（RAC）を提案するものであり、これは入力活性化とオンポリシーの思考連鎖トレースを同時に再構成する剪定手法である。

原著者： Ryan Lucas, Kayhan Behdin, Zhipeng Wang, Qingquan Song, Shao Tang, Rahul Mazumder

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ryan Lucas, Kayhan Behdin, Zhipeng Wang, Qingquan Song, Shao Tang, Rahul Mazumder

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「推論 AI」という名前の、非常に優秀で成果を出し続ける学生を想像してみてください。この学生は複雑な数学の問題を解いたりコードを書いたりするのが得意ですが、奇妙な癖があります。最終的な答えを提示する前に、思考プロセスの膨大で詳細な日記を書き出すのです。「答えは 42 です」と言うだけでなく、「さて、これを試してみたらどうなるか、いや待てよ、もしかしたら違うかもしれない…」と、ついに答えにたどり着くまで 50 ページも書くのです。

これにより非常に正確になる一方で、実行には信じられないほど時間とコストがかかります。そこで、同じ仕事をこなすために、この学生のより小さく安価なバージョン（「プルーニング」されたモデル）を雇いたいと考えます。

問題点：「間違った宿題」の過ち
通常、エンジニアはこれらの大規模な AI モデルを縮小する際、「プルーニング」と呼ばれる手法を用います。プルーニングとは、重要ではないと思われる単語を削り取ることで本を短く編集するようなものです。

どの単語を削るかを決定する編集者（プルーニングアルゴリズム）は、通常、学生の「入力」、つまり彼らに問われる質問のサンプルを見て判断します。「この学生はこれらの質問に答えるのが得意だ。だから、質問に対応する脳の部分を残せば大丈夫だろう」と仮定するのです。

しかし、この論文は、推論モデルにとってこれが大きな過ちであると主張しています。これは、マラソンランナーを育てるために、靴を結ぶ様子だけを観察しようとするようなものです。実際に彼らが「走る」部分を無視しているのです。

推論モデルにとっての「走る」部分は、長い思考の連鎖（CoT）です。質問（入力）のみをプルーニングアルゴリズムの訓練に用い、長い思考プロセスを無視すると、縮小されたモデルは混乱してしまいます。以前よりもさらに意味の通じない独り言を繰り返し、50 ページではなく 100 ページもの混乱した思考を書き連ね、それでもなお答えを間違えてしまいます。結果として、モデルは同時に「より遅く、より愚か」になってしまいます。

解決策：「推論を考慮した圧縮（RAC）」
著者たちは、「推論を考慮した圧縮（RAC）」と呼ばれるシンプルな解決策を提案しています。

プルーニングアルゴリズムに質問を見せるだけでなく、「まずモデルに質問に答えさせ、その完全な思考プロセスを書き出させ、その『全体のプロセス』を使って何を削るかを決定しよう」というのです。

比喩：リハーサル
あなたが芝居の編集をしていると想像してください。

旧来の方法： 脚本の冒頭のセリフを読み、最初の場面で俳優たちがどう見えるかを見て、どの俳優を解雇するかを決定する。
RAC 方法： 俳優たちが筋書きを模索する、長く messy な中盤のシーンを含む「全体のリハーサル」を見る。実際に公演中に失敗する俳優だけを解雇する。

編集段階でモデルに自らの思考プロセスを「リハーサル」させることで、プルーニングアルゴリズムは、長く複雑な推論ステップに必要な脳のどの部分が本当に必要かを正確に学習します。

試した結果は？
チームは、DeepSeek-R1 や Qwen などの強力な AI モデルで、数学とコーディングのテストを用いてこれを検証しました。

精度： 旧来の方法では、モデルの脳の 50% を削ると、ほぼすべての問題に失敗しました。一方、RAC を用いた場合、重みの 50% を削除しても、縮小されたモデルはほぼすべての知性を維持しました。
速度： 旧来の方法では、モデルが混乱しすぎて数時間にもわたる意味の通じない独り言を続け、答えを出すのに永遠にかかりました。RAC ではモデルが集中を保ちました。混乱した思考のループに陥ることがなかったため、大規模モデルと同じ速度、あるいはそれ以上で答えを出しました。
汎用性： このテクニックは、モデルをランダムに削る場合でも特定のパターンで削る場合でも機能し、異なる種類のモデルでも有効でした。

結論
賢く推論できる AI を小さく、安価にしたい場合、単に彼らに問われる質問を見るだけでは不十分です。彼らが答えながら「どのように考えているか」を観察する必要があります。編集プロセスにモデル自身の「思考日記」を含めることで、脳を失ったり速度が落ちたりすることなくモデルを縮小できます。これは、モデルが自らの思考に迷い込むのを防ぐ、シンプルな調整なのです。

技術概要：推論モデルは Chain-of-Thought 再構成を通じて正確に剪定可能

1. 問題定義

DeepSeek-R1 などの段階的推論能力を備えた大規模言語モデル（LLM）は、最終的な回答を生成する前に明示的な思考連鎖（CoT）を生成します。これは数学やコーディングなどの複雑なタスクにおける精度を大幅に向上させますが、極めて長い出力シーケンスをもたらします。その結果、高い推論遅延とメモリ要件により、これらのモデルを大規模に展開するコストが膨大になります。

モデル剪定は、モデルサイズと推論コストを削減するための標準的な技術です。しかし、著者らは、標準的な剪定手法（例：SparseGPT）を推論モデルに適用すると、直感に反し有害な結果が生じることを観察しました。

精度の低下: 標準的な剪定は、スパース性が増すにつれてタスク精度が著しく低下します。
実行時間の膨張: 圧縮の目的に反し、過度に剪定された推論モデルはしばしば遅くなります。モデルはより長く、冗長で、精度の低い CoT トレースを生成し、トークン数と推論時間の合計を増加させます。

本論文は、この失敗の原因が分布の不一致にあると仮説を立てています。標準的な剪定は入力プロンプトのみ（ $|x| \gg |y|$ ）を使用して重みを較正しますが、推論モデルは生成された CoT トークン（ $|c| + |y| \gg |x|$ ）が推論計算の大部分を占める「デコード支配型」のタスクです。プロンプトの活性化のみに基づく剪定は、モデルが一貫性のある推論トレースを生成する能力を維持できなくなります。

2. 手法：推論認識型圧縮（RAC）

著者らは、既存のワンショット剪定ワークフローに「ドロップイン」可能な修正として、推論モデルの実際の推論時分布と較正プロセスを整合させる**推論認識型圧縮（RAC）**を提案します。

中核メカニズム

標準的な剪定アルゴリズム（SparseGPT など）は、入力プロンプトのみから導出された活性化行列（ $X_\ell$ ）を用いて、層重み（ $W_\ell$ ）の再構成誤差を最小化します。RAC は、較正データセットにオンポリシー CoT トレースを追加することでこれを修正します。

オンポリシーロールアウト: 較正フェーズ中、各プロンプト $x^{(m)}$ に対して、密モデルが自身の CoT と回答トークンを自己回帰的に生成することを許可します。
活性化の収集: 入力プロンプトトークンと自己生成された CoT トークンの両方に対応する隠れ状態（ $x^{(\ell)}_t$ ）を収集します。
結合再構成: 剪定アルゴリズムは、プロンプト活性化を表す $X^P$ とデコード時（CoT）活性化を表す $X^D$ を含む結合活性化行列 $X^{RAC}_\ell = [X^P_\ell, X^D_\ell]$ を用いて、層ごとの最適化問題を解きます。

目的関数は以下のようになります：
$\min_{\hat{W}_\ell} \sum_{m} \sum_{t \in P_m \cup D_m} \| (W_\ell - \hat{W}_\ell) x^{(\ell-1,m)}_t \|_2^2$
スパース性制約の下で。これにより、圧縮された重みは、単なる初期プロンプトではなく、完全な推論プロセス中に遭遇する活性化を再構成するように最適化されます。

実装詳細

ワンショット剪定: この手法は再学習や蒸留を必要としません。事前学習済みの重みに対して単一パスで動作します。
互換性: RAC は既存の層別剪定アルゴリズム（例：SparseGPT、WANDA、ALPS）とシームレスに統合されます。
較正コスト: CoT 活性化の収集はプロンプトのみの較正よりも高価ですが、モデル全体の再学習や蒸留に比べると依然として著しく安価です。

3. 主要な貢献

剪定失敗の診断: 標準的な剪定が推論モデルで失敗する理由は、CoT 生成のデコード支配的な性質を無視しており、モデルが「漫然と語り続ける」ことになり精度を失う分布シフトを引き起こすことを特定しました。
RAC アルゴリズム: 剪定目的にオンポリシー CoT 活性化を注入する単純な較正戦略の導入。
実証的検証: RAC により、推論モデルを高精度なスパース性レベル（最大 50%）まで剪定しつつ、精度を維持し、標準的な剪定に伴う実行時間の急増を防ぐことを示す広範な実験。

4. 実験結果

著者らは、DeepSeek-R1 の蒸留バリアントと Qwen3 といった複数の推論モデルファミリーを、1.5B から 70B までの各種サイズと、MATH-500、AIME-25、LiveCodeBench といった各種ベンチマークにおいて RAC を評価しました。

精度と実行時間

精度の維持: 50% のスパース性において、RAC は標準的な C4 較正剪定およびプロンプトのみの剪定を大幅に上回ります。
- 例（MATH-500 上の DeepSeek-R1-7B）: RAC は0.900の精度を維持し、プロンプトのみ（0.812）および C4（0.744）と比較して優れています。
- 例（MATH-500 上の Qwen3-8B）: RAC は 50% のスパース性で0.862の精度を達成し、C4（0.564）およびプロンプトのみ（0.470）を上回ります。
実行時間の削減: RAC は「漫然と語り続ける」行動を防ぎます。
- 例（DeepSeek-R1-7B）: 標準的な剪定は、実行時間を密モデルの 23.3 分から 50% スパース性で 135.0 分に増加させました。RAC はこれを35.3 分に削減し、実質的に密モデルの速度プロファイルを維持しました。
一般化: この利点は、異なるアーキテクチャ（Qwen、Llama）、モデルサイズ、ドメイン（数学とコード）全体で維持されます。RAC は構造化剪定（2:4 スパース性）および量子化（FP8）と組み合わせた場合にも頑健性を示します。

アブレーション研究

オンポリシー対オフポリシー: 剪定対象の同じモデルによって生成された CoT トレース（オンポリシー）を使用することは、より大型の異なるモデルからのトレースを使用する場合よりも良い結果をもたらしますが、オフポリシーデータでもプロンプトのみに比べればある程度の改善を提供します。
トークン予算感度: 剪定モデルの実行時間ペナルティは、主に過剰なトークン生成制限によって引き起こされます。合理的なデコード長さ（例：4,096 トークン）に制限した場合、RAC 剪定モデルは精度と速度の両面で密モデルの性能に匹敵、あるいは上回ります。
アルゴリズム非依存性: RAC は SparseGPT だけでなく、さまざまな剪定アルゴリズム（SparseGPT、ALPS、WANDA）と組み合わせた場合にも性能を向上させます。

再構成誤差分析

保持されたテスト問題に対するトークン単位の誤差分析により、プロンプトのみの較正は入力活性化を良く維持する一方で、デコードフェーズ（CoT）において高い再構成誤差を招くことが明らかになりました。RAC は、長い推論連鎖中にこれらの誤差を特に削減し、重要な生成フェーズにおいて剪定モデルの挙動を密モデルと整合させます。

5. 意義と主張

本論文は、推論認識型圧縮が、推論 LLM に対する剪定を実用的にするために不可欠な、単純な修正であると主張しています。

実用的影響: RAC は、現在標準的な圧縮で観察されている精度の崩壊や遅延の急増なしに、より小さく高速な推論モデルの展開を可能にします。
理論的洞察: この研究は、推論のような生成が支配的なタスクでは、較正データが入力だけでなく、推論の軌跡全体を反映しなければならないことを浮き彫りにしています。
限界: 著者は、RAC がシーケンス長さの削減を明示的に最適化するものではないこと（ただし生成品質の向上により間接的に寄与する）と、較正ステップがプロンプトのみの手法に比べ modest な計算オーバーヘッドを伴うことを控えめに指摘しています。ただし、このオーバーヘッドは再学習のコストに比べれば無視できると強調しています。

要約すると、本論文は、剪定較正分布をモデルのオンポリシー推論トレースと整合させることで、推論モデルを 50% のスパース性まで正確に剪定し、密モデルの精度の最大 95% を維持しつつ、圧縮された推論システムに典型的に見られる推論の遅延を防ぐことができることを実証しています。