💬 NLP

Reasoning Models Know What's Important, and Encode It in Their Activations

本論文は、推論プロセスにおける重要なステップの特定にトークン自体よりもモデルの内部活性化が優れており、モデルが生成前に重要度を内部表現として符号化していることを示し、推論分析には表面特徴ではなくモデル内部の分析が不可欠であることを明らかにしています。

原著者： Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

思考の「真の要」は、言葉の裏に隠れている

〜AI が「何が重要か」を知っているという驚きの発見〜

皆さん、AI（大規模言語モデル）が難しい問題を解くとき、まるで人間が頭の中で考え込むように、長い「思考の連鎖（Chain of Thought）」を生成するのをご存知でしょうか？

しかし、この論文は**「その長い思考の過程のすべてが、答えを出すために本当に必要だったわけではない」と告げています。むしろ、AI の頭脳（内部のデータ）には、「どのステップが本当に重要で、どれは捨ててもいいか」を、言葉として出力するよりも先に、すでに知っている**という驚くべき事実が隠されていました。

この発見を、わかりやすい例え話で解説します。

1. 料理のレシピと「隠れた味付け」

AI が問題を解くとき、それは**「料理のレシピ（思考の連鎖）」**を書き出しているようなものです。

表面の言葉（トークン）： 料理のレシピに書かれている「卵を割る」「塩を振る」といった手順です。
内部の活動（活性化）： 料理人が実際に包丁を握り、火加減を感じ、味見をする瞬間の**「職人の感覚」**です。

これまでの研究では、「レシピ（言葉）」を見て、「どれが重要か」を判断しようとしていました。しかし、この論文の著者たちは、**「職人の感覚（AI の内部データ）」**を直接チェックすることにしました。

2. 発見：言葉よりも「感覚」が正解を知っている

著者たちは、AI が生成した思考のステップを、**「取り除いても答えが正しければ『不要』、取り除くと答えが間違えば『重要』」**という基準で分類しました。

従来の方法（言葉を見る）： 外部の別の AI に「このレシピのどこが重要？」と聞いても、正解率は 60% 程度でした。言葉だけでは、重要な部分と不要な冗談まじりの部分が区別しにくいのです。
新しい方法（内部の感覚を見る）： AI がそのステップを処理している瞬間の「電気的な信号（活性化）」を分析すると、正解率が 80% 以上に跳ね上がりました！

つまり、AI は「言葉として出力する前」に、すでに「これは重要だ」「これは捨ててもいい」という判断を、内部の感覚として持っていたのです。

3. 面白い特徴：AI は「先読み」している

もっと驚くべきことは、「次のステップを生成する前」に、重要性をすでに知っていたという点です。

例え話： 料理人が「卵を割る」作業をしている瞬間、まだ「炒める」作業をしていません。しかし、その「卵を割る」瞬間の感覚には、**「この卵がなければ料理は完成しない（重要）」**という情報がすでに刻み込まれています。
意味： AI は、次のステップを話す前に、「今のステップが最終的な答えにどう影響するか」を計算し、その重要性を内部に記録しているのです。

4. 普遍的なルール：モデルを超えて通じる

この「重要性の感覚」は、特定の AI だけのものではなく、GPT や DeepSeek など、異なるモデル間でも共通していました。

例え話： 日本人の料理人とフランス人の料理人が、全く異なる言葉（レシピ）で料理を作っても、「卵を割る瞬間の感覚」は同じように「重要」と感じているのと同じです。
意味： 思考の「核（コア）」となる部分は、モデルの形や大きさに関係なく、普遍的なルールで扱われていることがわかりました。

5. 表面のトリックに騙されないで

AI の思考過程には、**「 filler（つなぎ言葉）」や「自己確認（本当に合ってるかな？）」**といった、一見重要そうだが実は不要なステップが混ざっています。

表面だけ見ると： 「Let's think（考えよう）」や「Wait（待って）」といった言葉は、一見真剣そうに見えます。
内部を見ると： これらは単なる「飾り」であり、取り除いても答えは変わりません。
結論： 言葉の表面だけを見て「AI がどう考えているか」を分析するのは、**「料理のレシピ本だけを見て、本当の味を判断しようとする」**ようなもので、不十分なのです。

まとめ：なぜこれが重要なのか？

この研究は、**「AI の思考を理解するには、出力された『言葉』だけでなく、その裏にある『内部の電気信号』を見る必要がある」**と教えてくれました。

効率化： 不要なステップを AI が自ら見極め、短時間で答えを出せるようになります。
信頼性： AI が本当に「考えて」いるのか、それとも「ただ言葉を並べている」のかを見極めることができます。
未来： 私たちは、AI の「思考の核心」に直接アクセスし、より賢く、正直な AI を作れるようになるかもしれません。

**「言葉は嘘をつくかもしれないが、AI の『心（内部データ）』は、何が重要かを正直に教えてくれている」**というのが、この論文が私たちに伝えた最も重要なメッセージです。

論文「Reasoning Models Know What's Important, and Encode It in Their Activations」の技術的サマリー

この論文は、大規模言語モデル（LLM）が複雑な推論タスクを解決する際に生成する「推論チェーン（Chain-of-Thought）」において、どのステップが重要で、どのステップが不要（除去可能）かを特定する手法と、その重要性がモデル内部でどのように表現されているかを調査した研究です。

1. 問題設定と背景

複雑な推論タスクを解く際、LLM は多くの中間ステップを含む長い推論チェーンを生成します。しかし、すべてのステップが最終的な正解に寄与しているわけではありません。一部のステップは冗長であったり、単なる「パフォーマンス」であったりして、除去しても正解に至ることができます。
既存の研究では、推論チェーンの「重要度」を特定する際、主に生成されたトークン（表面のテキスト）に基づいたアプローチが用いられてきました。しかし、トークンレベルのアプローチは忠実性（Faithfulness）に欠け、モデルの内部状態から失われた情報を反映していない可能性があります。
本研究は、「モデルの内部活性化（Activations）と、生成されたトークンのどちらが、推論ステップの重要度をより正確に捉えられるか」、そして**「モデルが推論ステップの重要度という概念を内部にエンコードしているか」**を問うています。

2. 手法と実験設計

2.1 重要度の定義：除去可能性（Removability）

重要度を定義するために、本研究は「除去可能性」を代理指標として採用しました。

重要ステップ: 除去すると、モデルが正解を導き出すことが不可能になるステップ。
除去可能ステップ: 除去しても、モデルが正解を導き出せるステップ。

2.2 核心推論部分列（Core Reasoning Subsequence）の特定

各推論チェーンから、正解を導くために必要な最小限のステップ集合（ $T^*$ ）を特定する貪欲法（Greedy Procedure）を提案しました。これには 3 つの変種を比較しました。

活性化ベース（Activation-based）: 勾配帰属（Gradient Attribution）を用いて、各ステップ間の影響度を計算し、答えへの直接的・間接的な影響に基づいてステップをランク付け・除去します。
トークンベース（Token-based）: 外部の強力な LLM（Gemini-2.5-Pro）を「審判」として使い、テキストのみから重要ステップを特定・ランク付けさせます。
ランダムベース: ランダムにステップを除去するベースライン。

2.3 実験データとモデル

モデル: GPT-OSS-20B, DeepSeek-R1-Distill-Qwen (1.5B, 7B, 14B), OLMo-3-7B-Think の 5 種類。
データセット: 数学的推論タスクに特化した HARP と MATH-500。
評価指標: 除去された後の部分列が、正解を導くのに十分な確率（Sufficiency）と、モデルの事前分布から自然に生成される確率（Attainability）を満たすかどうか。

2.4 重要性の検出（プローブ分析）

モデルが内部で「重要度」を表現しているかを確認するため、各ステップの**活性化（Activations）**を入力として、そのステップが「除去可能か否か」を予測する二値分類プローブ（MLP）を学習させました。

コンテキスト: 完全な文脈（入力問題＋先行する推論ステップ）を含めた活性化を使用。
比較対象: 表面特徴（TF-IDF、セマンティック埋め込み）、コンテキストなしの活性化、外部 LLM 審判など。

3. 主要な結果

3.1 活性化ベース手法の優位性

精度: 活性化ベースのアプローチは、トークンベース（外部 LLM 審判）やランダムベースよりも、より少ないステップ数で正解を導く最小部分列を特定することに成功しました（Table 1）。
意味: これは、モデルの内部状態（潜在空間）には、表面のテキストには現れない「どのステップが本質的に重要か」に関する情報がより豊富に含まれていることを示唆しています。

3.2 内部表現としての重要度

プローブの精度: 活性化ベースのプローブは、ステップの重要度を80% 以上の精度で予測できました（Figure 2）。
事前表現（Pre-hoc）: 重要な点は、あるステップの活性化にはそのステップ以降の生成情報が含まれていないにもかかわらず、そのステップが「重要か否か」を予測できたことです。つまり、モデルは次のステップを生成する前に、現在のステップの重要性をすでに内部で認識・エンコードしています。
コンテキストの必要性: 表面特徴（TF-IDF など）やコンテキストなしの活性化では精度が大幅に低下しました。重要度の検出には、完全な文脈と強力な潜在表現の両方が必要であることが示されました。

3.3 汎化性と分布特性

モデル間汎化: あるモデルで学習したプローブを、別のモデルの活性化に適用しても高い精度を維持しました（Figure 3）。これは、重要度という概念が特定のモデルに依存せず、推論モデル間で普遍的にエンコードされていることを示しています。
分散表現: 重要度の信号は特定のレイヤーやトークン位置に局在せず、モデルの全レイヤーと位置に分散して存在していました（Figure 4）。
表面特徴との非相関: 重要度は、ステップの位置、長さ、数値の個数などの表面レベルの特徴とはほとんど相関していませんでした。

4. 貢献と意義

推論分析のパラダイムシフト: 推論の理解には、生成されたテキスト（トークン）の分析だけでなく、モデルの内部活性化（Latent Activations）の分析が不可欠であることを実証しました。表面のテキストは「パフォーマンス」を含み、本質的な推論プロセスを歪めて見える可能性があります。
内部概念の発見: LLM は、推論ステップの「重要度」という抽象的な概念を、次のステップを生成する前にすでに内部表現として持っていることを発見しました。これは、モデルが推論の構造を深く理解している証拠です。
実用的な応用可能性:
- 推論の効率化: 除去可能なステップを特定し、推論チェーンを圧縮することで、推論コストを削減し、推論速度を向上させる可能性があります。
- 解釈可能性の向上: どのステップが本質的に答えを導いているかを特定することで、モデルの判断根拠をより忠実に（Faithfully）説明できるようになります。

5. 結論

本研究は、推論モデルが「何が重要か」を知っており、それをトークン出力ではなく、モデルの内部活性化にエンコードしていることを示しました。この内部表現は、モデルを超えて普遍的であり、表面特徴では捉えられない深い推論構造を反映しています。したがって、LLM の推論メカニズムを真に理解し、制御するためには、表面のテキスト分析を超えて、モデルの内部状態を直接調査するアプローチが必須であるという結論に至っています。