論文概要：LLMs ENCODE THEIR FAILURES: PREDICTING SUCCESS FROM PRE-GENERATION ACTIVATIONS

（LLM は失敗を符号化する：生成前の活性化から成功を予測する）

この論文は、ICLR 2026 の「Latent & Implicit Thinking Workshop」で発表された研究です。大規模言語モデル（LLM）が、回答を生成する前の内部状態（活性化）から、その問題に対する「成功確率」や「難易度」を予測できるか、またその信号が効率的な推論（推論コストの削減）に活用できるかを探求しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定 (Problem)

LLM を数学やコーディングタスクに適用する際、すべての入力に対して拡張推論（Extended Reasoning、例：Chain-of-Thought の延長や多数投票）を行うと計算コストが膨大になります。しかし、どの入力が追加の計算リソースを必要とするかを事前に判断することは困難です。
既存の手法では、入力長さや TF-IDF などの表面的な特徴量に基づいて推論コストを配分していますが、これらはモデルの実際の失敗確率を正確に反映していません。
核心的な問い： 「モデルが出力を生成する前の内部活性化（Pre-generation Activations）から、そのモデルがその問題を正解する確率を予測することは可能か？また、その予測信号を用いて推論コストを削減しつつ精度を維持できるか？」

2. 手法 (Methodology)

2.1 事前生成活性化からのプローブ学習

著者らは、モデルが回答を生成する直前の残存ストリーム（Residual Stream）の活性化から、線形プローブ（Linear Probes）を訓練し、成功確率を予測するアプローチを採用しました。

• 入力: 指示テンプレートの直後、生成開始前のトークン位置の活性化。
• タスク:
  1. 人間難易度の予測: 人間がどの程度難しいと感じるか（IRT スコア）。
  2. モデル難易度の予測: モデルがその問題を解ける確率（確率的サンプリングによる期待成功率、または特定のデコーディング方針下での二値成功）。
• 比較対象: テキストベースの基線（TF-IDF、質問の長さ）と比較しました。

2.2 評価ベンチマークとデータセット

• E2H-AMC: 人間とモデルの両方のパフォーマンスデータが同一の問題に存在するデータセット。これにより、「人間難易度」と「モデル固有の難易度」を直接比較可能にしました。
• その他: MATH, GSM8K, AIME, LiveCodeBench（コーディング）など、多様な数学・コーディングタスクで一般性を検証しました。
• 推論方針: Greedy デコーディング、Maj@K（K 回のサンプリングからの多数決）、拡張推論（Chain-of-Thought の長さを変化させた GPT-OSS-20B など）をテストしました。

2.3 ルーティング戦略

予測された成功確率（$\hat{p}$）を用いて、異なる能力とコストを持つモデル群に対してクエリを振り分ける 2 つの戦略を評価しました。

1. カスケードルーティング: 成功率が閾値 $\tau$ 未満の場合に、より高性能（高コスト）なモデルへエスカレートさせる。
2. ユーティリティ最大化ルーティング: 複数のモデル群から、$\hat{p} - \lambda \cdot \text{コスト}$ を最大化するモデルを選択する。

3. 主要な貢献 (Key Contributions)

1. 人間難易度とモデル難易度の符号化の分離:
   LLM は人間が難しいと感じる問題（人間 IRT スコア）と、自分自身が解くのが難しい問題（モデル固有の難易度）を、異なる信号として内部に符号化していることを実証しました。特に、拡張推論を行うほど、モデルの内部表現は人間の難易度感覚から乖離し、モデル固有の難易度予測が重要になることが示されました。

2. プローブによる高精度な予測:
   生成前の活性化から訓練された線形プローブは、表面特徴量（長さや TF-IDF）を大幅に上回る精度で、モデルの成功/失敗を予測できます（MATH タスクで AUROC > 0.7、多くの設定で 0.8 超）。

3. 拡張推論におけるプローブ信頼性の低下:
   驚くべき発見として、モデルの推論能力（Chain-of-Thought の長さ）が向上し、タスク精度が上がるにつれて、事前生成段階での「難易度信号」の線形的可視性が低下することが明らかになりました。つまり、モデルがより深く考えるようになると、失敗の予兆が生成前の活性化から読み取りにくくなる傾向があります。

4. コスト削減と精度維持の両立:
   プローブに基づくルーティングにより、最良の単一モデルの精度を維持しつつ、推論コストを最大 70% 削減できることを実証しました。

4. 結果 (Results)

4.1 難易度予測の性能

• 人間 vs モデル: E2H-AMC において、人間難易度の予測は Spearman 相関係数 $\rho = 0.83 \sim 0.87$ と非常に高い精度ですが、モデル難易度（成功率）の予測は $\rho = 0.40 \sim 0.64$ とやや低めです。
• 乖離の増大: GPT-OSS-20B のように推論レベルを「Low」から「High」に上げると、モデル難易度の予測精度（$\rho$）が 0.58 から 0.40 へ低下します。これは、モデルが人間には難しい問題を解けるようになっても、その内部表現が人間の難易度感覚と一致しなくなるためです。
• 二値分類の優位性: 連続的な成功率の予測よりも、特定のデコーディング方針（Greedy や Maj@5）下での「成功/失敗」の二値分類の方が、AUROC が高く安定しています。

4.2 ルーティングによるコスト削減

• MATH データセット:
  • カスケードルーティング（Qwen-7B と GPT-OSS-20B の組み合わせ）は、GPT-OSS-20B 単体と同等の精度（91.2%）を維持しつつ、コストを 17% 削減しました。
  • ユーティリティ最大化ルーティング（5 つのモデル群）は、GPT-OSS-20B-High（高コスト）と同等の精度（92%）を、コスト 70% 削減（28 \to \15$）で達成しました。
• AIME と GSM8K:
  • 難易度分布が異なるタスク（AIME は難易度幅が広い、GSM8K は全モデルが高精度）に対して、プローブは適切にモデルを選択し、コスト効率を最適化しました。

4.3 生成長と難易度の関係

拡張推論を行うと、生成されるトークン数（Chain-of-Thought の長さ）は「人間難易度」と強く相関するようになりますが、「モデル自身の失敗確率」とは相関しなくなります。つまり、モデルは人間が難しいと感じる問題に対しては、自分が解ける場合でも長く思考するようになり、これが事前生成段階での失敗予測を困難にしています。

5. 意義と結論 (Significance & Conclusion)

この研究は、LLM の「失敗」や「難易度」が、生成前の内部状態に符号化されていることを実証し、それを効率的な推論システムに活用する道筋を示しました。

• 実用的な意義: 追加の生成（ロールアウト）を行わずに、内部活性化のみでモデルの自信を推定できるため、推論コストを大幅に削減できます。
• 理論的洞察: 「人間が難しいと感じる問題」と「モデルが失敗する問題」は異なる概念であり、モデルの能力が向上する（拡張推論を行う）ほど、この乖離が顕著になることを明らかにしました。
• 限界と将来展望: 拡張推論を行うとプローブの精度が低下するため、より高度なプローブ（非線形、生成途中の位置でのプローブ）や、クロスドメインでの転移学習が今後の課題です。また、ルーティングの最適化には、プローブの信頼性向上が鍵となります。

総じて、この論文は「モデルが自分自身の失敗を予知できる」という仮説を裏付け、それを基にしたコスト効率の高い AI システム設計の新たなパラダイムを提示しています。