💬 NLP

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

该论文提出了一种利用大语言模型生成前的内部激活状态来预测其解题成功率的方法，证明了这种基于模型自身“难度感知”的预测信号优于传统表面特征，并能通过动态路由策略在显著降低推理成本的同时超越单一最佳模型的性能。

原作者： William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：大型语言模型（LLM）在“开口说话”之前，其实心里已经知道这道题它能不能做对。

想象一下，你正在参加一场高难度的数学考试。通常，只有当你写完答案、老师批改后，你才知道自己是对是错。但这篇论文发现，大模型在还没开始写答案的那一瞬间，它的“大脑”（内部神经活动）里其实已经藏着一个信号，告诉它：“嘿，这道题我大概率能拿分”或者“这道题我可能会翻车”。

作者利用这个发现，设计了一套更聪明、更省钱的“考试策略”。

下面我用几个生活中的比喻来拆解这篇论文的核心内容：

1. 核心发现：模型有“自知之明”

比喻：开车前的“直觉”
想象你是一名老司机（大模型）。在遇到一个复杂的路口（数学题或编程题）之前，你还没踩油门，但你的大脑已经根据路况（题目输入）产生了一种“直觉”。

以前的做法：不管什么路，都先猛踩油门（让模型生成答案），跑完一圈再看有没有撞车（检查答案对错）。如果撞了，再重新跑，这非常浪费油（计算资源）。
这篇论文的做法：在踩油门之前，先看看仪表盘上的“直觉信号”。如果信号显示“这路很难，我可能过不去”，那就直接换一辆更高级的跑车（更强的模型）来开，或者多派几辆车去试（多生成几次）；如果信号显示“这路很简单”，那就直接让普通小车（小模型）开过去。

关键发现：

模型确实能“感觉”到题目的难度。
但是，模型感觉到的“难”，和人类觉得的“难”是两码事。人类觉得难的题，模型可能觉得很简单；人类觉得简单的题，模型可能因为某些奇怪的逻辑觉得很难。而且，随着模型变得越聪明（推理能力越强），它这种“自我感觉”和人类的直觉差距就越大。

2. 主要挑战：越聪明，越难“读心”

比喻：思考得越深，表情越淡定
论文发现了一个有趣的现象：当模型被要求进行“深度思考”（Extended Reasoning，比如像人类一样一步步推导）时，它还没开始写之前的那个“直觉信号”反而变得模糊了。

简单模式：模型像个直性子，遇到难题眉头一皱（信号明显），遇到简单题眉开眼笑（信号明显）。
深度思考模式：模型变得像一位深藏不露的宗师。即使题目很难，它也可能面不改色（信号不明显），因为它知道只要多花点时间（生成更长的思考链）就能解决。
后果：虽然深度思考让模型做题更准了，但我们想通过“读心”（分析内部信号）来预判它会不会失败，反而变得更难了。

3. 实际应用：聪明的“交通指挥员”

既然知道了模型有这种“自知之明”，作者就设计了一个智能路由系统（就像一个交通指挥员）。

场景：你有一堆题目要处理，你有两辆车：

A 车（小模型）：便宜、快，但偶尔会翻车。
B 车（大模型）：贵、慢，但几乎不会翻车。

传统做法：所有题目都派 B 车去，或者随机派。
论文的做法（探针引导的路由）：

题目进来，先让“交通指挥员”（探针）扫一眼。
如果指挥员说：“这题 A 车能搞定（成功率高）”，那就派便宜的 A 车去。
如果指挥员说：“这题 A 车可能会翻车（成功率低）”，那就赶紧派贵的 B 车去救场。

效果惊人：

省钱：在数学题（MATH 数据集）上，这套系统能节省高达 70% 的费用，同时准确率还能达到甚至超过只用最贵模型的水平。
灵活：在简单的题目上（如 GSM8K），它会自动选择便宜的小模型；在极难的题目上（如 AIME），它会自动切换到最强大的模型。

4. 总结与启示

这篇论文告诉我们三件事：

模型心里有数：大模型在生成答案前，内部确实编码了“我能不能做对”的信息，我们可以用简单的数学工具（线性探针）把它提取出来。
人类和 AI 的“难度观”不同：不要完全用人类的直觉去衡量 AI 的难度。AI 觉得难的题，可能只是因为它还没学会，而不是因为题本身难。
省钱的关键：通过这种“预判”机制，我们可以像指挥交通一样，把简单的任务交给便宜的小模型，把难的留给大模型。这不仅省钱，而且比盲目使用大模型更高效。

一句话总结：
这就好比给大模型装了一个“预知未来”的雷达，让它能在花钱之前先评估风险。虽然这个雷达在模型思考太深时会变得有点模糊，但用它来指挥“谁去干活”，依然能帮我们省下巨额的算力成本，同时保证任务完成得漂漂亮亮。

1. 研究背景与问题 (Problem)

核心痛点：在数学和编程等复杂任务中，让大语言模型（LLM）进行扩展推理（Extended Reasoning，如思维链 CoT）虽然能提高准确率，但计算成本极高。
现有挑战：目前缺乏一种高效的方法来确定哪些输入真正需要额外的计算资源。传统的模型路由（Model Routing）系统通常依赖输入长度、困惑度（Perplexity）或启发式置信度等表面特征，这些特征往往不够准确。
关键问题：能否在模型生成任何输出之前，仅通过其内部的预生成激活（Pre-generation Activations）来预测模型在特定任务上的成功概率？如果能，这种信号能否指导更高效的推理路由？

2. 方法论 (Methodology)

作者提出了一种基于**线性探针（Linear Probes）**的方法，直接从模型内部状态中提取难度信号。

2.1 核心假设

LLM 在其预生成激活中编码了关于自身成功可能性的估计。这些估计可以通过简单的线性分类器或回归器高效提取。

2.2 实验设置

数据集：
- E2H-AMC：包含人类 IRT（项目反应理论）难度标签和模型在相同问题上的表现，用于对比“人类难度”与“模型难度”。
- 其他基准：MATH, GSM8K, AIME (1983-2024), LiveCodeBench。
探针训练：
- 在指令模板结束、生成开始前的残差流激活（Residual Stream Activations）位置提取特征。
- 训练三种类型的探针：
  1. 人类难度探针：预测人类 IRT 难度分数（回归）。
  2. 成功率探针：预测模型在随机采样下的预期成功率 $\hat{s}_{MC}$ （回归）。
  3. 二元成功探针：预测特定解码策略（如贪婪解码 Greedy 或多数投票 Maj@K）下的成功/失败（分类）。
对比基线：TF-IDF 特征、问题长度等表面特征。

2.3 路由策略

利用探针预测的成功概率 $\hat{p}(x)$ 设计两种路由策略：

级联路由（Cascade Routing）：设定阈值 $\tau$ ，若小模型预测失败概率高，则路由到大模型。
效用路由（Utility-Based Routing）：在异构模型池中，最大化效用函数 $U = \hat{p}(x) - \lambda \cdot \text{cost}$ ，平衡成功率与计算成本。

3. 主要贡献 (Key Contributions)

揭示了人类难度与模型难度的本质差异：
- 利用 E2H-AMC 数据集证明，LLM 内部编码了两种不同的难度信号：人类感知难度（Human IRT）和模型特定难度（Model-specific difficulty）。
- 关键发现：随着模型推理能力的增强（Extended Reasoning），模型内部的“难度”表征与人类判断的偏差越来越大。模型倾向于在人类认为困难的问题上花费更多 token，即使这些问题对模型来说并不困难。
证明了预生成激活中可提取可靠的性能信号：
- 线性探针在预测特定解码策略（如 Maj@5）下的二元成功时表现优异（AUROC > 0.7，部分超过 0.8），显著优于表面特征。
- 探针能区分不同解码策略（贪婪 vs 采样）下的成功概率。
实现了显著的成本 - 性能优化：
- 基于探针的路由系统能够在保持与最强单模型相当准确率的同时，将推理成本降低 17% 至 70%。
- 证明了即使探针信号与人类直觉偏离，只要它能准确预测模型自身的表现，就能实现高效的资源分配。

4. 关键结果 (Key Results)

4.1 难度信号的解码能力

人类难度 vs. 模型难度：
- 人类 IRT 难度在所有模型中都具有极高的线性可解码性（Spearman $\rho \approx 0.83-0.87$ ）。
- 模型自身成功率的可解码性较低（ $\rho \approx 0.40-0.64$ ），且随着推理能力增强（如 GPT-OSS-20B 从低推理到高推理），其线性可解码性下降（ $\rho$ 从 0.58 降至 0.40）。
- 原因分析：扩展推理（Extended CoT）使得生成长度与人类难度强相关，但弱化了与模型自身失败可能性的关联，导致预生成阶段的线性信号变得模糊。

4.2 路由性能

MATH 数据集：
- 级联路由：在匹配 GPT-OSS-20B-medium 准确率（91.2%）的情况下，成本降低了 17%。
- 效用路由：在匹配 GPT-OSS-20B-high 准确率（92%）的情况下，成本降低了 70%（从 $28降至$ 15）。
AIME 与 GSM8K：
- 在 AIME（高难度分布）上，路由策略能准确识别需要强模型的问题，成本降低 37%。
- 在 GSM8K（高饱和分布）上，路由策略能识别出无需使用昂贵的高推理模型，直接选择性价比更高的模型（如 Math-7B），实现了成本最优。
编码领域：在 LiveCodeBench 上，探针对 Qwen-Coder 和 DeepSeek-R1 的预测效果极佳（AUROC 0.81-0.91）。

4.3 扩展推理的副作用

随着推理预算（Reasoning Budget）增加，虽然任务准确率提升，但探针的预测质量（AUROC）下降。
这表明：扩展推理虽然提高了性能，但掩盖了预生成阶段的难度信号，使得基于预生成激活的自适应推理系统面临挑战。

5. 意义与结论 (Significance & Conclusion)

理论意义：
- 首次系统性地量化了“人类难度”与“模型难度”在 LLM 内部表征中的差异，并发现这种差异随推理能力增强而扩大。
- 揭示了 LLM 在解决人类认为困难的问题时，其内部机制（如生成长度）会模拟人类行为，但这并不一定反映模型自身的置信度或失败风险。
实践意义：
- 高效推理：提供了一种无需额外生成即可预测模型成败的方法，使得动态计算分配（Dynamic Compute Allocation）成为可能。
- 成本节约：证明了简单的线性探针结合路由策略，可以在不牺牲精度的前提下大幅降低推理成本，这对大规模部署 LLM 至关重要。
局限性：
- 探针性能在扩展推理下会退化。
- 目前仅针对单一位置（指令后）的线性探针，未探索非线性探针或多位置探测。
- 跨领域（如从数学到代码）的探针迁移能力尚未充分验证。

总结：该论文证明了 LLM 在生成前已经“知道”自己是否会失败，尽管这种知识在复杂推理任务中变得难以线性提取。利用这一信号进行路由，是实现大模型高效、低成本推理的关键路径。