💬 NLP

Reasoning Models Know What's Important, and Encode It in Their Activations

该研究发现，语言模型在推理过程中会在其内部激活中编码步骤重要性的表征，且这种表征比推理链本身的文本包含更多信息，表明分析模型内部状态对于理解推理机制至关重要。

原作者： Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当人工智能（AI）像人一样“思考”并一步步解题时，它自己真的知道哪一步是关键的，哪一步只是废话吗？

想象一下，你让 AI 做一道数学题。它可能会写出长长的推理过程，像写日记一样，有几十步。但其中有些步骤是真正解决问题的“核心”，而有些步骤可能只是它在“自言自语”或者重复已知信息，删掉它们完全不影响最终答案。

这篇论文的核心发现可以用一个生动的比喻来解释：

1. 表面文字 vs. 内心独白（Token vs. 激活值）

表面文字（Token）： 就像我们读到的 AI 写出来的“日记”。如果我们只读这些文字，很难分辨哪一步是关键的。就像看一个人的演讲记录，有时候他说了很多废话，有时候又说了关键句，光看文字很难一眼看出重点。
内心独白（激活值/Activations）： 这是 AI 在生成每一个字之前，大脑内部发生的“电火花”或“神经活动”。论文发现，AI 的“内心独白”比它说出来的“话”更诚实、更清晰。

比喻：
想象你在玩一个复杂的密室逃脱游戏。

Token（表面文字） 是你写在笔记本上的解题步骤。你可能写了很多：“首先，我看了看门……然后我摸了摸墙……哎呀，这墙好凉……"（废话）。
Activations（内心激活） 是你大脑里真正的思考过程。当你看到墙上的暗号时，你的大脑瞬间“亮”了一下，知道“啊！这就是关键线索！”；而当你摸墙觉得凉的时候，大脑只是平淡地处理了一下。
论文发现： 如果我们只读你的笔记本（Token），很难分清哪句话重要。但如果我们能直接读取你大脑的“电波”（激活值），我们就能精准地知道哪一刻你真正“顿悟”了，哪一刻你只是在发呆。

2. 核心发现：AI 早就知道什么重要

研究人员做了一件事：他们训练了一个小探测器（Probe），专门去“偷听”AI 在生成某一步时的内心活动，然后问它：“这一步重要吗？删掉它还能解题吗？”

惊人的结果： AI 在还没写出下一步的时候，它的内心活动里就已经标记好了“这一步很重要”或者“这一步是废话”。
这意味着什么？ AI 并不是在写完所有步骤后，回头才意识到哪些有用。它在思考的过程中，潜意识里就已经知道哪些是核心逻辑，哪些是多余的。这种“重要性”的信号，深深地藏在它的神经网络里，而不是写在它输出的文字上。

3. 为什么这很重要？（三个关键点）

A. 只有“内心”才懂，光看“嘴巴”不行

如果你只分析 AI 写出来的文字（Token），你很难准确找到关键步骤。就像你听一个人说话，他可能啰里啰嗦，但如果你能直接看他的微表情或脑电波，你就能瞬间抓住重点。论文证明，要真正理解 AI 是怎么推理的，必须看它的“大脑内部”，而不能只看它输出的“文字”。

B. 这种“重要性”是通用的

研究人员测试了不同的 AI 模型（有的像 GPT，有的像 DeepSeek）。结果发现，“什么是重要步骤”这个概念，在不同的 AI 大脑里是一样的。

比喻： 就像不同语言的人（英语、中文、法语）在解决同一个数学题时，虽然他们说的话不同，但他们大脑里“灵光一现”的那个瞬间（关键步骤）是高度相似的。这种“重要性”的编码方式，是 AI 界通用的“语言”。

C. 它不是靠“位置”或“长短”判断的

你可能会想：“是不是 AI 觉得第一步和最后一步最重要？或者字数多的步骤最重要？”

答案：不是。 研究发现，AI 判断重要性完全不看这一步是在开头还是结尾，也不看这一步有多长。它是基于逻辑内容来判断的。哪怕是一句很短的话，如果它是解题的关键，AI 的内心就会给它打上“重要”的标签。

4. 这对我们意味着什么？

更高效的 AI： 既然我们知道 AI 心里知道哪些步骤是废话，未来我们可以训练 AI，让它自动跳过那些“可删除”的废话步骤。这样，AI 解题会更快，消耗的计算资源更少，就像把一段冗长的电影剪辑成最精彩的预告片，但剧情一点没少。
更透明的 AI： 以前我们觉得 AI 的推理过程像黑盒，现在我们知道，只要打开“黑盒”看它的内部激活值，就能看清它到底在想什么。这让我们能更信任 AI 的回答，知道它的结论是建立在真正的逻辑上，而不是靠蒙或者凑字数。

总结

这篇论文告诉我们：AI 其实是个“心里有数”的聪明人。 它生成的长篇大论里，混杂着很多废话，但它自己的“大脑”里清楚地知道哪些是干货，哪些是水分。而且，这种判断能力是写在它的“基因”（内部激活）里的，而不是写在它嘴里的。

一句话总结： 别光听 AI 说了什么，要看它“想”了什么；因为它的“想”比它的“说”更诚实、更精准。

这是一份关于论文《Reasoning Models Know What's Important, and Encode It in Their Activations》（推理模型知道什么重要，并将其编码在激活值中）的详细技术总结。

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在解决复杂任务（如数学推理）时，通常会生成包含许多中间步骤的长推理链（Reasoning Chains）。然而，并非所有步骤都是同等重要的：

核心问题：哪些步骤对得出最终答案至关重要，哪些是冗余或可移除的？
现有挑战：目前的分析主要依赖于观察生成的Token（文本表面）。但研究表明，生成的推理链并不总是忠实反映模型内部的真实计算过程（存在“表演性”步骤），且从潜在激活值到采样 Token 的转换过程中可能会丢失关键信息。
核心假设：模型是否在内部（激活值中）编码了关于“步骤重要性”的概念？这种内部表示是否比表面文本更能准确识别关键步骤？

2. 方法论 (Methodology)

2.1 重要性定义：可移除性 (Removability)

作者将“重要性”操作化为可移除性：如果一个步骤被移除后，模型仍能生成正确答案，则该步骤是“可移除的”（不重要）；反之则是“重要的”。

评估指标：
- 充分性 (Sufficiency)：保留的子序列能否让模型以高概率（ $\ge 80\%$ ）生成正确答案。
- 可达性 (Attainability)：该子序列在模型先验分布中是否自然（通过困惑度 PPL 衡量，避免模型直接“抄答案”的退化情况）。
核心推理子序列 ( $T^*$ )：寻找满足充分性和可达性且长度最短的子序列。

2.2 识别重要步骤的三种策略

为了确定哪些步骤构成 $T^*$ ，作者比较了三种贪婪移除策略：

基于激活的方法 (Activation-based)：
- 利用梯度归因 (Gradient Attribution) 计算步骤之间的相互影响。
- 计算步骤 $s_i$ 的输入嵌入对步骤 $s_j$ 输出 Token 概率总和的梯度范数，构建影响矩阵。
- 根据影响程度递归筛选并移除低影响步骤。
基于 Token 的方法 (Token-based)：
- 使用外部强大的 LLM（Gemini-2.5-Pro）作为“裁判”，仅根据文本内容判断步骤是否重要并排序。
随机基线 (Random)：随机移除步骤。

2.3 探测重要性编码 (Probing)

为了验证模型是否“知道”步骤的重要性，作者训练了分类探针 (Probes)：

输入：单个推理步骤的全上下文激活值（Full-context activations，包含该步骤及其之前的所有上下文）。
标签：由上述“基于激活的方法”确定的二元标签（重要/可移除）。
对比基线：
- 仅基于 Token 的表示（TF-IDF, 语义 Embedding）。
- 无上下文（Context-free）的激活值。
- 外部 LLM 裁判（仅看文本）。

2.4 实验设置

模型：5 个不同架构和规模的推理模型（GPT-OSS-20B, DeepSeek-R1 系列, OLMo-3-7B）。
数据集：HARP (4780 题) 和 MATH-500 (500 题)。
分析维度：跨模型泛化性、层分布、表面特征相关性。

3. 关键发现与结果 (Key Results)

3.1 激活值比 Token 更能精准识别重要步骤

结果：基于激活值的方法找到的核心推理子序列（ $T^*$ ）平均长度显著短于基于 Token 的方法（见表 1）。
含义：激活值包含了比表面文本更丰富的信息，能够更精确地剔除冗余步骤，保留真正驱动答案的核心逻辑。

3.2 模型内部编码了“重要性”概念

高准确率：在全上下文激活值上训练的探针，预测步骤重要性的准确率高达 80% 以上。
先验性 (Pre-hoc)：由于因果注意力机制，当前步骤的激活值仅包含之前的信息。探针在生成后续步骤之前就能准确判断当前步骤是否重要，证明模型在生成过程中实时编码了重要性信号。
依赖全上下文：去除上下文（仅看单步）或仅使用表面特征（TF-IDF, Embedding）会导致准确率大幅下降（降至 60% 以下），说明重要性依赖于完整的推理历史。

3.3 跨模型泛化性 (Cross-Model Generalization)

发现：在一个模型（如 GPT-OSS）上训练的探针，直接应用于另一个模型（如 DeepSeek）的激活值，依然能保持高准确率（约 80%+），且分类一致性很高。
结论：步骤重要性是一种通用的、模型无关的概念，被不同模型以相似的方式编码在激活空间中。

3.4 重要性是分布式且非表面特征的

分布性：重要性信号分散在所有层和所有 Token 位置中，没有单一层或位置能完全捕捉该信号。
非表面性：重要性与表面特征（如步骤长度、相对位置、是否包含数字、是否包含特定词汇如"Let's think"）的相关性极低。基于表面特征的回归模型表现远差于基于激活值的探针。

4. 主要贡献 (Contributions)

方法论创新：提出并验证了通过梯度归因分析内部激活值来识别推理链中关键步骤的方法，证明了其优于基于文本的外部裁判。
理论发现：首次实证表明，推理模型在生成过程中显式地编码了“步骤重要性”的内部表示，且这种表示在生成后续步骤之前就已存在。
通用性证明：揭示了重要性编码具有跨模型、跨数据集的泛化能力，且独立于表面文本特征。
分析视角转变：论证了仅分析生成的 Token 会遗漏关键信息，未来的推理分析应深入模型内部（Latent Activations）。

5. 意义与启示 (Significance)

可解释性 (Interpretability)：传统的基于文本的推理分析可能具有误导性（因为模型可能生成看似合理但实际无关的步骤）。通过分析激活值，可以获得更忠实（Faithful）的推理过程视图。
推理效率 (Efficiency)：既然模型内部知道哪些步骤是可移除的，未来可以开发基于激活信号的推理剪枝 (Pruning) 技术，在推理时动态跳过冗余步骤，从而减少计算成本和上下文长度。
模型训练：这一发现为通过“核心推理子序列”进行微调（Fine-tuning）提供了理论基础，可能有助于训练更高效、更专注的推理模型。

总结

该论文通过严谨的实验证明，大型推理模型并非盲目地生成文本，而是在其内部激活值中实时计算并编码了每个推理步骤的“重要性”。这种内部表示比表面文本更准确、更通用，且无法通过简单的文本特征复现。这一发现强烈建议未来的推理研究应超越 Token 层面，深入探究模型的内部激活机制。