💬 NLP

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

本文表明，尽管针对大语言模型（LLM）隐藏状态的线性探测在区分演绎、归纳和溯因推理任务方面取得了极高的准确率，但这种分离完全是由任务格式混淆驱动的，而非源于这些推理模式本身具有不同的计算表示。

原作者： Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：AI 大脑是否存在不同的“模式”？

想象一下，你正在试图弄清楚一位厨师是如何烹饪的。你注意到，当他们做沙拉时，会穿上一件绿色的围裙；而当他们煎牛排时，会穿上一件红色的围裙。你可能会猜想：“啊！绿色围裙意味着他们在用‘沙拉策略’，而红色围裙意味着他们在用‘牛排策略’。”

这正是研究人员对大语言模型（LLM）所做的研究。他们观察 AI 的“隐藏状态”（其内部大脑活动），并使用一种称为**线性探测（linear probe）**的简单测试，来观察 AI 是否像厨师切换围裙一样，在不同的“推理模式”（如演绎、归纳和溯因）之间进行切换。

长期以来，数据看起来非常完美。那个“绿色围裙”（演绎任务）和“红色围裙”（归纳任务）在 AI 大脑的不同区域完全分离。研究人员曾认为：“太棒了！AI 为不同类型的思考构建了截然不同的内部电路。”

但这篇论文说：“等等。你看到的不是思考过程，你看到的只是制服。”

调查过程：实际发生了什么？

研究人员使用三种不同类型的逻辑谜题对 AI（具体是一个名为 Qwen3-14B 的模型）进行了更深入的观察：

演绎（Deductive）： 逻辑谜题（类似于数学证明）。
归纳（Inductive）： 科学问题（寻找规律）。
溯因（Abductive）： 侦探破案（猜测最佳解释）。

他们发现，AI 的大脑活动在处理每种类型时确实看起来完全不同。但他们怀疑其中存在陷阱。

“制服”带来的混淆

可以这样理解：

演绎谜题来自一个网站，那里的每个问题都有 4 个可选答案且带有长篇故事。
归纳谜题来自另一个网站，那里的每个问题也有 4 个可选答案，但使用了科学术语。
溯因谜题来自第三个网站，那里的每个问题只有 2 个可选答案且非常简短。

研究人员意识到，AI 并不一定是切换了它的“思考风格”。相反，它只是在对问题的格式（format）做出反应。这就像厨师穿上绿色围裙，并不是因为他们在做沙拉，而是因为制作沙拉的那个厨房被漆成了绿色。

三项测试（“侦探工作”）

为了证明他们的理论，研究人员运行了三项特定的测试：

1. “脱掉制服”测试（残差分析）
他们提取了 AI 的大脑活动，并通过数学方法“洗掉”了格式细节（例如答案的数量、文本的长度以及问题来自哪个网站）。

结果： 一旦去除了“制服”（格式），“绿色围裙”和“红色围裙”就消失了。所有三种任务的大脑活动看起来完全一样。那种完美的区分感消失了，降到了随机水平。
类比： 如果你拿走了绿色和红色的围裙，无论厨师是在做沙拉还是煎牛排，看起来都一模一样。

2. “行为检查”（迹线-模式一致性）
他们观察了 AI 在解决问题时实际写出的文字。AI 在解决逻辑谜题与解决悬疑案件时，表现出的行为真的不同吗？

结果： 没有。AI 在解决这三类问题时都表现得非常出色（准确率 86%），但它在阐述解决方案时的说话方式对于所有问题几乎是完全相同的。它并没有切换策略，而是为所有问题都使用了一种“超级策略”。
类比： 厨师无论是在切西红柿还是切胡萝卜，使用的刀工和切菜动作都是完全一样的。他们并没有使用一种“西红柿技巧”或“胡萝卜技巧”。

3. “推动”测试（因果引导）
研究人员尝试通过“推动”AI 的大脑特定方向，来强迫它表现得像是处于“演绎模式”或“归纳模式”。他们将此与随机推动进行对比。

结果： 向“演绎”方向推动的效果并不比随机推动更好。大脑的几何结构实际上并不控制思考风格。
类比： 试图通过推搡来强迫厨师更换围裙，并不能改变他们烹饪的内容。围裙的颜色只是一个巧合，而不是烹饪风格的原因。

结论

论文得出结论：在这些测试中获得高准确率，并不足以证明 AI 拥有不同的内部推理电路。

当研究人员为不同类型的推理使用不同的数据集时（这是标准做法），AI 学到的是识别数据集的格式（即“制服”），而不是逻辑本身。研究人员在 AI 大脑中看到的“独特几何结构”，仅仅是问题格式的反映，而非特殊思考模式的反映。

核心启示：
仅仅因为 AI 的大脑在处理不同任务时看起来不同，并不意味着它的思考方式发生了变化。它可能只是穿着了不同的制服。要真正理解 AI 如何推理，我们需要剥离格式，看看思考过程本身是否发生了变化。在这种情况下，AI 似乎使用一种强大的、统一的策略来解决各种逻辑问题，而不是在专门的模式之间进行切换。

（此处省略了被剥离的块内容）。该流水线由五个阶段组成：

逐层线性探测： 在每一层训练逻辑回归探测器，以从隐藏状态中预测推理模式。在表现最佳的层级上，对流形几何（本征维度、曲率、凸包污染）进行分析。
格式混淆分解： 引入了一个四阶段残差分析流水线：
- 来源预测： 探测数据集来源身份，以检查其是否与模式预测等价。
- 选项数量探测： 测试选项数量（2个对比4个）本身是否能分离模式。
- 格式控制比较： 将分析限制在仅包含4选项的任务（LogiQA + ARC）中。
- 残差分析： 使用岭回归（Ridge regression）从格式特征向量（来源 one-hot、选项数量、响应长度）中预测隐藏状态，并移除这些线性信息。随后在残差上重新评估探测器。
轨迹-模式一致性： 将模型生成的推理轨迹进行嵌入，并与针对每种模式手工构建的锚点描述进行比较。通过测量一致性率来确定模型的观测行为是否随任务类型而调整。
带有随机控制的因果转向： 使用基于模式间质心差异导出的向量进行激活转向（activation steering）。至关重要的是，将其与具有相同量级的随机方向控制（ $N=20$ ）进行对比，以测试该几何结构是否具有功能性的因果联系，还是说任何同等量级的扰动都会产生类似效果。

核心贡献

格式混淆分解： 本文引入了一个残差分析流水线，证明了当格式特征（来源身份、选项数量、响应长度）被回归掉后，探测准确率会坍缩至随机水平。
轨迹-模式一致性分析： 作者展示了尽管模型实现了 86% 的高总准确率，但其推理轨迹与预期模式的一致性仅为 42.5%（对比 33.3% 的随机概率），这表明模型缺乏策略适应性。
带有随机基准的因果控制： 研究在转向实验中实施了随机方向控制，这种方法在以往的研究中经常缺失，旨在验证观察到的几何偏移是否与推理过程具有因果联系。
方法论建议： 本文提出，格式去混淆和随机方向控制应成为基于探测的可解释性研究的标准实践。

结果

1. 表观上的完美分离

在第 32 层（网络深度的 80%），线性探测器在区分三种推理模式时达到了 100% 的交叉验证准确率。该层的流形几何显示出明显的聚类，且具有不同的本征维度（演绎推理为 20.6，归纳推理为 28.5，溯因推理为 33.6）以及极低的凸包污染（ $\le 1.5\%$ ）。

2. 分离完全由格式驱动

残差分析推翻了最初的发现：

来源等价性： 预测数据集来源的探测器达到了 100% 的准确率，与模式预测完全一致。
选项数量： 仅使用选项数量的探测器达到了 33.3% 的准确率（这是 2 选项类别的先验概率），证实了结构性特征是可利用的。
残差坍缩： 在移除线性格式信息后，推理模式和数据集来源的探测准确率均降至 $\approx 33.5\%$ ，与随机水平无异。所谓的“推理模式几何”完全是任务格式造成的伪影。

3. 统一的推理策略

模型在所有任务类型中均实现了 86% 的准确率，但其轨迹-模式一致性仅为 42.5%。这表明，当在演绎、归纳和溯因任务之间切换时，模型并未实质性地改变其推理策略；它可能采用的是一种通用机制。

4. 几何结构无功能性联系

因果转向实验表明，沿着质心差异方向进行转向，并不会产生与同量级随机扰动显著不同的结果。经验 p 值为 0.286，且冲突注入会导致目标对和随机对的连贯性同时崩溃。这证实了几何分离在选择推理模式方面不具备功能性的因果作用。

意义与主张

本文认为，当推理标签与数据集来源存在混淆时，高线性探测准确率不足以作为内部计算结构的证据。先前文献中观察到的“独特表示”很可能是标准多源评估设计产生的伪影，而非专门化推理电路的证据。

作者声称，模型在所有三类任务中都能表现出良好的推理能力，但似乎是使用一种高度统一的策略而非不同的计算模式来进行推理。因此，本文呼吁机械可解释性研究进行范式转变：

研究人员必须在报告模式预测准确率的同时，也报告来源预测准确率。
残差分析以移除格式特征应成为标准控制手段。
转向实验必须包含随机方向控制，以验证方向性。
未来的基准测试应强制要求不同推理类型具有相同的表面格式，以隔离真实的推理差异。

研究结论指出，虽然大语言模型具备推理能力，但在未对格式混淆进行适当控制的情况下，认为它们利用不同的内部几何结构来实现不同推理模式的假设是站不住脚的。