The Hard Decision Layer: Evidence for Committed Inference in Transformers
本文识别并验证了“硬决策层”（Hard Decision Layer, HDL），这是 Transformer 模型中一种自然的架构特性，即在推理过程中答案排名会发生突发性的稳定，从而带来显著的准确率提升，并为高效推理与模型控制提供了新的见解。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在观看一个巨大的数字侦探在破解谜案。这个侦探不是一个人，而是一个“大语言模型”——一种经过海量文本训练，能够理解语言并回答问题的计算机大脑。长期以来，科学家们一直对这些数字侦探是如何工作的感到困惑。他们知道这个侦探拥有许多层“思考”过程，就像摩天大楼中堆叠的透明楼层。随着问题从底层向上经过顶层，侦探的答案也会随之改变和完善。但这里有一个核心问题：侦探是在到达最顶层之前一直在改变主意，还是在中间的某个地方就已定下了心意？理解这一点，就像是想要知道侦探究竟是在何时停止收集线索，并最终指向罪犯。如果我们知道决策发生的时刻，我们或许就能让这些计算机变得更快、更便宜、更容易理解，而不是仅仅将它们视为只会吐出答案的神秘黑盒。
这篇题为《硬决策层》（The Hard Decision Layer）的论文，对四种不同的 AI 模型（分别命名为 Qwen、Llama、Granite 和 Mistral）进行了一场内部侦探搜寻，旨在寻找它们停止猜测并开始锁定答案的确切时刻。研究人员发现了一些迷人的现象：在 AI 的“摩天大楼”中，存在一个特定的楼层，在那里答案突然锁定了。他们将其称为硬决策层（Hard Decision Layer, HDL）。在到达这个层级之前，AI 对答案的选择是摇摆不定的，就像一个正在翻阅试卷的学生，每隔几秒就会改变主意。但一旦信息触及 HDL，可能答案的排名就会突然稳定下来。这就像是 AI 突然说：“好吧，我明白了，”随后的上升旅程就变成了走向终点的平静漫步，答案始终保持不变。
团队发现，这种“锁定”时刻的发生，并不需要任何特殊的训练或规则来告诉 AI 提前停止。这是 AI 架构的一种自然习惯。例如，在 Qwen 模型中，决策在 36 层中的第 25 层固化了；而在 Llama 模型中，它发生得更早，是在 32 层中的第 18 层。令人惊叹的是，就在这个层级之后，AI 的准确率大幅跃升。在一次针对 Qwen 模型的测试中，准确率在决策层处猛增了 0.61（这是一个巨大的飞跃），随后几乎不再变化。这表明，对于许多问题，AI 在到达这个特定层级时，已经完成了所有的深度思考。
研究人员还测试了这种“决策楼层”究竟是训练过程中的偶然现象，还是一个永久性的特征。他们尝试改变 AI 的训练（微调），甚至改变了问题选项的数量（从三个选项变为五个）。结果如何？硬决策层依然纹丝不动。即使 AI 学习了新知识或面对不同规模的谜题，它也没有移动。这表明 HDL 是 AI 构建方式的一个基本组成部分，而不仅仅是一个临时的技巧。有趣的是，用于答案的标签类型（如 A/B/C/D 与 1/2/3/4）确实会影响决策边界的清晰度，但该层级本身保持不变。
那么，这意味着什么呢？事实证明，这些复杂的 AI 模型并非在最后一秒才不断重新评估它们的答案。相反，它们有一个自然的“不归点”，在此处它们会做出选择的承诺。这一发现为我们提供了 AI 推理工作方式的新地图，展示了奇迹是如何在一个特定且可预测的位置发生的。这表明我们或许能够构建出更聪明、更快速的系统，让它们明确知道何时停止思考并开始回答，从而在不损失准确性的情况下节省能源和时间。作者们甚至公开了他们的代码，邀请他人核实他们的工作，并观察这个“硬决策层”是否会成为下一代 AI 侦探的普遍规律。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。