💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

该论文通过字符计数任务揭示，大型语言模型在符号推理上的失败并非源于缺乏表征或规模不足，而是由于模型内部存在特定的“负向电路”（主要位于最后几层），它们在计算过程中抑制了已正确编码的信息，导致模型虽能内部推导出正确答案却无法在输出层表达。

原作者： Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一次对大型语言模型（LLM）的“内部体检”，专门检查它们为什么会在一些看似极其简单的问题上犯傻。

想象一下，你让一个拥有百科全书般知识的超级天才（比如现在的 LLM），问你一个小学生都能回答的问题：“单词 'strawberry'（草莓）里有几个字母 'r'？”

你会惊讶地发现，这个天才经常答错。它可能说 1 个，也可能说 2 个，甚至完全瞎猜。这篇论文就是去探究：为什么这个天才“心里知道答案，嘴上却说不出来”？

以下是用通俗语言和比喻对论文核心发现的解读：

1. 核心发现：心里有数，嘴上没谱

研究人员发现，这些大模型其实完全有能力数清楚字母。

比喻：这就好比一个厨师，他在切菜的时候，脑子里非常清楚手里有 3 根胡萝卜（模型在早期层已经编码了正确的信息）。但是，当他要把菜端给客人（输出最终答案）时，他却突然说：“哎呀，我觉得是 1 根吧。”
结论：问题不在于模型“学不会”或“记不住”，而在于它在最后一步主动放弃了正确答案。

2. 内部运作：一场“自我内耗”的战争

研究人员像侦探一样，一层层地检查模型的“大脑”（神经网络），发现了两个关键阶段：

早期阶段（编码期）：信息很清晰
在模型处理单词的前几层，关于“有几个 r"的信息非常清晰、准确。就像厨师刚把菜切好，放在案板上，数量一目了然。
- 比喻：模型的前半部分是个诚实的会计，账记得清清楚楚。
晚期阶段（抑制期）：信息被“按”下去了
当信息传递到模型的最后几层（特别是倒数第二层和最后一层）时，发生了一件奇怪的事。模型里的一些特定组件（主要是MLP 层，可以理解为“决策部门”）开始主动压制那个正确的答案。
- 比喻：这就好比厨师的“决策部门”突然说：“别管案板上的 3 根胡萝卜了，根据经验，客人通常喜欢听'1'，或者随便猜一个吧。”于是，正确的信息被强行按了下去，错误的、概率更高的答案被推到了前面。
- 研究人员把这些捣乱的组件称为**“负面电路” (Negative Circuits)**。它们就像是一个个“捣蛋鬼”，专门负责把正确的信号抹杀。

3. 为什么越大的模型越没用？

通常我们认为，模型越大（参数量越多），越聪明。但这篇论文发现，把模型从 20 亿参数扩大到 90 亿参数，甚至进行“指令微调”（教它怎么聊天），这个问题依然存在，甚至更顽固。

比喻：这就像给一个总是算错数的小学生换了一间更大的教室，或者让他读了更多的书（指令微调），但他最后交卷时，依然习惯性地写错答案。因为他的“坏习惯”（负面电路）已经根深蒂固，并没有因为“变高”或“变聪明”而消失。

4. 没有专门的“计数员”

研究人员还试图在模型里找有没有专门负责“数数”的神经元或注意力头（Attention Heads）。

发现：没有！模型里并没有一个专门的“数数专员”。
比喻：这就像是在一个巨大的交响乐团里找专门负责“数拍子”的人，结果发现根本没人专门干这个。数数的信息是散落在各个乐器（神经元）里的，而且最后被指挥（输出层）给带偏了。

5. 这意味着什么？（给普通人的启示）

这篇论文告诉我们一个令人深思的事实：

现在的 AI 并不是真的在“思考”：它们在处理像“数字母”这种需要精确逻辑的任务时，并不是在一步步推理，而是在玩“概率游戏”。它们倾向于输出那些在训练数据中出现频率最高的“安全答案”（比如看到字母就猜 1 个），而不是去真正计算。
未来的方向：如果我们想让 AI 更可靠，不能只靠“堆参数”（把模型做得更大）。我们需要重新设计模型，确保那些正确的信息不仅能被记住，还能被信任并顺利传递到嘴边，而不是在最后关头被“自我怀疑”给压死。

总结

这就好比一个**“懂事的捣蛋鬼”**：
它其实什么都懂（早期层编码正确），但它有个坏毛病（晚期层的负面电路），总喜欢在最后关头把正确答案藏起来，换成一个它觉得“更顺口”但其实是错的回答。

这篇论文就是揭开了这个“坏毛病”的盖子，告诉我们：AI 的弱点不在于不够聪明，而在于它的“自我审查”机制太容易把真相给压没了。

这篇论文《From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks》（从早期编码到晚期抑制：大语言模型在字符计数任务上的可解释性研究）深入探讨了大型语言模型（LLMs）为何在看似简单的符号任务（如单词中特定字符的计数）上表现不佳，尽管它们在复杂的自然语言处理基准测试中表现出色。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

尽管 LLMs 在复杂任务上取得了 SOTA 性能，但它们在基础的符号推理任务（如“单词 'apple' 中有几个 'p'？”）上存在系统性失败。

核心矛盾：模型无法可靠地执行原子操作（如字符计数），这揭示了其鲁棒性建立在脆弱的基础之上。
未解之谜：先前的研究仅记录了这一现象，但对其内部机制缺乏理解。失败是因为模型缺乏对字符级信息的表示（Representational Absence），还是因为信息在推理过程中被干扰或抑制（Interference/Suppression）？
研究目标：利用受控的字符计数任务作为探针，隔离 token 级推理与高级语言混淆，探究 LLM 内部的信息流动机制。

2. 方法论 (Methodology)

研究团队使用了三种主流模型家族（LLaMA 3.2, Qwen 2.5, Gemma 2）的基座模型和指令微调（Instruction-tuned）版本，参数规模从 2B 到 9B 不等。

2.1 实验设置

任务：构建自然语言提示模板（如 "The number of 'p's in apple is..."），要求模型预测下一个 token（即计数结果）。
数据集：基于 WordNet 和 Wiktionary 构建，包含 10,000 个样本，平衡了目标计数（1, 2, 3）和词汇多样性。

2.2 可解释性技术

为了追踪内部表示和计算路径，论文采用了以下方法：

探测分类器 (Probing Classifiers)：
- 在每一层训练线性分类器（无偏置），判断隐藏状态中是否包含字符计数信息。
- 测试了三种设置：Token 级（子词单元）、Word 级（单词末尾 token）、Prompt 级（完整提示末尾 token）。
Logit Lens (Logit 透镜)：
- 将中间层的隐藏状态投影回词表空间，观察预测概率随层数的演变。
- 引入 $\Delta$ (Logit Difference) 和 $\Delta_p$ (Probability Gap) 指标，量化模型对正确答案的偏好程度及其被抑制的情况。
激活修补 (Activation Patching / Causal Tracing)：
- 通过“污染”输入（改变单词或目标字母），将干净输入（Clean）的中间激活值覆盖到污染输入（Corrupted）的对应位置。
- 测量性能恢复程度（ $P_{restored}$ ），以定位对正确输出起因果作用的组件（如特定的 Attention Head 或 MLP 层）。
- 特别关注那些降低性能的组件（负向电路）。

3. 关键发现与结果 (Key Results)

3.1 信息编码与传递

早期编码成功：探测实验表明，字符计数信息在模型的早期和中期层中被高度可靠地编码（准确率 >80%）。即使在最终预测错误的情况下，中间层的残差流中依然包含正确的计数信息。
传递过程中的信息丢失：信息从单词内部 token 传递到最终预测 token（Prompt 末尾）时发生显著衰减。这表明问题不在于“没有表示”，而在于“表示未被利用”。

3.2 晚期抑制机制 (Late Suppression)

这是论文最核心的发现：

负向电路 (Negative Circuits)：模型内部存在一组特定的组件，它们主动抑制正确答案的信号，转而放大错误但概率更高的启发式答案。
抑制发生的位置：
- Qwen 模型：抑制主要集中在倒数第二层的 MLP、最后一层的 Attention Head 和 最后一层的 MLP。
- LLaMA 模型：抑制主要由最后一层的 MLP 主导。
- Gemma 模型：表现出类似的晚期抑制模式。
行为表现：
- Qwen 倾向于“总是预测 1"的退化策略。
- LLaMA 倾向于近乎均匀的随机猜测策略。
- 这些策略是由晚期组件强行覆盖早期正确信号的结果。

3.3 注意力头的角色

无专用路由：激活修补实验显示，没有特定的 Attention Head 专门负责将字符信息从输入路由到输出。信息是分散在多个头中微弱聚合的，缺乏专门的“计数电路”。

3.4 规模与微调的影响

缩放无效：从 2B 扩展到 9B 参数，甚至更大的模型，并未改善计数能力。抑制模式在更大模型中依然存在，甚至可能因强化学习而加剧。
指令微调无效：指令微调（Instruction Tuning）未能解决根本问题。虽然微调模型改变了表面策略（例如从“总是预测 1"变为在"1"和"2"之间交替），但其准确率仍接近随机水平，且晚期抑制机制未变。

4. 主要贡献 (Key Contributions)

重新定义失败原因：证明 LLM 的符号推理失败主要不是由于表示缺失或规模不足，而是源于计算图内部的结构化干扰（Structured Interference）。模型“知道”答案，但在输出阶段被内部电路“压制”了。
揭示竞争性解码机制：提供了实证证据，表明 LLM 的前向传播实现了一种竞争性解码过程。正确和错误的假设在模型内部共存，最终输出由**抑制（Suppression）**机制决定，而不仅仅是信号的放大。
识别负向电路：具体定位了导致失败的关键组件（主要是末层的 MLP 和 Attention Head），这些组件构成了“负向电路”，系统性地削弱正确的符号信号。

5. 意义与启示 (Significance)

可解释性：揭示了现代 LLM 在处理低层符号任务时的系统性弱点，表明即使模型在高层语义上表现优异，其底层计算机制仍存在严重缺陷。
架构设计：指出当前的 Transformer 架构可能缺乏确保信息不仅被编码而且被可靠使用的机制。未来的设计需要防止正确信号在深层被错误启发式策略覆盖。
鲁棒性：解释了为什么简单的符号错误会持续存在，甚至在模型规模扩大和指令微调后恶化。这暗示了单纯依靠 Scaling Law 无法解决此类基础推理问题，需要新的训练目标或架构调整。
方法论：展示了结合探测、Logit Lens 和激活修补来诊断模型内部动态的有效性，为理解其他类型的推理失败提供了范式。

总结：该论文通过精细的机制分析，打破了"LLM 不会数数是因为没学会”的直觉，揭示了"LLM 学会了数数，但在最后一步被自己内部的错误电路强行纠正了”这一反直觉的真相。这为提升 LLM 的可靠性和逻辑推理能力指明了新的研究方向。