🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

本文表明，大语言模型在计数重复标记时的失败，并非源于其内部无法表示正确的计数，而是源于一种由特定格式触发的多层感知机机制，该机制在输出生成过程中将准确的表示覆盖为固定的错误答案。

原作者： Sohan Venkatesh

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Sohan Venkatesh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、博览群书的图书管理员（即 AI 模型）。你请这位管理员数一数长列表中单词"apple"出现了多少次。你本以为他们会算对，但他们却自信地回答：“有 8 个苹果”，尽管实际上明显有 10 个。

长期以来，人们认为这位管理员只是不擅长计数。他们假设管理员的大脑里没有内置“计数器”，因此无法追踪数字。

这篇论文指出，这种假设是错误的。

以下是研究人员实际发现内容的简明拆解，并辅以一些日常类比：

1. 管理员确实知道答案

研究人员深入观察了管理员的大脑（模型的内部层），在思考过程的每一步都进行了检查。他们发现，正确的数字（10）从一开始到最后一步，都被清晰、完美地记录了下来。

类比：想象管理员手里拿着一块白板，正沿着走廊行走。在行走的每一步，白板上都清晰地写着"10"。信息就在那里，响亮而清晰。管理员并不困惑；他们实际上知道答案。

2. “故障”的写牌员

那么，既然管理员知道答案是 10，为什么他们会说"8"呢？

研究人员在走廊的中间发现了一个特定的“故障”。在思考过程进行到大约 90% 时，有一位特定的工人（计算机代码中称为MLP 块的一部分）看到了列表的格式（单词由空格分隔），并决定忽略白板。

类比：想象管理员正拿着写有"10"的牌子走在走廊里。突然，一位特定的工人（我们叫他“格式弗雷德”）跳了出来。弗雷德看到列表是用空格书写的（如"apple apple apple"）。他有一个预设规则：“如果我看到用空格分隔的单词列表，我就必须把牌子改成'8'。”
弗雷德抢过白板，擦掉"10"，在上面写上"8"。
尽管管理员的大脑仍然知道是 10（原始信号在背景中依然存在），但最终输出变成了"8"，因为弗雷德覆盖了它。

3. 问题不在于单词，而在于格式

这种故障只发生在单词（如"apple"或"cat"）上，而不出现在数字（如"1"或"2"）上。

类比：如果你给管理员一个数字列表（"1 1 1 1..."），格式弗雷德并不在意。他只对单词有反应。管理员能完美地数出数字。但如果你给他们单词，弗雷德就会被触发。
此外，如果你将格式改为使用逗号而不是空格（例如"apple, apple, apple"），弗雷德就不会跳出来。"8"的规则不会被触发，管理员就能答对。这证明问题不在于计数能力，而在于对列表外观的特定反应。

4. 是“路由”问题，而非“表征”问题

该论文对两种类型的失败做出了重大区分：

表征失败：管理员不知道如何计数。（本文指出这并未发生）。
路由失败：管理员知道如何计数，但信号在到达嘴巴之前被劫持了。（这正是发生的情况）。
类比：这就像一家广播电台正在播放正确的歌曲（计数），但播音室里的 DJ（MLP 块）决定在音乐传出扬声器之前切断音乐，播放另一首歌曲（错误的数字）。音乐本身没问题；是路由出了问题。

5. 更大的模型有不同的故障

研究人员还观察了更大、更智能的模型。这些模型通常能数对，但如果你偷偷在苹果列表里混入一个“香蕉”，它们就会失败。

故障：这些更大的模型看到了香蕉。它们的注意力系统注意到了它。但是，就像较小的模型一样，它们未能让该信息改变最终答案。它们看到了异常，但无法将新信息“路由”到最终输出。

核心结论

该论文得出结论：这些 AI 模型并非“不擅长数学”。它们实际上在内部追踪数字方面非常擅长。问题在于，它们大脑的特定部分被列表的书写方式（空格与逗号、单词与数字）触发，从而将错误的答案强加给最终输出，覆盖了原本已经存在的正确答案。

要解决这个问题，我们不需要教 AI 如何计数（它已经知道了）。我们需要修复那个目前阻碍正确答案输出的“交通警”（路由机制）。

技术摘要：重复令牌计数揭示表征与输出之间的解离

问题陈述
大型语言模型（LLM）在计数重复令牌时表现出系统性且可复现的失败，尽管它们在更广泛的推理基准测试中展现出强大的性能。例如，当被要求计数十个重复单词（例如"apple"）时，模型通常会输出一个自信且确定性的错误答案（例如"8"或"14"），且在贪婪解码下方差为零。对此类失败的常见归因认为，模型缺乏内部计数表征，或在模型状态内跟踪计数存在局限。本文挑战了这一归因，提出失败并非源于表征，而是源于信息向输出的路由。

方法论
作者在五个经过指令微调的仅解码器模型中采用了机械可解释性技术：Llama-3.2（1B、3B）和 Qwen2.5（1.5B、3B、7B）。实验设置包含三种条件：

P1（基线）： 计数十个相同的令牌。
P2（异常）： 计数九个相同令牌和一个闯入者（例如"banana"）。
P3（控制）： 计数十个唯一的令牌。

本研究利用：

线性探针： 在每一层的残差流上训练岭回归探针以解码令牌计数，测试即使输出错误时，正确的计数是否仍可被线性解码。
Logit Lens： 将隐藏状态通过每一层的最终层归一化和解嵌入矩阵进行投影，以观察模型何时“锁定”到特定的数字令牌。
MLP 与注意力分解： 隔离注意力子层和 MLP 块的贡献，以确定哪个组件在残差流中写入或擦除特定值。
因果干预： 对特定 MLP 块进行零消融，以测试其因果参与性。
格式与令牌变体： 测试空格分隔与逗号分隔符，并用数字令牌替换单词令牌，以分析格式敏感性和令牌类型特异性。

关键结果

表征 - 行为解离：
线性探针显示，从第一个 Transformer 层开始，正确的计数即可被以近乎完美的精度（ $R^2 > 0.99$ ）线性解码，即使在输出错误计数的模型中也是如此。关键在于，在模型失败的条件下（重复令牌），计数的编码比在模型成功的条件下（唯一令牌）更加清晰。这证实模型拥有正确的内部表征，但未能将其表达出来。
路由失败（MLP 覆盖）：
失败是由一个特定的、由格式触发的多层感知机（MLP）块引起的，该块位于网络深度约 88–93% 处（例如，Llama-1B 中的第 14 层，Llama-3B 中的第 22/26 层，Qwen-1.5B 中的第 22 层）。
- 该 MLP 块接收的残差流状态正确编码了计数（或接近该状态），但将其覆盖为一个固定的错误整数（例如"8"或"14"）。
- MLP 输入与计数无关；无论实际序列长度如何（例如， $n=8$ 到 $n=15$ ），它都会触发，表明它响应的是特定的格式特征，而非执行计算。
- 对该 MLP 块进行因果消融并不能恢复正确答案；相反，它将失败转移到另一个错误值（例如，从"8"变为"16"），表明先验知识部分分布在多个块中。
格式与令牌特异性：
- 格式敏感性： 在较大模型（Llama-3B、Qwen-3B）中，将分隔符从空格改为逗号会抑制 MLP 触发，允许正确的计数通过。在较小模型（Llama-1B）中，先验知识是格式不变的。
- 令牌类型： 该先验知识对重复的字母令牌（单词）触发，但对重复的数字令牌不触发。无法正确计数重复单词的模型在计数重复数字（例如"1"、"1"、"1"）时没有错误，证明失败是“重复单词列表”格式与特定错误输出之间的一种习得关联，而非估算序列长度的一般能力不足。
异常检测与计数：
能够解决 P1 计数任务的较大模型（Qwen-3B、7B）仍然无法通过 P2 异常检测任务（计数 9 个苹果和 1 个香蕉）。机械分析表明，虽然注意力机制检测到了异常（香蕉获得了高注意力），但该信号未被路由到输出以修正计数。这代表了第二种路由失败，即检测信号存在，但未转化为行为修正。

意义与主张
本文认为，这些模型中的计数失败是路由失败，而非表征失败。内部电路正确编码了计数，但特定的“先验”电路基于表面格式线索（重复单词令牌）拦截并覆盖了该信息。

作者主张，将表征失败与路由失败混为一谈会导致错误的干预措施（例如，重新训练以获得更好的计数能力，而该能力实际上已经存在）。相反，干预措施必须针对负责信号抑制的特定电路。本研究表明，有能力的模型中的行为失败往往是表达失败，识别特定的路由路径是任何成功干预的必要前提。这项工作确立了一种普遍现象，即内部真理与行为输出可能完全背离，因此需要机械分析来区分二者。