🤖 machine learning

When More Becomes Less: Position-Dependent Repetition Effects in Language Models

本文表明，标记重复对语言模型预测的影响具有位置依赖性，揭示了虽然相邻重复会持续提升目标概率，但位移重复会产生一种倒U型效应，即概率随重复程度的增加先达到峰值然后下降，从而挑战了关于重复效应与读取位置无关且保持一致的假设。

原作者： Han-yu Wang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Han-yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

AI 大脑中重复现象的秘密生活

想象一下，你正在试图教一个机器人如何讲故事。你给它一个提示，比如一个句子的开头，然后让它猜测下一个词。这就是许多现代人工智能（AI）系统——即大语言模型（LLMs）的工作方式。它们就像是拥有超强能力的“自动完成”引擎，几乎阅读了互联网上的所有内容。为了弄清楚它们是否真的“知道”某些知识，科学家经常使用一种叫做“完形填空测试”（cloze test）的小技巧。这就像是一个填空谜题：你向 AI 展示一个带有缺失单词的句子，然后观察它是否能猜出正确的那个词。

多年来，研究人员一直相信关于这些 AI 大脑如何处理重复的一个简单规则。他们认为，如果你在提示词中一遍又一遍地重复一个词，AI 对该词的信心会随之增加，就像人类在听到某个概念次数越多时会对其越熟悉一样。这被称为“启动”（priming）。如果你说“苹果，苹果，苹果”，AI 应该会想：“好吧，这绝对是关于苹果的！”并以极高的信心预测“苹果”。科学家曾假设，无论你在句子的哪个位置要求 AI 进行猜测，这种信心都会随着你添加的单词副本数量而不断攀升。但如果这个假设是错误的呢？如果 AI 的大脑根据你要求它观察的位置而以不同的方式运作呢？这正是韩宇（Han-yu Wang）的论文所探讨的问题，它探索了一个奇怪的特性：在特定条件下，“更多”的重复反而会导致“更少”的信心。

当“多”变成“少”：AI 的遗忘点

在这项研究中，研究人员设计了一个巧妙的小实验，来测试 AI 模型对重复现象的反应。想象你有一个神奇的单词，比如“猫”。你可以通过两种不同的方式将这个词展示给 AI，但你保持故事的开头完全相同。

“紧邻测试”（Adjacent Probe）：
首先，你在句子的末尾写下一长串“猫”字：“猫，猫，猫，猫…… [在此处猜测]”。你要求 AI 猜测紧接着的下一个词。

发生了什么： 正如旧规则所预测的那样，AI 变得越来越自信。你添加的“猫”字越多，它就越确定下一个词会是“猫”。这就像鼓点越来越响亮。

“重新开始测试”（Displaced Probe）：
然后，研究人员做了一个小花招。他们在开头写下了完全相同的长串“猫”字，但在要求猜测之前，添加了一个句号和一个全新的句子框架。看起来是这样的：“猫，猫，猫，猫…… 。天空是蓝色的。[在此处猜测]”。

发生了什么： 这正是魔术失效的地方。AI 的信心并没有随之增加，而是做了一个奇怪的后空翻。起初，添加一些“猫”字确实有所帮助。但一旦列表变得太长（大约 5 到 10 个副本），AI 开始失去信心。到你写了 30 个“猫”字时，AI 预测“猫”的可能性实际上比只有几个副本时还要低。

研究人员将这种形状称为**“倒 U 型”（inverted-U）**。这就像是 AI 起初感到有些兴奋，但当它必须跳转到新句子来寻找答案时，会被大量的重复所压倒或搞混。

重大发现：关键在于你看向哪里

这篇论文最重要的发现是，问题的位置至关重要。同样的重复单词列表可以让你在紧接着列表提问时让 AI 变得更聪明，但如果你在句子之后提问，它会让 AI 变得更笨。

研究人员在 13 种不同的 AI 模型上测试了这一点，涵盖了从小型到大型的模型。他们发现，这种“倒 U 型”模式在每一个模型中都出现了。这并非某个特定计算机大脑的偶然现象。他们甚至在四种其他语言——西班牙语、中文、德语和法语——中进行了测试，同样的奇怪模式依然出现。这表明，这并不是 AI 说英语时的错误，而是这些模型处理重复信息时的一种根本性的特性。

它不是什么（以及它是什么）

研究人员不仅发现了这种模式，还像侦探一样试图找出其背后的原因。他们想确保这不仅仅是因为句子变长了，或者因为 AI “累了”，或者是由于它在思考与“猫”相关的词（如“小猫”或“喵喵叫”）。

不是关于长度： 他们测试了具有相同单词数量但使用随机、枯燥填充词而非重复“猫”字的句子。这种奇怪的信心下降并没有发生。
不是关于相关词汇： 他们尝试用意思相近或相关的词替换重复的“猫”。同样，没有出现信心下降。
它是关于精确重复： 只有当完全相同的词被一遍又一遍地重复时，下降才会发生。

这意味着 AI 并不是仅仅因为文本过长而感到“无聊”或“困惑”。当在开启新句子之前，完全相同的 Token（单词的数字构建模块）被重复多次时，发生了一些特定的事情。

透视 AI 的大脑

为了理解正在发生什么，研究人员窥视了模型的“注意力”（attention）机制。你可以把注意力想象成 AI 投射在句子不同部分的一束聚光灯。

聚光灯缩小了： 随着“猫”字列表的增长，AI 给到每个单独“猫”字的注意力变得越来越小。这很好理解；如果你有固定的聚光灯总量，并且必须把它照在 30 个物体上，那么每个物体得到的亮度就会减少。
总预算增加了（在某些模型中）： 令人惊讶的是，在那些表现出最大信心下降的模型中，AI 给整个“猫”字块的总注意力量实际上随着列表的增长而增加了。这就像是 AI 在大声喊着“看这么多只猫！”，但不知为何，当它必须跳转到新句子时，这种呐喊反而让它更难记住具体的单词“猫”。

你为什么应该关心？

这篇论文对于任何试图测试这些 AI 模型有多聪明的人来说，都是一个警示标签。如果你是一名科学家，正试图测试 AI 是否知道某个事实，并且你使用了一种重复单词多次来“启动”AI 的方法，你得到的可能与你的预期相反。如果你在一段句子之后提问，你可能会在无意中降低它给出正确答案的可能性。

这项研究表明，我们不能将问题的位置视为一个中立的细节。你在哪里提问，会改变答案。它提醒我们，这些 AI 大脑是复杂且有时违反直觉的：有时，听一个词太多次并不会帮你记住它；相反，它可能会让你忘记，尤其是当你需要在回答前等待片刻时。

研究人员在 13 个模型上测试了这一点，并发现该效应在所有模型中都存在。他们在 42 种不同的模型与语言组合中进行了检查，该模式始终成立。虽然他们不能确切说明 AI 大脑为何如此运作（这是一种相关性，而非机制的完整解释），但他们已经证明了这种“多即是少”的效应是真实存在的、一致的，并且普遍发生。这是理解这些数字大脑究竟如何思考的拼图中一个微小但至关重要的部分。

技术摘要：语言模型中的位置相关重复效应

问题陈述

语言模型（LMs）中的完形填空式探测研究经常通过改变目标标记（target token）在提示词中的出现频率，来衡量其对预测的影响（例如语义启动或上下文学习）。这些研究隐含地假设了读出位置（即采样模型预测的位置）与操纵变量是正交的：即重复对预测概率的影响保持一致，无论预测槽位是紧邻重复块，还是被位移到了一个新的句子框架中。

本文挑战了这一假设，证明了读出槽位的不同会从根本上改变重复如何影响检索。具体而言，当槽位紧邻重复块时，重复起到了单调启动的作用；但当槽位被位移时，它会产生一种非单调的“倒U型”效应，导致目标概率随着重复次数超过一定阈值而下降。

研究方法

双探针设计

作者引入了一种匹配前缀实验设计，以隔离读出位置的影响：

相邻探针（Adjacent Probe）： 预测槽位紧跟在一个包含 $N$ 个目标标记副本的前缀之后（例如：target × N [MASK]）。
位移探针（Displaced Probe）： 预测槽位被移动到相同前缀后的一个全新句子框架中（例如：target × N . <fresh frame> [MASK]）。

研究保持重复目标的前缀固定，仅改变槽位位置。重复次数 $N$ 的范围从 0 到 30。

实验设置

模型： 测试了 13 个开源语言模型，包括 2 个掩码语言模型（MLMs：ModernBERT-base/large）和 11 个不同规模与架构的因果语言模型（CLMs，包括 Qwen2.5 系列、SmolLM2、Phi-3.5、OLMo-2）。
目标： 261 个手工筛选的单标记名词，根据分词器进行过滤，以确保其为单标记有效。
语言： 该效应在英语、西班牙语、中文、德语和法语中通过多语言检查点得到了复现。
指标： 主要统计量是每词下降率（per-word drop），定义为 $(peak_w - P(N=30)_w) / peak_w$ ，其中 $peak_w$ 是单词在 $N \in \{1, 3, 5, 10, 20, 30\}$ 观察到的最大概率。若带有自助法（bootstrap）置信区间且该区间不包含零的正向下降值，则表明存在倒U型效应。

消融实验与控制

为了隔离机制，作者进行了以下实验：

六种条件的因果消融： 用截断的重复、删除、随机填充物、语义近义词填充物以及无关重复替换重复块。
框架语用学控制： 改变句子框架，以排除特定框架结构的干扰。
预设答案： 在提示词开头明确给出目标，以测试当存在另一种检索路径时，该效应是否依然存在。
内部分析： 测量了每个目标标记的注意力以及分配给重复块的总注意力预算。

核心结果

1. 位移后的倒U型

核心发现是两种探针位置之间的行为解离：

相邻槽位： $P(\text{target})$ 随 $N$ 单调上升并趋于平稳，符合标准的启动直觉。
位移槽位： $P(\text{target})$ 先上升至早期峰值（通常在 $N \in \{1, 3, 5, 10\}$ ），然后随着 $N$ 增加到 30 而下降。这种“位移后的倒U型”在所有测试的 13 个模型中均有观察到，且每种情况下的每词下降率在统计上都是显著的（置信区间不包含零）。

2. 鲁棒性与泛化性

跨语言： 该效应在西班牙语、中文、德语和法语的 42 个单元格（4 个模型 × 4 种语言 × 3 种框架）中得到了复现。
规模与架构： 该效应出现在不同规模（360M 到 14B 参数）和架构（MLM 和 CLM）的模型中。然而，下降幅度并非参数量的单调函数；例如，在 Qwen2.5 系列中，1.5B 和 14B 模型表现出的下降幅度比 7B 模型更大。
指令微调： 指令微调（例如 Qwen2.5-7B 与 Qwen2.5-7B-Instruct）并未消除该效应；在某些情况下，它反而增加了下降的幅度。

3. 因果机制

精确词汇重复： 该效应是由目标的精确词汇重复驱动的。语义近义词填充物（虽然激活了目标的语义场）未能重现倒U型效应，而随机填充物或删除操作则完全消除了该效应。
非长度或冗余： 该效应不是序列长度或通用冗余的函数。
内部相关性：
- 单标记注意力： 随着 $N$ 的增加，每个单个目标标记接收到的注意力都在下降。
- 总块预算： 在因果语言模型（Causal LMs）中，分配给重复块的总注意力预算随 $N$ 的增加而增长（次稀释/sub-dilution），而在掩码语言模型（MLM）中，预算保持大致平稳。这表明自回归训练诱导了一种特定的动态过程，即模型向重复块分配了越来越多的总资源，但在位移语境下，单标记信号却在退化。

意义与主张

本文提出了两个主要贡献：

经验发现： 当前的开源语言模型无法在位移槽位处实现精确词汇重复的加性聚合。即使相同的前缀能成功启动相邻槽位，增加目标的副本也可能降低其在后一子句中的概率。这反驳了重复效应是位置无关的假设。
方法论工具： “匹配前缀双探查设计”提供了一个分离局部模式延续与位移检索的工具。作者认为，任何涉及重复内容的受控探测研究（如上下文学习基准测试、事实知识探测）都不能将读出位置视为与操纵变量正交。一个在某一位置表现为单调启动的操纵，在许多基准测试实际评分的位置可能会发生反转。

作者对底层机制保持谦逊，指出其内部探测是相关性的。他们认为该效应可能源于重复键（keys）之间的 Softmax 协作、注意力汇（attention-sink）动态，或是自回归特有的近期先验（recency priors），但其数据无法区分这些候选方案。他们还指出了一些局限性，例如仅限于单标记目标，以及 SmolLM2-1.7B 关于平均曲线反转的解释尚不清晰。