🤖 machine learning

A Structural Theory of Position Bias in Transformers

本文提出了一种结构理论，证明因果Transformer中的“中间迷失”现象源于因果掩码与残差连接的相互作用，这种相互作用诱发了U形影响分布，从而解释了系统性的位置偏差。

原作者： Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Transformer 中位置偏差的结构理论》的通俗化解读，辅以创意类比。

宏观图景：为何 Transformer 会“迷失在中间”

想象你正在给朋友读一个长篇故事。你注意到一个奇怪的现象：你的朋友完美地记住了第一句话，也完美地记住了最后一句话，却完全忘记了故事的中间部分。

这正是现代 AI 模型（Transformer）所遭遇的情况。它们患有一种被称为“迷失在中间”（Lost-in-the-Middle）的现象。它们对文本的开头（首因效应）和结尾（近因效应）表现优异，却忽略了中心的信息。

长期以来，科学家们认为这是因为 AI 无法“理解”中间词汇的含义。但这篇论文提出了不同的观点：问题不在于 AI 的“大脑”，而在于 AI 的“骨架”。 这种偏差是模型架构本身固有的，就像建筑蓝图中的缺陷一样。

核心理念：“残差”电梯

要理解为何会发生这种情况，我们需要看看信息是如何在 AI 的层级中流动的。将 Transformer 想象成一栋拥有 30 到 70 层的多层建筑。每一层都是一个处理文本的“楼层”。

1. 旧理论（“仅注意力”电梯）

先前的研究认为，如果只有“注意力”（即 AI 回看之前词汇的机制），信息就会像球滚下山坡一样。由于游戏规则（因果掩码，意味着你只能回看“过去”）的限制，这个球不可避免地会一直滚到底层，并卡在第一个词上。

如果这是真的，AI 只会关注第一个词而忘记其他一切。但在现实中，现代 AI 并非如此。它们也能记住最后一个词。因此，旧理论遗漏了拼图的一块。

2. 缺失的一块：“残差”电梯

作者们意识到，真实的 Transformer 拥有残差连接。想象在建筑的每一层之间，都设有一部高速电梯（即残差连接），它允许信息跳过处理室，直接前往下一层。

注意力路径： 一条“慢”路径，AI 在此回看之前的词汇。
残差路径： 一条“快”路径，当前词汇在此保持原样直接向前移动。

论文证明，这两条路径之间的相互作用产生了这种偏差。

塑造偏差的四种力量

作者识别出四种在模型内部推动信息流动的“架构力量”，它们共同造就了这种 U 形曲线（开头高、中间低、结尾高）。

因果掩码（“单行道”）：
- 类比： 想象一排人传递纸条。你只能把纸条传给身后的人，绝不能传给身前的人。
- 效果： 这创造了首因偏差。因为第一个词是唯一所有人都能看到的词，“注意力”路径自然倾向于文本的开头。
残差连接（“身份流”）：
- 类比： 想象拿着纸条的人口袋里还有一份纸条的副本，他们一路带着这份副本直到终点，却从未阅读它。
- 效果： 这创造了近因偏差。因为来自当前词汇的信息通过“口袋”（残差连接）直接传送到末尾，模型能非常清晰地记住最近的词汇。
位置编码（“座位号”）：
- 类比： AI 被告知：“你坐在第 50 号座位。”某些座位号（如 ALiBi）的设计旨在让 AI 更关注坐在后面（近期词汇）的人。
- 效果： 这加强了近因偏差，将关注点进一步推向文本的末尾。
内容贡献（“话题转换”）：
- 类比： 有时，词汇本身很重要。如果一个词非常关键，它可能会吸引注意力。
- 效果： 作者发现，内容通常只起到轻微的推动作用。它可以稍微转移焦点，但无法改变由架构所决定的基本 U 形结构。

结果："U 形”影响力

当这些力量结合时，就会产生一种特定的模式：

开头： 影响力高，因为“单行道”（因果掩码）的作用。
结尾： 影响力高，因为“口袋”（残差连接）和座位号的作用。
中间： 影响力低。“单行道”将焦点推离中间，而“口袋”尚未拾取中间的词汇，因为它们距离太远。

“迷失在中间”现象 simply 就是这个 U 形曲线中间的空白区域。这并非训练中的漏洞，而是建筑本身的结构特征。

如果建筑无限高会怎样？

论文还探讨了如果建筑拥有无限层（无限深度）会发生什么。

没有电梯（残差）： 旧理论认为信息会完全坍缩到第一个词上。AI 将忘记其他一切。
有电梯（残差）： 作者证明，只要“电梯”（残差连接）足够强，信息就不会坍缩。即使在无限深度的模型中，模型也能在文本末尾保持信息的活性。

验证：理论是否符合现实？

作者们不仅进行了数学推导，还在真实的预训练 AI 模型（如 BLOOM 和 Falcon）上进行了测试。

他们测量了每个词对最终答案的影响力有多大。
他们构建了一个仅基于架构（忽略词汇含义）的简单数学模型。
结果： 这个简单的架构模型预测出了与真实、复杂的 AI 完全相同的 U 形曲线。

这证实了偏差是结构性的。你无需理解文本的含义就能观察到这种偏差；它早已 baked 在代码之中。

总结

问题： AI 模型忽略了长文本的中间部分。
原因： 并非因为它们“愚蠢”或训练不足，而是因为它们的构建方式。“回看”（注意力）与“向前携带”（残差）的结合，自然地产生了一种 U 形的关注焦点。
启示： 要解决“迷失在中间”的问题，仅仅更好地训练模型是不够的。我们可能需要改变架构本身（即蓝图），以平衡这个 U 形结构。

技术摘要：Transformer 中位置偏差的结构理论

问题陈述

Transformer 模型表现出系统性的位置偏差，包括首因偏差（对早期 token 的偏好）、近因偏差（对近期 token 的偏好）以及“中间迷失”（LiM）现象，即在长上下文中，中间部分的信息未被充分利用。尽管实证证据表明这些偏差源于架构而非语义，但其理论起源仍鲜为人知。

现有理论分析与实际 Transformer 行为之间存在关键缺口。Wu 等人 [2025] 的最新研究表明，在仅注意力（attention-only）的因果 Transformer 中，随着深度增加，累积注意力必须坍缩到第一个 token 上。然而，这一预测与现代深层 Transformer 的实证观察相矛盾，后者并未表现出此类坍缩。该论文将这一差异归因于先前的理论框架忽略了残差连接，尽管残差连接在实际架构中扮演着核心角色。

方法论

作者基于感知残差的累积注意力展开（residual-aware cumulative attention rollout）开发了一种位置偏差的结构理论。该框架独立于训练目标、数据或优化动力学，分析跨层的信息传播。

核心框架

感知残差的转换：与将残差视为固定凸组合（例如 $0.5I + 0.5A$ ）的先前模型不同，作者将残差连接建模为连续时间动力学的离散化。他们定义了一个依赖于层和输入的混合系数 $\lambda_t(x)$ ，表示注意力更新相对于恒等路径的相对强度：
$\lambda_t(x) := \frac{\| \text{Attn}(X^{(t-1)}) \|}{\| X^{(t-1)} \| + \| \text{Attn}(X^{(t-1)}) \|}$
转换矩阵定义为 $R^{(t)} = (1 - \lambda_t)I + \lambda_t A^{(t)}$ ，其中 $A^{(t)}$ 是数据集平均注意力核。
累积展开：传播到深度 $T$ 的信息由展开矩阵 $P^{(T)} = R^{(T)} \cdots R^{(1)}$ 捕获。最后一行的分布 $p^{(T)}(j)$ 量化了输入 token $j$ 对最终输出的累积影响。
四种架构力量：在“随机单调注意力核”假设下，有限深度分析隔离了塑造展开分布的四种力量：
- 因果掩码：诱导首因漂移（质量向早期位置移动）。
- 残差连接：通过保留恒等路径，诱导近因漂移（质量向近期位置移动）。
- 位置编码：偏向近期键的偏差（如 ALiBi）叠加，诱导近因漂移。
- 内容贡献：建模为常数背景加上对角自注意力项，这些项调节漂移（正对角内容增加近因；负对角内容增加首因）。
无限深度分析：作者将分析扩展到无限深度极限，基于混合系数的可加性 $\sum \lambda_t$ 建立了二分法。

主要贡献

1. 感知残差的注意力展开

该论文提出了一种显式将残差连接建模为持久恒等路径的公式。这使得传播模型与现代 Transformer 架构保持一致，超越了受限的“仅注意力”假设。

2. 位置偏差的结构起源

作者证明，Transformer 架构本身就会诱导广泛的、通常是U 形影响轮廓。因果掩码（首因）与残差连接（近因）之间的相互作用创造了一种结构先验，使得早期和近期 token 相对于中间位置获得提升的影响。这为即使在没有语义内容的情况下也存在的“中间迷失”现象提供了理论解释。

3. 注意力坍缩差异的解决

该论文解决了 Wu 等人 [2025] 与实证现实之间的不匹配。它表明，仅凭因果掩码并不能必然导致注意力坍缩。相反，坍缩取决于累积注意力混合强度（ $\sum \lambda_t$ ）：

有限总混合（ $\sum \lambda_t < \infty$ ）：注意力不会坍缩到第一个 token；展开矩阵的对角线元素保持严格为正。
无限总混合（ $\sum \lambda_t = \infty$ ）：发生坍缩，注意力质量集中在第一个 token 上。

4. 实证验证

该理论针对预训练语言模型（BLOOM、MPT、Falcon）中测量的输入 token 影响进行了验证。

受控展开：模拟显示，“仅注意力”展开坍缩到第一个 token，而“感知残差”展开产生了观察到的 U 形轮廓。
定量匹配：来自感知残差模型的预测影响轮廓与实证估计的分布（通过基于梯度的归因测量）高度吻合，与仅注意力模型相比，其 Wasserstein 距离显著降低。

结果

有限深度：因果掩码与残差连接的结合产生了 U 形影响轮廓。该轮廓在不同模型和数据集中具有鲁棒性。
无限深度：理论分析证明，残差连接从根本上改变了深度注意力动力学。坍缩取决于混合强度的累积，而不仅仅是因果掩码的存在。
实证一致性：
- 在 bloom-176b 和 mpt-7b 等模型中，理论展开（不含内容）重现了测量影响的主导 U 形结构。
- 添加粗略的内容抽象（常数 + 对角线）进一步细化了拟合，将质量向近期位置移动，并与实证数据紧密对齐。
- “仅注意力”变体无法重现实证轮廓，证实了建模残差的必要性。

意义与主张

该论文声称提供了一个忠实于架构的框架来理解位置偏差。其主要意义在于：

** bridging 理论与实践**：它通过展示残差连接如何防止仅注意力理论预测的必然坍缩，解决了 Wu 等人 [2025] 指出的开放问题。
解释“中间迷失”：它确立了 U 形影响轮廓（以及因此的 LiM 效应）源于 Transformer 架构固有的结构先验，而不仅仅是语义或训练动力学。
预测能力：该理论仅使用架构参数（掩码、残差、位置编码偏差）和测量的混合系数，即可准确预测预训练模型中影响分布的形状，而无需访问特定训练数据或 token 语义。

作者保持了适度的范围，将其工作描述为描述信息传播中的架构先验，而非端到端的表示学习。他们指出，虽然 U 形先验可能是“中间迷失”任务性能现象的基础，但针对特定检索式任务性能下降的闭环研究留待未来工作。