💬 NLP

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

本技术综述提供了一个统一的框架，用于理解 Transformer 中的位置编码方法——从绝对与相对方法到旋转位置嵌入（RoPE）——同时分析了它们的计算特性、长上下文扩展技术，以及长度外推能力与可靠长上下文泛化能力之间的关键区别。

原作者： Jiguo Li

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiguo Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人理解一个故事。你拥有一个超级快速的大脑，可以同时观察一个句子中的所有单词，而不是像人类那样一个接一个地阅读。这就是 Transformer 的魔力，它是现代人工智能背后的引擎。但这里有一个问题：因为这个大脑是同时观察一切的，它并不知道哪个词在前，哪个词在后，或者哪个词在最后。如果你把句子的单词顺序打乱，这个大脑会认为打乱后的版本和原始版本一样好。为了解决这个问题，我们必须给 AI 一种知道每个词在行中“位置”的方法。我们称之为 位置编码（Position Encoding）。把它想象成给每个单词一个独特的名牌或座位号。如果没有这些标签，AI 就像一个参加派对的宾客，虽然能看到每个人的脸，却不知道谁站在谁旁边，也不知道谁先到的。

这篇论文深入探讨了多年来我们为 AI 发明的不同“名牌”系统。它追溯了从简单的座号到复杂的旋转时钟，再到最终能够让 AI 阅读数十万字长篇巨著而不至于混乱的新一代技巧的历史。作者不仅是在列举这些方法，更是在探究哪些方法在尝试处理宏大故事时真正有效，并警告我们：仅仅因为一个系统可以接受长输入，并不意味着它真的能理解它。

AI “座号”的演进

在开始阶段，给单词分配座号最简单的方法就是直接查字典。这被称为 学习绝对位置（Learned Absolute Position）。想象一位老师正在分发一份名单，其中“单词 1”得到一种特定的颜色，“单词 2”得到另一种颜色，依此类推。这对于短篇故事效果很好，但如果你尝试读一部小说，而老师只为前 500 个单词制作了名单，那么当 AI 读到第 501 个单词时就会迷失方向。

随后出现了 正弦编码（Sinusoidal Encoding）。AI 不再使用静态列表，而是利用数学波形（如正弦波）来生成座号。可以把这想象成一组以不同速度旋转的时钟。有些时钟跳动得快，用以区分单词 1 和单词 2；而另一些时钟跳动得慢，用以区分单词 1 和单词 1,000。这种方法很聪明，因为 AI 可以计算出任何位置的座号，甚至是它从未见过的位置。然而，论文指出，仅仅因为你可以计算出那个数字，并不代表 AI 知道如何处理极长的距离。

接着，研究人员意识到，在语言中，最重要的往往是单词之间的距离，而不是它们的绝对座号。单词“它”是否靠近它所指代的名词？这引出了 相对位置编码（Relative Position Encoding）。AI 不再说“我在 50 号座位”，而是学会说“我离你 3 个座位”。这就像一场音乐椅游戏，你只关心谁坐在你旁边，而不关心你椅子上的确切编号。T5 和 Transformer-XL 等方法利用这一点，通过关注单词之间的间隙来处理长文本。

全场焦点：RoPE

论文重点介绍了被称为 RoPE（旋转位置嵌入） 的第三代方法，它是目前许多大型 AI 模型的冠军。RoPE 不再是给单词增加一个数字或计算一个距离，而是将单词的数据视为一个旋转的箭头。随着单词在行中移动，它的箭头也会旋转。当 AI 比较两个单词时，它会检查它们箭头之间的夹角。如果箭头靠得很近，说明这两个词在故事中靠得很近；如果箭头离得很远，则说明它们在故事中离得很远。

RoPE 的美妙之处在于，它无需单独的查找表就能自然地处理单词间的“距离”。这就像派对上的每个人都戴着一块手表，手表的转速取决于他们到达的时间。当两个人交谈时，他们只需观察彼此手表的指针差异，就能知道彼此分别离开了多久。

长上下文挑战：拉长故事

最大的问题在于，这些系统通常是在短故事（如 4,000 字）上训练的。当我们尝试将它们用于海量文档（如 128,000 字或更多）时，“时钟”或“旋转箭头”会开始旋转出 AI 从未见过的模式。这就像试图驾驶一辆为城市街道设计的汽车上高速公路；引擎或许能运转，但操控感会变得非常奇怪。

论文调查了几种用于“拉伸”的技巧来解决这个问题：

位置插值（Position Interpolation, PI）： 它将长故事压缩回 AI 已知的短空间内。这就像把一部 10 小时的电影压缩成 2 小时。AI 可以观看，但细节会变得模糊，并且可能会错过那些距离很近的单词之间的微妙差异。
NTK 感知缩放（NTK-aware Scaling）： 这更加聪明。它保持“快时钟”（处理细节的部分）以正常速度旋转，同时减慢“慢时钟”以覆盖长距离。这是一种折中方案，既保持了局部细节的清晰，又延伸了视野。
动态 NTK（Dynamic NTK）： 这种方法根据当前故事的长度来改变拉伸系数。如果故事很短，它就不进行拉伸；如果故事很长，它就会进行拉伸。然而，论文警告说，这在实时处理时可能很难管理，因为它可能会干扰 AI 对过去单词的记忆。
LongRoPE 和 LongRoPE2： 这些是最先进的方法。它们不再为所有人使用统一的规则，而是为 AI 大脑的 每个部分 寻找完美的拉伸系数。它们甚至在训练过程中混合使用短故事和长故事，以便让 AI 学会同时处理两者。作者认为这是最有前景的路径，但需要精细的调优和特定的数据。

重要的警告：能容纳并不代表能理解

这篇论文最重要的发现是一个现实层面的提醒。仅仅因为一个 AI 模型可以接受 100,000 字的输入，并不意味着它能理解它。作者认为，许多模型在进行“大海捞针”（在巨大文本中寻找特定事实）测试时表现不佳，或者在长距离推理方面表现挣扎，即使它们开启了那些花哨的“长上下文”设置。

他们强调，有效上下文长度（AI 实际使用的长度）通常比 标称上下文长度（它技术上能容纳的最大单词数）要短得多。他们还指出，仅仅改变处理更长数字的数学公式是不够的；AI 需要使用这些新设置进行重新训练或微调，才能真正学会如何使用它们。

结论

论文总结道，虽然我们已经从简单的座号取得了惊人的进步，进化到了复杂的旋转箭头，但我们尚未解决长上下文理解的问题。目前还没有所谓的“灵丹妙药”。最好的方法似乎是结合智能缩放（如 LongRoPE）、结合短例和长例的仔细训练，以及严格的测试，以观察 AI 是否真的在关注整个故事，而不仅仅是开头和结尾。

对于任何构建或使用这些 AI 模型的人来说，结论是明确的：不要仅仅相信营销数字。如果你想让 AI 阅读一整部小说，你需要检查它是否真的能找到中间的情节转折，而不仅仅是看它能否一口吞下整本书。通往真正长上下文 AI 的旅程仍在继续，未来的道路需要的不仅仅是更大的数字，更需要更聪明的方法来让 AI 的注意力保持集中。

技术摘要：Transformer 中的位置编码

问题陈述

Transformer 中的自注意力机制能够实现 Token 之间基于内容的交互，但缺乏内在的编码 Token 顺序的机制。如果没有显式的位置信息，模型对于输入的排列具有等变性；即对输入序列进行洗牌会导致输出也相应地发生洗牌，使得模型无法区分序列结构。虽然早期的解决方案将位置信息注入到输入表示或注意力分数中，但将这些机制扩展到长上下文（超过训练长度）面临着重大挑战。具体而言，简单的位置编码外推往往会导致分布外（OOD）相位偏移、注意力分数退化以及短上下文性能损失。此外，目前对于不同的编码策略（绝对、相对和旋转）如何与 KV 缓存、长度外推以及特定的架构选择（如多查询注意力 MLA）相互作用，仍缺乏统一的理解。

方法论与技术演进

本文提供了一个统一的技术综述和位置编码方法的推导，将其分为三代：

1. 绝对位置编码

可学习嵌入（Learned Embeddings）： 为 Token 分配来自参数表（ $P \in \mathbb{R}^{L_{max} \times d}$ ）的可学习向量。这种方法简单，但受限于最大长度，且缺乏对相邻位置的结构约束。
正弦编码（Sinusoidal Encoding）： 使用具有不同频率的正弦和余弦函数来生成位置向量。虽然其形式是绝对的，但角度之和的几何特性暗示了相对位移。然而，模型必须学习利用这种结构，且它不能保证可靠的长上下文泛化能力。

2. 相对位置编码

Shaw 等人： 向 Key 和 Value 中添加可学习的相对距离向量。
Transformer-XL： 将注意力分解为内容-内容、内容-位置以及全局偏移，以支持段级记忆。
T5： 将相对距离压缩为每个注意力头和距离桶（distance bucket）所学习的标量偏置。
局限性： 这些方法由于需要进行 $n \times n$ 的成对计算，往往会增加计算复杂度，并使算子融合和 KV 缓存变得复杂。

3. 旋转位置嵌入 (RoPE)

机制： 根据绝对位置旋转 Query 和 Key 向量。至关重要的是，旋转后的向量的点积仅取决于相对位置（ $n-m$ ），这在保留标准 $QK^\top$ 形式的同时，有效地编码了相对距离。
推导： 基于二维旋转矩阵或复数乘法（ $z' = z e^{i m \theta}$ ）。
特性： 它并不保证随距离单调递减的注意力衰减（分数会周期性振荡），但它允许在注意力分数中进行显式的相对距离表示。

4. 长上下文扩展 (RoPE 缩放)

论文详细介绍了将 RoPE 扩展到训练长度之外的方法，旨在解决“未训练相位”问题，即低频维度进入未见的相位区间：

位置插值 (PI)： 将位置索引均匀压缩，以使目标长度适配到训练范围内。这会降低局部分辨率。
NTK 感知 (NTK-aware)： 修改 RoPE 基数 ( $\beta$ ) 以非均匀地缩放频率，在扩展低频覆盖范围的同时，保留高频局部结构。
动态 NTK (Dynamic NTK)： 根据当前序列长度动态调整缩放因子，以避免压缩短输入。
分部分 NTK (NTK-by-parts) 与 YaRN： 根据频率区间（在训练长度内的旋转）应用不同的插值策略，并包含注意力温度校准以管理熵的变化。
LongRoPE 与 LongRoPE2： 使用进化搜索来寻找维度级的缩放因子和位置相关的保留区间。LongRoPE2 引入了“有效训练周期”和混合训练（结合短上下文和长上下文）来优化长上下文扩展和短上下文保留。

5. 替代方案：ALiBi

ALiBi 向注意力对数（logits）添加线性距离惩罚（ $-m_h|i-j|$ ）。它不需要位置表，并注入了近因偏差（recency bias），尽管它缺乏 RoPE 那样的多频率相位结构。

核心贡献

统一推导： 本文推导了 RoPE 如何将绝对位置索引转换为 Query-Key 内积中的相对相位差，阐明了绝对编码与相对编码之间的数学关系。
系统比较： 根据注入点（输入、对数或几何变换）、计算成本、KV 缓存兼容性和长度外推能力对各种方法进行了比较。
缩放法则分析： 它形式化了 RoPE 基数、训练长度与外推范围之间的关系，定义了相位覆盖不足的关键维度。
实现指南： 报告强调，位置配置（例如 rope_theta、配对约定、缩放因子）必须与检查点绑定，且“标称长度”并不等于“有效长度”。
评估协议： 它提倡超越简单的输入接受度进行评估，提出了诸如短上下文保留率、位置感知困惑度以及检索/推理任务（如大海捞针、代码定义-使用跨度）等指标。

结果与发现

外推 vs. 泛化： 计算训练长度之外的位置特征的能力并不意味着可靠的长上下文泛化能力。成功的扩展需要模型权重对新的相位分布进行适配。
权衡： 均匀缩放 (PI) 保持了稳定性但降低了局部分辨率。非均匀缩放 (NTK, LongRoPE) 能更好地保留局部结构，但需要精细的调优或搜索。
KV 缓存一致性： 动态缩放方法（如 Dynamic NTK）如果历史 Token 的旋转角度发生变化，会与标准 KV 缓存冲突；严格的实现要求重新旋转缓存的 Key 或在每个会话中固定放大倍数。
模型多样性： 虽然 RoPE 已在解码器模型（如 LLaMA, PaLM, Gemma）中占据主导地位，但仍存在显著差异。一些模型（BLOOM, Falcon）使用 ALiBi，T5 使用相对偏置，而较新的架构（DeepSeek, GLM-5, Kimi K3）则采用解耦的 RoPE/NoPE 子空间或隐式位置机制 (KDA) 来支持 MLA 或稀疏注意力。

重要性与结论

论文总结道，该领域已从简单的坐标注入转向复杂的频率缩放和混合训练策略。然而，仍有几个挑战尚未解决：

有效上下文： 接受长输入并不保证能可靠地利用长程依赖。
相位混叠 (Phase Aliasing)： 周期函数可能导致不同的距离产生相似的相位，多频率组合也无法完全消除这一问题。
短上下文冲突： 插值和缩放往往会降低短程能力，且缺乏用于跨模型迁移的稳定规则。
系统语义： 工程实现（如打包、滑动窗口、投机采样）如果不对齐，可能会在无意中破坏位置语义。

作者断言，未来的研究不应仅仅停留在扩大标称上下文长度上。相反，目标应该是建立可预测、可训练、可缓存且能够表达复杂多维结构（如代码调用图或多模态空间关系）的位置机制，并通过真正的长依赖任务而非合成检索基准来进行评估。