🤖 machine learning

LeRoPE: Learnable RoPE Frequencies Improve Language Modeling

本文介绍了 LeRoPE，这种方法将旋转位置编码（RoPE）的频率视为可学习参数而非固定超参数，通过对 52M 到 2.5B 参数规模模型的训练证明，该方法在实现相当性能的同时，比标准 RoPE 和部分 RoPE 所需的计算量显著更少，且表现持续优于后者。

原作者： Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人阅读和写作。为了帮助机器人理解句子中词语的顺序，你给了它一个特殊的“位置追踪器”。长期以来，最好的追踪器使用的是一种固定的、预设的配方，叫做 RoPE（旋转位置编码）。你可以把这个配方想象成一个巨大的、预先调好的无线电调谐器，拥有 32 个不同的电台（频率）。每个电台都以特定的、不可改变的速度旋转，以帮助机器人了解词语之间的相对位置。有些电台转得飞快，有些则转得非常缓慢。规则是：“不要碰这些旋钮；它们是刻在石头上的。”

但论文的作者提出了一个简单的问题：如果让机器人自己来调节这些旋钮呢？

他们引入了 LeRoPE（学习型 RoPE）。LeRoPE 不再锁定频率，而是让机器人在训练期间为这 32 个电台中的每一个学习一个微小的“音量旋钮”。机器人可以决定每个电台应该以多快的速度或多慢的速度旋转，从而更好地理解文本。

重大发现：一个电台统治全局

当研究人员训练不同规模的机器人（从只有 5200 万参数的小模型到高达 25 亿参数的大型模型）时，他们发现了一个迷人的现象。机器人并没有随机调整旋钮。它始终一致地做了两件事：

它让最慢的电台保持沉默。 机器人意识到，那些转动得极慢（几乎不动）的电台对位置信息的帮助并不大。于是它将这些电台的音量调到了接近于零。
它找到了一个“超级电台”。 机器人发现了一个特定的电台，它成为了全场的明星。这个“主导频带”以一个非常特定的速度旋转——大约是训练窗口长度的 2.2 倍。例如，如果机器人的训练文本长度为 2,048 个 token，那么这个特殊的电台旋转的波长约为 4,170 个 token。

这个“超级电台”就像是机器人注意力机制中一个巨大的、有节奏的心跳。它比旧的固定配方能更好地帮助机器人理解词语之间的距离。

结果：更聪明且更省力的机器人

团队在从 52M 到 2.5B 规模的一系列模型梯队上测试了这种新方法。结果是一致的：

性能更好： 在每一个规模下，使用 LeRoPE 的机器人比使用旧版固定 RoPE 的机器人犯错更少（损失值更低）。
3.4% 的优势： 为了达到 LeRoPE 机器人在最大规模（2.5B 参数）下的表现，旧的 RoPE 机器人需要多出 3.4% 的计算量（FLOPs）。这就像是为了以相同的速度跑完比赛，需要额外多跑 3.4% 的路程。
大海捞针： 他们还测试了机器人在长文本中寻找特定信息的能力（“大海捞针”测试）。即使面对许多干扰信息（多达 31 个干扰项），使用 LeRoPE 的机器人也表现得更好，能更轻松地找到那根“针”。

他们排除了什么

论文谨慎地说明了哪些做法无效，或者哪些并不是成功的真正原因：

不仅仅是关闭慢速电台。 他们尝试了一种叫做“部分 RoPE”（p-RoPE）的方法，即直接关闭最慢的电台。虽然这也有所帮助，但它仅捕捉到了 LeRoPE 所实现的改进中的约 10.4%。LeRoPE 之所以更好，是因为它不仅是关闭电台，它还在重塑这些电台旋转的方式。
不仅仅是最终的设置。 他们尝试在训练结束后冻结机器人的学习旋钮，并将其用于一个新的机器人。这种“固定 LeRoPE”捕捉到了约 63.6% 的改进。这表明，虽然最终的设置非常出色，但机器人学习这些设置并与大脑其余部分协同工作的整个过程也起到了巨大作用。

他们有多确定？

作者对这些发现非常有信心，因为他们不仅仅做了一次测试。

他们在五种不同的模型规模上进行了测试。
他们使用了多个随机种子（不同的起始点）运行实验，以确保结果并非偶然。即使在不同的起始点下，机器人总能找到那个相同的“超级电台”。
他们在包括代码（Python）在内的不同类型的文本上进行了测试，并观察到了类似的模式。

不过，他们也指出了一个小限制：他们最大的模型（2.5B）仍然比当今现实世界中使用的巨型模型要小得多。因此，虽然结果强有力且一致，但他们是在一个特定的模型规模范围内观察到的这种行为。

总结

论文表明，用于位置追踪的“固定频率”旧规则并非最优选择。通过让模型学习自己的频率，它自然而然地发现了一种高效处理位置的方法，创造了一个强大的单一“心跳”，从而帮助它更好地、更快速地理解文本。这只是数学上的一个小改动，但它赋予了机器人明显的优势，节省了计算资源并提高了它在长篇故事中寻找信息的能力。

技术摘要：LeRoPE：通过可学习的 RoPE 频率提升语言模型性能

问题陈述

旋转位置编码（RoPE）是现代大语言模型（LLM）中标准的位置编码机制。RoPE 通过在二维频率带中旋转查询（query）和键（key）向量来运作，其中每个频带的旋转速率由一个由基数超参数（ $b$ ）定义的固定几何序列决定。

先前的研究已经发现了这种固定频率方法的局限性：

语义与位置的混淆： 最近的研究表明，最慢的频率带（即旋转速率最低的频带）通常携带的是语义信息而非位置信息，因为在典型的上下文窗口内，它们的旋转几乎可以忽略不计。
频率分配并非最优： 现有的改进方法（如 Partial RoPE 或调整基数 $b$ ）涉及手动选择哪些频带进行旋转或如何缩放它们。这些方法在训练前就预先固定了频率分配，这可能阻碍模型为给定任务和上下文长度发现最优频率谱的能力。

作者认为，由于 RoPE 操作对于其频率是可微的，因此这些频率应该被视为可学习的参数，而非固定的超参数。

方法论：LeRoPE

论文提出了 LeRoPE（Learned RoPE），这是对标准 RoP 机制的一种修改，其中每个频带的频率都通过一个可学习的标量进行缩放。

核心机制

LeRoPE 不再使用固定的频率 $\theta_m$ ，而是为每个频率带引入一个可学习的标量 $\alpha_m$ 。有效频率 $\hat{\theta}_m$ 定义为：
$\hat{\theta}_m = e^{\alpha_m} \theta_m$
其中 $\theta_m$ 是由基数 $b$ 推导出的标准 RoPE 频率。

关键设计选择：

对数参数化： 频率在对数空间（ $\alpha_m$ ）中进行参数化。这确保了对 $\alpha_m$ 的更新会导致频率的乘法变化，从而在将频率向零缩放时提供更好的调节性，并避免在零附近出现不稳定的梯度动态。
初始化： $\alpha_m$ 初始化为 0，使得 LeRoPE 在训练开始时在数学上等同于标准 RoPE。
参数共享： 相同的学习频率集在所有层和注意力头之间共享。对于头维度 $d_h$ ，这会为模型增加 $d_h/2$ 个可学习参数（例如，当 $d_h=64$ 时，增加 32 个参数）。
优化： 作者不对 LeRoPE 参数应用权重衰减（weight decay），并对其应用独立的梯度裁剪，以确保频率标量学习的稳定性。

理论分析

论文推导了损失函数对频率参数的梯度。他们证明了频率 $\theta_m$ 的梯度更新对应于一个代理损失函数 $P_m(\theta)$ 的导数，该函数是偏移聚合梯度信号的离散时间傅里叶变换的实部。这种公式表明，模型通过将频率与注意力 Logit 信号在相对 Token 偏移下的频谱特性进行对齐来学习频率。

实验设置

作者通过严谨的缩放研究验证了 LeRoPE：

模型规模： 一个从 52M 到 2.52B 参数 的解码器-仅（decoder-only）Transformer “阶梯”。
架构： 基于 Enoki 缩放阶梯（Charles et al., 2025; Ferbach et al., 2026），具有固定的头维度 (64) 以及协同缩放的深度/宽度。
训练数据： 在 C4 语料库上进行预训练，序列长度为 2048 个 token。
基准测试：
- 标准 RoPE ( $b=10,000$ )。
- Partial RoPE (p-RoPE, $p=0.75$ )，即移除了最慢 25% 频带的旋转。
评估指标： C4 上的验证困惑度（perplexity）、计算乘数（达到基准损失所需的 FLFLOPs）以及“大海捞针”（NIAH）检索准确率。

关键结果

1. 跨规模的性能表现

LeRoPE 在所有模型规模（52M 到 2.5B）下均一致优于标准 RoPE 和 p-RoPE。

困惑度： LeRoPE 在每个规模下都实现了更低的验证困惑度。
计算效率： 在最大规模（2.5B）下，标准 RoPE 需要 3.4% 更多的计算量（FLOPs）才能达到与 LeRoPE 相同的损失水平。这种优势是持续存在的，相对于 LeRoPE，RoPE 的计算乘数稳定在 1.03–1.04 左右。
鲁棒性： 这种改进在多个随机种子下均成立。对于 217M 模型，LeRoPE 与 RoPE 之间的差距（0.0066 nats）是标准偏差变异性的 3 到 7 倍。

2. 主导位置频带的涌现

对学习到的频率进行分析，揭示了跨规模和跨种子的统一模式：

频率抑制： 模型学会了抑制（驱动趋向于零）最慢频带的频率，有效地消除了它们的旋转。
主导频带： 一个单一的频率带涌现出来，具有较大的范数和对注意力 Logit 强大的位置贡献。这个“主导位置频带”的波长（ $\lambda$ ）随训练上下文长度（ $L_{train}$ ）线性缩放，具体为 $\lambda \approx 2.2 \times L_{train}$ 。
机制： 虽然标准 RoPE 将位置信息分布在许多频带中，但 LeRoPE 将位置信号集中在这个特定的主导频带中，而其余频带则似乎处理其他类型的信号或相互抵消。

3. 消融实验与泛化能力

冻结频率： 使用从单独的 LeRoPE 运行中学习到的频率值进行冻结训练的模型，捕捉到了 63.6% 的性能增益，这表明发现最优频率集的发现过程是成功的核心驱动力，尽管联合训练动态也做出了剩余的贡献。
代码预训练： 在 StarCoder-Python 数据集上的实验显示了类似的收益（比 RoPE 提升 0.0104 nats）和类似的频率模式，表明该方法超越了自然语言的限制。
外推： 虽然 LeRoPE 在进行朴素外推时性能下降比 RoPE 更剧烈（由于主导频带的正弦贡献在训练窗口外变为正值），但它仍能与 NTK-by-parts 和 YaRN 等标准上下文扩展技术兼容。结合这些方法，LeRoPE 在高达 32k token 的序列长度下表现优于 RoPE 和 p-RoPE。

意义与主张

论文声称，LeRoPE 提供了一种简单、参数高效且普遍适用的语言模型位置编码改进方案。

可学习性优于启发式方法： 这项工作证明，将频率带视为可学习参数，允许模型自动发现比手动调优的启发式方法（如 p-RoPE 或固定的基数调整）更高效的频谱分配。
效率： 该方法提供了一个持续的“免费”性能提升，降低了在大规模训练中达到目标性能水平所需的计算预算（约 3.4%）。
机制洞察： 单一主导位置频带的涌现为我们理解模型如何利用频率谱提供了新的见解，这表明一个特定的、学习到的频率足以为分布内任务编码必要的位置信号，而较慢的频带则更好地用于处理语义内容。

作者对研究范围保持了谦逊，指出实验仅限于高达 2.5B 参数的模型，且对于更大规模过拟合模型的收益仍需进一步验证。然而，在不同缩放阶梯和不同数据集（C4 和 Code）上结果的一致性表明，该方法是鲁棒的，并且很可能对更大规模的基础模型有益。