💬 NLP

MrRoPE: Mixed-radix Rotary Position Embedding

本文介绍了 MrRoPE，这是一个基于混合进制转换的统一理论框架，它推广了旋转位置嵌入（RoPE）的扩展方法，并通过像 MrRoPE-Pro 这样新颖的策略实现了有效的免训练长文本处理，该策略在长序列检索任务中显著优于现有方法。

原作者： Qingyuan Tian, Wenhong Zhu, Xiaoran Liu, Xiaofeng Wang, Rui Wang

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Qingyuan Tian, Wenhong Zhu, Xiaoran Liu, Xiaofeng Wang, Rui Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人（大型语言模型），它通过阅读大量的书籍来学习如何说话。但有一个限制：在它的训练过程中，它只被允许阅读长度约为 8,000 词的短篇故事。现在，你想让它阅读一整本长达 128,000 词的小说并回答问题。

问题在于，这个机器人有一种特定的追踪自己在文本中“位置”的方式，叫做 RoPE（旋转位置嵌入）。把 RoPE 想象成机器人大脑里一个巨大的、多速的钟表盘。

有些指针转得非常快（高维）。
有些指针转得非常慢（低维）。

当机器人阅读短篇故事时，快指针会旋转很多圈，而慢指针只旋转一点点。机器人学会了识别这些模式。但当你突然给它一本比它学过的长 16 倍的小说时，慢指针必须转得比以往任何时候都远。它们撞上了一个“混乱之墙”，因为机器人从未见过这些位置。这就像是要求一个只会数到 10 的人突然去数到 1,000，而没有给予任何新指令——他们会迷失方向。

旧的解决方案（“拉伸型”方法）

科学家们尝试通过“拉伸”时钟来解决这个问题。

NTK： 他们均匀地拉伸了整个时钟盘面。这有所帮助，但它让那些转得很快的指针（擅长处理短距离细节的部分）转得太奇怪了，破坏了机器人理解短句的能力。
YaRN： 这是当时的冠军。它试图变得更聪明：保持快指针基本不变，大幅度拉伸慢指针，并在两者之间使用一种“中间地带”的方法。它效果不错，但论文作者认为这种“中间地带”并不完美。这就像是不均匀地拉伸一根橡皮筋，导致某些部分断裂或失去形状。

新的解决方案：MrRoPE（“混合进制”时钟）

作者 Qingyuan Tian 及其团队意识到，RoPE 实际上做的与在不同进制之间转换数字（比如从十进制转换为二进制）非常相似。他们称之为“进制理论”（Radix Theory）。

他们提出了一种名为 MrRoPE（混合进制 RoPE）的新方法。与其只是拉伸时钟，不如根据指针的速度改变时钟移动的“规则”。

他们引入了两种新的修复时钟的方法：

MrRoPE-Uni： 对中间部分的指针进行均匀拉伸。
MrRoPE-Pro（获胜者）： 一种“渐进式”拉伸。

MrRoPE-Pro 的类比：
想象一下，时钟的指针是一支跑步队。

快跑者（高维）是短跑运动员。你不想减慢他们的速度或改变他们的步幅，因为他们在短距离冲刺中表现出色。
慢跑者（低维）是马拉松选手。他们现在需要跑得更远，所以你要给他们更大的步幅。
中间的跑者是最棘手的部分。

之前的方法（如 YaRN）对中间跑者采用的是一种“回归式”策略——有点像随着他们跑得越远，就稍微减慢他们的速度。
MrRoPE-Pro 则使用了一种“渐进式”策略。它随着中间跑者离得越来越远，逐渐增加他们的步幅。这就像是给他们一个温柔的、加速的推动力。这既保持了短跑运动员节奏的完美，又确保了马拉松选手在不会感到眩晕的情况下到达终点。

测试结果如何？

团队在几个挑战中测试了这个新的“渐进式时钟”：

“大海捞针”测试： 他们把一个特定的句子（针）藏在一本巨大的书（干草堆）里，并要求机器人找到它。
- 结果： MrRoPE-Pro 可以在长达 128,000 词的书中找到这根“针”，准确率超过 85%。YaRN 在 64,000 词后就开始表现糟糕。这就像是 MrRoPE-Pro 拥有一把超强的强光手电筒，而 YaRN 的手电筒在黑暗中开始闪烁。
“无限基准”（Infinite-Bench）测试： 这测试了机器人是否真的能利用它找到的信息来回答问题或进行对话。
- 结果： MrRoPE-Pro 不仅找到了“针”，它还理解了故事。它的表现大幅领先于 YaRN（有时甚至达到两倍的分数），甚至表现得与那些专门针对长篇书籍进行过重新训练（微调）的机器人一样好。最棒的一点是：MrRoPE-Pro 不需要任何重新训练。 它只需通过改变数学规则就能立即生效。

核心结论

论文声称，通过从“数字进制转换”的角度来看待机器人的位置追踪系统，他们找到了一种更好的拉伸方式。MrRoPE-Pro 是一个“短训，长测”的魔术：你可以用短文本训练一个机器人，然后只需应用这种新的渐进式拉伸规则，就能立即让它阅读并理解宏大的小说，而无需任何额外的学习。

技术摘要：MrRoPE（混合进制旋转位置嵌入）

问题陈述

旋转位置嵌入（RoPE）是大型语言模型（LLM）中用于编码位置信息的标准机制，能够实现对长程依赖关系的建模。然而，当应用于超过预训练窗口的上下文长度时，RoPE 面临着根本性的泛化失效问题。这一问题的出现是因为高维嵌入特征的旋转频率较低；在训练期间，这些维度往往无法完成一个完整的旋转周期。因此，当上下文长度超过训练窗口时，这些维度会遇到未见过的旋转角度（分布外或 OOD 位置），从而导致性能下降。

虽然目前已提出了诸如位置插值（PI）、NTK 感知插值和 YaRN 等无需训练的扩展策略来缓解这一问题，但它们缺乏统一的理论基础。此外，现有方法（特别是 YaRN）对中间维度采用了特定的插值策略，这可能并非最优，可能会破坏高频信息或无法最大化有效上下文窗口。

方法论：混合进制框架

本文引入了 MrRoPE（混合进制 RoPE），这是一个通过进制（基数）系统转换视角来重新诠释 RoPE 扩展的统一理论框架。

理论统一：
作者证明了 RoPE 的旋转机制在数学上类比于将十进制位置 $m$ 转换为 $\beta$ -进制表示。在这种视角下，第 $j$ 个维度的旋转角度对应于混合进制系统中的第 $j$ 位数字。因此，扩展上下文窗口等同于为特定维度重新缩放进制基数，以防止高频维度的“位数截断”（OOD）。
通用公式：
MrRoPE 定义了一个广义扩展，其中每个维度 $j$ 被分配一个独立的频率缩放因子 $\lambda_j$ 。修改后的旋转角度 $\theta'_j$ 计算如下：
$m\theta'_j = \left( m \cdot b^{-\frac{j-1}{D_r}} \cdot \prod_{d=1}^{j-1} \lambda_d^{-1} \right) \mod 2\pi$
其中 $D_r$ 是旋转对的数量。现有方法被证明是该框架下的特定实例化：
- NTK-aware 插值： 在所有维度上使用统一的缩放因子（ $\lambda_j = \text{常数}$ ）。
- YaRN： 使用一种“回归式”缩放策略，其中中间维度进行线性缩放，而低频和高频维度保持不变（ $\lambda_j=1$ ）。
提出的策略：
基于“最优扩展需要保留高频细节同时扩大可表示范围”这一假设，作者提出了两种新的无需训练的策略：
- MrRoPE-Uni： 对所有中间维度应用统一的缩放因子。
- MrRoPE-Pro： 应用渐进式缩放因子。在这种方案中，低频（高频）维度经历较小的进制扩张，而高频（低频）维度经历比例更大的扩张。这种“由慢到快”的进展旨在更好地保留高频维度的细粒度结构，同时实现必要的扩展因子。

核心贡献

统一理论： 本文建立了一个理论框架，将各种 RoPE 扩展方法（PI、NTK、YaRN）统一为不同的进制转换策略，为分析它们的行为提供了共同语言。
新颖算法： 引入了 MrRoPE-Pro，一种渐进式进制转换方法，其性能优于现有的最先进（SoTA）无需训练的方法。
无需训练的高效性： 两种提出的方法均实现了“短训长测”的泛化能力，无需额外的微调或计算开销。

实验结果

作者在多个基准测试中对 LLaMA2-7B、LLaMA3-8B 和 Qwen2.5-3B 进行了 MrRoPE-Pro 的评估：

困惑度（Proofpile）： 在 8K 到 128K 的上下文长度下，MrRoPE-Pro 始终保持最低的困惑度。与在扩展上下文的前半部分表现出较高困惑度的 YaRN 不同，MrRoPE-Pro 在局部和全局位置信息方面都保持了平衡的表现。
大海捞针（NIAH）： 在 LLaMA3-8B 上，MrRoPE-Pro 在 128K 上下文长度下维持了超过 85% 的召回率。它有效地将可用窗口扩展到了接近 96K，显著优于在超过 64K 后出现剧烈退化的 YaRN。
RULER 基准测试： MrRoPE-Pro 在 64K–128K 范围内表现出卓越的稳定性，在 YaRN 显著下降（降至 79.9）时，仍能保持较高的检索得分（128K 时为 86.6）。
Infinite-Bench： MrRoPE-Pro 在检索和对话子集（例如 KV 检索中为 27% vs. 9%）上大幅超越了 YaRN。值得注意的是，它在没有任何额外训练的情况下，接近或超过了专门的经过长文本微调的模型（如 Yi-34B-200K、Kimi-Chat）的表现。
理论验证： 分析确认，MrRoPE-Pro 有效地提高了 RoPE 可达到的编码长度上限，并稳定了中间维度的注意力分数分布。

意义

论文声称，MrRoPE-Pro 为扩展基于 RoPE 的 LLM 的上下文窗口提供了一个具有理论依据且经验稳健的解决方案。通过将扩展重新定义为混合进制转换问题，作者证明了渐进式缩放是比先前工作中使用的回归式或统一缩放更优的策略。这种方法使模型能够以高保真度处理超长上下文（高达 128K），弥合了无需训练的方法与专门微调模型之间的差距，从而为需要长文本理解的高级 NLP 任务提供了一条可扩展的路径。