🤖 AI

LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

LaneRoPE 是一种新颖的位置编码方法，它通过引入序列间注意力掩码和扩展的 RoPE 来协调多个生成过程，从而在大型语言模型中实现协同并行推理，进而在最小化架构改动和推理开销的前提下提升数学任务的准确性。

原作者： Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个极其棘手的数学谜题。你有一支由四位天才朋友组成的团队（我们称他们为爱丽丝、鲍勃、查理和戴夫），他们都在同时尝试解决这个谜题。

旧方法（独立思考）
在过去，如果你让这四位朋友解决这个谜题，他们会各自坐在独立的房间里。他们都会开始独立地解决问题。

爱丽丝可能会尝试做加法。
鲍勃可能会尝试做减法。
查理可能会在某个特定步骤上卡住。
戴夫可能会迅速找到答案。

最后，你会收集所有四个答案，并挑选那个看起来最可能是正确的。问题在于：他们在工作的同时无法互相交流。如果爱丽丝即将犯错，鲍勃无法阻止她。如果戴夫发现了一个捷径，爱丽丝也无法利用它。他们因为彼此隔离，而在做重复的工作上浪费精力，或者在死胡同里卡住。

新方法：LaneRoPE
这篇论文介绍了一种名为LaneRoPE的新方法。你可以将 LaneRoPE 想象成给你的四位朋友一个神奇的“开放式”办公室，即使他们仍在各自的键盘上打字，他们也能实时看到和听到彼此的想法。

以下是它的工作原理，使用简单的类比：

1. “开放式办公室”（跨序列注意力）

在旧系统中，计算机（人工智能）将每位朋友的思维过程视为完全独立的文本行。LaneRoPE 改变了规则，使得当爱丽丝输入一个想法时，鲍勃能立即在他的脑海中“看到”它，反之亦然。

类比：想象爱丽丝正在试图弄清楚一个数学步骤。她输入：“等等，78 减 30 等于 48。”在旧系统中，鲍勃要等到最后才会知道这一点。有了 LaneRoPE，鲍勃会立即看到那个想法。他可能会说：“哦，我本来也要那么做的！我会切换到不同的策略，以免浪费时间。”
结果：他们停止做重复的工作。他们可以在解决方案构建过程中（而不仅仅是在完成后）及时发现彼此的错误，并基于彼此的想法进行构建。

2. “座位号”（位置编码）

这是棘手的技术部分，但这里是简化版。
在标准人工智能中，每个单词都有一个“座位号”（位置），用来告诉计算机它在句子中的位置（第 1 个词、第 2 个词等）。但是，当四位朋友同时打字时，他们都有一个“第 1 个词”、“第 2 个词”和“第 3 个词”。计算机就会困惑：“爱丽丝的第 2 个词是紧挨着鲍勃的第 2 个词吗？还是紧挨着爱丽丝的第 3 个词？”

LaneRoPE 发明了一种新类型的座位号。

类比：想象一个有四排（车道）的剧院。在旧系统中，计算机只知道行内的座位号（例如，“第 1 排，5 号座”）。它不知道你在哪一排。
修正：LaneRoPE 给每个座位分配一个包含排号和座位号的唯一 ID（例如，“第 1 排，5 号座”与“第 2 排，5 号座”）。这使得计算机能够理解爱丽丝的想法与鲍勃的想法之间的关系。它知道鲍勃的想法在时间上“紧挨着”爱丽丝的想法，即使它们处于不同的“排”。

3. “魔法胶水”（训练）

仅仅给他们一个开放式办公室是不够的；他们需要学习如何行事。作者使用了一种特殊的训练方法来教导人工智能：

配方：他们创建了虚假的对话，让 AI 扮演多个角色（爱丽丝、鲍勃等），彼此交谈以解决数学问题。他们教导 AI，如果一个角色犯错，另一个角色应该指出它。如果一个角色找到了一条路径，另一个角色应该跟随它或尝试不同的方法。
结果：AI 学会了“协作”比“独自工作”能带来更好的答案。

为什么这很重要？

速度快：与其他需要 AI 停止并重头开始，或使用复杂、缓慢的硬件技巧的方法不同，LaneRoPE 运行得非常快。这就像升级办公家具，而不是重建整栋大楼。
效率高：它不需要生成成千上万的随机猜测就能获得更好的答案。它通过让“团队成员”互相帮助而变得更聪明。
适用于数学：该论文在困难的数学问题（如高级竞赛中遇到的问题）上测试了这种方法。结果表明，当 AI 使用 LaneRoPE 时，它获得正确答案的频率高于它独自多次猜测的情况。

总结
LaneRoPE 是一种让多个 AI“思考者”实时作为一个团队协同工作的方法。它不是让四个人在各自的房间里大声喊出答案，而是将他们安置在一个房间里，让他们可以互相耳语、互相纠正，并结合各自的优势，从而更快、更准确地解决谜题。

技术摘要：LaneRoPE

问题陈述

并行测试时扩展技术（如 best-of-N 采样）通过基于同一输入提示生成多个序列，提高了大语言模型（LLM）的准确性。尽管这些方法利用了批处理推理的计算效率，但它们传统上以非协调并行的方式运行。在标准方法中，批次中的每个序列都是独立生成的，这意味着它们不会重用其他序列的中间生成、计算或观察结果。这种独立性阻碍了对可分解问题结构的利用，限制了中间输出的共享，并制约了多样化、协作式响应的生成。

现有的“协作”方法试图通过实现对中间生成的共享可见性来解决这一问题。然而，许多先前的方法依赖于重新参数化位置，将多个序列虚拟地排序为单个长序列。作者认为，这种方法本质上是一个多序列生成问题，其中推理必须准确反映 token 维度和序列（或“车道”）维度上的位置。

方法论：LaneRoPE

本文提出了LaneRoPE，一种在生成时实现 $N > 1$ 个序列之间协调与协作的方法，且对底层 LLM 架构的改动极小。该方法依赖于两项关键技术革新：

序列间注意力掩码（Inter-Sequence Attention Masking）：
LaneRoPE 修改了标准因果注意力机制，使序列的采样能够相互依赖。模型不再仅根据其自身历史 $x^{(n)}_{1:i}$ 来预测下一个 token $x^{(n)}_{i+1}$ ，而是根据所有序列的历史 $\{x^{(m)}_{1:i}\}_{m=1}^N$ 进行预测。这是通过因果跨序列注意力掩码实现的，使得中间推理痕迹在所有并行车道中可见。
序列感知位置编码（LaneRoPE）：
标准的旋转位置编码（RoPE）无法区分不同序列中同一时间步的 token，因为它们共享相同的位置索引。LaneRoPE 通过引入第二个块对角旋转矩阵 $R_{\Omega, m}$ 扩展了 RoPE，该矩阵编码序列索引 $m$ （即“车道”）。
- 机制： 查询向量和键向量同时根据 token 索引 $i$ 和车道索引 $m$ 进行旋转： $f_{\{q,k\}}(x_i, i, m) = R_{\Omega, m} R_{\Theta, i} (W x_i + b)$ 。
- 特性： 该公式将（token, 序列）联合网格视为二维傅里叶基。关键在于，由于车道旋转矩阵是正交的，同一序列内 token 之间的注意力权重保持不变，从而确保了向后兼容性。当 $N=1$ 时，LaneRoPE 简化为标准的 RoPE。
- 初始化策略： 作者提供了从预训练模型初始化 LaneRoPE 的策略，以模拟现有行为：
  - GroupThink： 通过设置车道频率 $\Omega = K\Theta$ （其中 $K$ 为序列间隔），LaneRoPE 恢复了 GroupThink 的“虚拟排序”。
  - 独立采样： 通过在投影层中增加傅里叶偏置，模型可被初始化为抑制跨车道注意力，从而有效模拟独立采样。
  - NTK 感知校正： 为缓解 GroupThink 初始化中负虚拟相对位置带来的问题，作者引入了一种缩放函数，衰减低频车道旋转，保留模型编码绝对位置的能力。

训练流程

为了激发跨车道交互，作者提出了两种微调策略：

监督微调（SFT）： 合成一个数据集，其中 LLM 扮演 $N$ 个不同的助手，共同解决一个问题。提示这些助手查看彼此的部分思路并避免重复工作。最终数据集由这些对话中的独立轨迹组成，迫使模型学习序列间依赖关系。
Kahneman-Tversky 优化（KTO）： 模型在由基础模型独立生成的推理轨迹批次（部分正确，部分错误）上进行训练。KTO 损失函数最大化正确完成的似然性，并最小化错误完成的似然性，鼓励模型学习非平凡的联合分布，使并行车道能够相互纠正或补充。

结果

作者在数学推理基准测试（MATH500, AMC 23, AIME 24/25）上评估了 LaneRoPE，使用的是 DeepSeek-R1-Distill-Qwen 模型（15 亿和 70 亿参数）。

性能： LaneRoPE 在顺序基线和独立采样之上展示了可靠的准确性提升。70 亿参数模型表现出一致的增益，特别是在使用带有 NTK 感知初始化和可学习频率的 KTO 训练时。
对比： 在 70 亿参数模型上，LaneRoPE 通常优于"Bridge"基线（另一种序列间依赖生成方法），这归因于 LaneRoPE 更高的信息共享能力及其更高效的架构。
小模型： 15 亿参数模型的结果参差不齐，从未训练的 GroupThink 初始化中获益较少，且随着车道增加，扩展性较弱，这表明限制在于基础模型的大小而非架构。
效率： LaneRoPE 引入了可忽略的开销。推理时间测量显示，与标准 Transformer 相比仅增加了约 6%，这主要归因于预处理/后处理，而非注意力机制本身。相比之下，Bridge 基线由于额外的层，推理时间增加了高达 25%。

意义与主张

本文主张，LaneRoPE 代表了迈向并行协作推理的有希望的一步，其通过根本性地利用序列内和序列外 token 的相对位置来实现这一目标。

架构效率： 与需要专用运行时引擎或复杂分支机制的先前工作不同，LaneRoPE 仅需极少的架构改动，并引入可忽略的推理开销，使其适合快速整合到现有的 LLM 流程中。
灵活性： 该公式具有足够的表达力，能够涵盖现有技术（如独立采样和 GroupThink），同时允许进一步微调以发现新的协作策略。
数据效率： 使用简单的 SFT 或带有合成数据的 KTO，该方法仅需极少量的额外参数（比基础模型多 < 0.5%）即可解锁。

作者承认了局限性，指出他们尚未采用专门的训练方案来合并来自多个车道的输出，且当前的实验集中在小批量大小（ $N \le 4$ ）。他们建议未来的工作可以探索带有可验证反馈的强化学习（RLVF），以进一步增强协作行为。