🤖 machine learning

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

该论文引入了 RoVE，这是一种无参数的改进方法，通过随键（keys）一同旋转值嵌入（value embeddings）使值路径具有位置敏感性，从而统一了各种注意力公式，并证明了其在长上下文和上下文学习任务中相比标准 RoPE 具有一致的性能提升。

原作者： Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题：“盲目的信使”

想象一下，大型语言模型（比如你正在与之交谈的这个模型）就像一个巨大的工人团队，他们在互相传递便条。

查询 (Query/读者)： 一名工人提出了一个问题。
键 (Key/索引)： 其他工人举着牌子说：“我有你需要的答案！”
值 (Value/信息)： 一旦“读者”决定听谁的，这些工人就会递过他们实际记录的内容（数据）。

这篇论文指出了现代模型（使用一种被称为 RoPE 的技术）存在的一个缺陷。

优点： 模型非常聪明，知道该听谁的。它知道站在 5 步之遥的工人和站在 50 步之遥的工人的信息是不一样的。它对距离的处理非常谨慎。
缺点： 一旦“读者”决定听某个工人的话，那个便条里的“内容”无论工人离多远，都会被一视同同地对待。
- 类比： 想象你正在听一位朋友讲故事。如果他站在你身边，你能清晰地听到他的声音。如果他在 100 英尺外，你听到的词汇依然和他在你身边时完全一样。模型未能意识到，“距离”应该改变对信息的解读方式，而不仅仅是决定谁有权发言。

解决方案：RoVE（旋转值嵌入）

作者提出了一种简单且免费的修复方法，称为 RoVE。

RoPE 只是旋转“牌子”（Keys）来展示距离，而 RoVE 则是在信息被读取之前，也将“便条”（Values）进行旋转。

类比： 想象工人们都拿着地图。
- 旧方法 (RoPE)： “读者”确切知道工人在哪里站着。但当工人递过便条时，无论工人在哪里，便条上的字体都是标准的。
- 新方法 (RoVE)： 在工人递出便条之前，他们会根据距离远近旋转纸张。如果离得远，纸张会稍微倾斜；如果离得近，则是平放的。
- 结果： 当“读者”拿到便条时，纸张的倾斜角度会告诉他们如何相对于自己的位置来解读这条信息。信息本身现在也“感知”到了它的距离。

为什么这很重要：“注意力卷积”

论文声称，这个微小的改变将模型的注意力机制变成了一种被称为**“注意力卷积”**的东西。

隐喻： 把标准的注意力机制想象成一个聚光灯。它照向不同的人，但光线的颜色在任何地方都是一样的。
RoVE 的改变： RoVE 让聚光灯根据人距离中心的远近而改变颜色。
益处： 这创造了一种“块托普利茨”（block-Toeplitz）结构（一个高级数学术语），作者说这种结构与卷积（计算机处理图像背后的数学原理）所使用的结构是一致的。
- 简单来说：通过这样做，模型开始像处理图像或物理对象那样去处理语言，即位置和距离会从根本上改变数据的含义。

实验表明了什么

作者在两种规模的语言模型（小型和中型）上进行了测试，发现：

更好的记忆力： 模型在长距离记忆（长上下文检索）方面表现得更好。
更好的推理能力： 当被要求在只有极少示例的情况下解决谜题（少样本学习）时，它们的表现更出色。
更长的触达范围： 模型能够处理比训练时长得多的文本，而不会感到困惑（分布外困惑度）。

“免费”升级

这篇论文最令人兴奋的部分是，RoVE 不需要额外的训练或额外的内存。

它没有增加新的“权重”（参数）。
它不会显著降低计算机的速度。
它是一个“即插即用”的替代方案。你可以把旧方法换成 RoVE，模型会立即变得更擅长处理距离和长篇故事。

总结

论文认为，对于语言模型来说，要真正理解一个故事，它不应该仅仅知道谁在说话；它还需要知道说话者离自己有多远，并据此调整对信息的解读。RoVE 是一个巧妙且零成本的技巧，它让“信息”（Value）感知到了自身的距离，使模型变成了一个更强大的倾听者，在处理长篇、复杂的任务时表现卓越。

技术摘要：RoVE (旋转值嵌入注意力)

问题陈述

标准的旋转位置嵌入 (RoPE) 通过根据绝对位置旋转查询 (Query) 和键 (Key)，成功地使注意力分数具有相对位置相关性。然而，值 (Value) 路径仍然是位置无关的。用 Transformer 电路（Transformer circuits）的语言来说，虽然 QK 电路偏向于相对位置，但输出值 (OV) 电路对于值标记 $x_j$ 无论其距离查询 $x_i$ 多远，处理方式都是一致的。具体而言，应用于值标记的通道映射 $W_V$ 并不携带关于其相对偏移量 $\delta = j - i$ 的信息。这种不对称性限制了模型在聚合之前对值进行执行相对位置敏感变换的能力，而这种能力是卷积操作所固有的，但在标准 RoPE 注意力中却不存在。

方法论：RoVE

作者提出了 RoVE (旋转值嵌入)，这是一种将 RoPE 扩展到值路径的无参数修改方案。其核心机制涉及使用与键相同的依赖位置的旋转矩阵来旋转值向量，但以一种使其在聚合前与查询参考系对齐的方式进行。

数学公式

在标准 RoPE 中，位置 $i$ 处的输出计算为：
$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$
其中 $A(X)_{ij}$ 是依赖于相对偏移 $j-i$ 的 RoPE 注意力权重。

RoVE 通过以下方式对其进行修改：先通过 $R_j$ （位置 $j$ 处的旋转矩阵）旋转值 $x_j$ ，然后在查询位置 $i$ 通过 $R_i^{-1}$ 逆转旋转：
$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$

结构解释

这种修改从根本上改变了注意力算子的性质：

注意力卷积 (Attentive Convolution)： RoVE 将注意力机制转化为一种注意力卷积。常数值映射 $W_V$ 被替换为偏移依赖的核族 $\psi_\delta = R_\delta W_V$ 。相对位置 $\delta$ 现在像调制标记选择（QK 电路）一样，也调制了标记变换（OV 电路）。
矩阵混合器结构 (Matrix Mixer Structure)： 在矩阵混合器框架下，标准 RoPE 混合器具有克罗内克 (Kronecker) 结构 ( $A \otimes W_V$ )，将路由与通道投影解耦。RoVE 将其替换为块-托普利茨 (Block-Toeplitz) 结构，其中位于相同相对偏移对角线上的块共享相同的旋转值核，并由注意力权重进行缩放。
坐标系变换视角 (Frame-Change Perspective)： 该操作可以被视为一种坐标系变换：值通过 $R_j$ 从其局部坐标系转换到共享的全局坐标系，经过聚合后，再通过 $R_i^{-1}$ 转换回查询的局部坐标系。

效率

RoVE 不引入额外的可学习参数。旋转操作独立作用于 $n$ 个标记和 $d^2$ 个通道对，其复杂度为线性 $O(nd) $。这相对于$ O(nd^2) $的线性层和$ O(n^2d)$ 的注意力层而言是可以忽略不计的。此外，RoVE 与高效的注意力内核（如 FlashAttention）兼容，因为旋转操作发生在内核调用之前和之后。

核心贡献

结构特征化： 论文通过理论分析表明，RoVE 通过使值路径具有相对位置敏感性，统一了 QK 和 OV 电路。研究证明这使 RoPE 注意力转变为一种注意力卷积，赋予了模型块-托普利茨混合器结构。
实证验证： 作者在 FineWebEdu-10B 数据集上训练了 GPT-2 风格的模型（124M 和 354M 参数）。他们将 RoVE 作为标准（非共享 KV）语言模型中值路径的即插即用替代方案进行了评估。
与 YaRN 的互补性： 研究调查了 RoVE 与 YaRN（一种用于长上下文外推的频率插值方法）之间的相互作用。

实验结果

评估重点在于少样本上下文学习 (ICL)、分布外 (OOD) 困惑度以及长上下文检索 (RULER 基准测试)。

分布内性能： 与标准 RoPE 相比，RoVE 在训练上下文（1024 个标记）内一致地提高了核心 ICL 准确度和上下文困惑度。这表明，即使在没有外推的情况下，相对位置偏差也是有益的。
分布外 (OOD) 困惑度： RoVE 在高达 16k 标记的上下文长度下显著降低了困惑度。当与 YaRN 结合使用时，改进效果是叠加的，这表明两者解决了长上下文泛化中互补的方面。
长上下文检索： 在 RULER 基准测试（4k/8k 标记）中，RoVE 显示出显著增益，特别是在需要跨上下文进行信息维护和重组的任务（例如变量追踪、大海捞针）中。当 RoVE 与 YaRN 结合使用时，改进最为明显。

重要性与主张

论文声称，RoVE 通过纠正 RoPE 注意力中的结构不对称性，为大语言模型 (LLM) 提供了一种鲁棒的结构偏置。通过使值路径具有位置敏感性，RoVE 将计算机视觉、机器人技术以及近期 LLM 架构（如 DeepSeek-V4）中发现的各种独立形式的操作统一到了一个单一的理论框架之下：注意力卷积。

作者强调，RoVE 是一种无参数、高效的修改，能够提升不同规模模型及任务（尤其是需要长程聚合的任务）的性能。结果表明，值流中的相对位置感知是提高 Transformer 架构长上下文鲁棒性和检索能力的关键组成部分。