🤖 AI

Rotary Position Encodings for Graphs

本文引入了波感应旋转编码（Wave-Induced Rotary Encodings, WIRE），这是一种通过基于图拉普拉斯谱旋转标记，从而将结构信息有效注入注意力机制，同时保持与线性注意力机制的兼容性并能在网格上恢复标准 RoPE 的新颖方法，旨在将旋转位置编码适配于图结构数据。

原作者： Isaac Reid, Arijit Sehanobish, Cederik Höfs, Bruno Mlodozeniec, Leonhard Vulpius, Federico Barbero, Adrian Weller, Krzysztof Choromanski, Richard E. Turner, Petar Veličković

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Isaac Reid, Arijit Sehanobish, Cederik Höfs, Bruno Mlodozeniec, Leonhard Vulpius, Federico Barbero, Adrian Weller, Krzysztof Choromanski, Richard E. Turner, Petar Veličković

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：给一个无定形的城市指路

想象一下，你正在教一个机器人理解一座城市。

在短信中： 机器人知道“你好”出现在“世界”之前。它是一条直线。机器人很容易知道事物的位置，因为它们是有序序列（第1个、第2个、第3个）。
在照片中： 机器人知道“左上角”不同于“右下角”。它是一个网格。
在图（Graph）中（问题所在）： 现在，想象这座城市是一个杂乱的连接网络。有些房子通过短路径相连，有些则通过漫长的蜿蜒道路相连。有些房子在一个紧密的圈里，有些则离得很远。这里没有“左上角”，也没有“第1个、第2个、第3个”。它是一个无定形的网络。

机器人（Transformer AI）擅长阅读直线和观察网格，但它会被这个杂乱的网络搞糊涂，因为它不知道这些碎片是如何相互关联的。它需要一种方法来表达：“嘿，这个节点离那个节点很近”，而不仅仅是死记硬背一个列表。

解决方案：WIRE（“波浪”指南针）

作者创造了一种名为 WIRE（波导旋转编码，Wave-Induced Rotary Encodings）的新工具。把它想象成给了机器人一个能在任何形状的城市中工作的特殊指南针。

以下是它的工作原理，分步详解：

1. 聆听城市的“嗡鸣声”（频谱）

每种形状都有独特的“振动”或“嗡鸣声”。

如果你拨动一根吉他弦，它会以特定的频率振动。
如果你观察一个图（这个杂乱的城市），它也有自己的振动。这些被称为特征向量（eigenvectors，一个高级数学术语，意为跨越网络的“波浪形状”）。
类比： 想象这个图是一个蹦床。如果你在某一点跳跃，整个蹦床都会产生涟漪。那些“低频”涟漪会在整个蹦床上缓慢移动（展示宏观结构），而“高频”涟漪则会在仅有的几个点之间快速上下抖动（展示微观细节）。

WIRE 聆听这些涟漪。它提取前几个“低频”涟漪，并利用它们来确定每个节点相对于整体结构的相对位置。

2. 神奇的旋转（旋转编码）

一旦机器人知道了节点的“涟漪位置”，WIRE 就会做一件聪明的事：旋转数据。

类比： 想象机器人持有的每一份信息（token）都是一个小箭头。
在普通的 AI 中，箭头只指向一个方向。
在使用 WIRE 时，机器人会根据该节点在图中的“涟漪位置”来旋转这个箭头。
- 如果两个节点在图中靠得很近，它们的箭头旋转的角度就非常接近。
- 如果它们离得很远，它们的箭头旋转的角度就会截然不同。

当机器人比较两个节点时（询问：“这两个节点属于同一类吗？”），它会检查箭头是否对齐。因为箭头是根据图的形状进行旋转的，机器人即使没有地图，也能瞬间“感觉到”它们之间的距离和连接。

为什么这比旧方法更好？

论文将 WIRE 与两种旧方法进行了对比：

“地址簿”法（绝对位置）： 你给每个节点一个固定的 ID 数字（1, 2, 3...）。
- 缺陷： 如果城市的形状改变了，ID 数字就失效了。它是僵化的。
“距离计算器”法（相对位置）： 你计算每对节点之间的精确距离并记录下来。
- 缺陷： 这太慢了。如果你有 1,000 个节点，你就必须记录 1,000,000 个距离。这就像试图记住城市中每两座房子之间所有可能的行程一样。这对计算机来说负担太重，难以处理。

WIRE 的超能力：
WIRE 就像一个神奇的指南针。它不需要写下每一个距离。它只是旋转箭头。

它很快： 它能与“线性注意力机制”（Linear Attention）配合使用，这意味着它可以处理巨大的图，而不会导致计算机崩溃。它不需要计算那个庞大的距离列表。
它很聪明： 它能自然地理解，基于“有效电阻”（一个类似于在两点之间旅行有多难的数学概念），距离较远的节点应该被区别对待。

“网格”测试

作者证明了，如果你取一个完美的网格（比如棋盘或照片），WIRE 会转化为与处理文本和图像效果极佳的工具（称为 RoPE）完全相同的工具。这意味着 WIRE 是一个既能在网格上运行，也能在杂乱网络上运行的“超级版本”。

结果：它真的有效吗？

作者在三类任务上测试了它：

合成谜题： 他们构建了虚构的图，并要求 AI 找到最大的连接房屋组或计算最短路径。
- 结果： 比起没有指南针的 AI，WIRE 更好地解决了这些谜题。
3D 点云： 他们将其用于 3D 形状（如代表椅子或汽车的点云）。
- 结果： 它帮助 AI 更好地理解物体的形状。
现实世界图： 他们在标准基准测试（如预测化学性质或社交网络模式）上进行了测试。
- 结果： WIRE 持续提高了 AI 的准确性，有时甚至缩小了快速、简单 AI 模型与缓慢、复杂模型之间的差距。

总结

WIRE 是一种教 AI 如何理解杂乱、相互连接的数据（图）的新方法。它不是试图去死记硬背一张连接地图，而是通过聆听形状的“振动”并据此旋转数据。这使得 AI 对结构的理解更聪明、运行更快，并且能够处理以前难以处理的巨大网络。

技术摘要：用于图的旋转位置编码 (WIRE)

问题陈述

Transformer 高度依赖位置编码 (PE) 来捕捉 token 之间的空间或拓扑关系。虽然旋转位置编码 (RoPE) 因其通过 token 旋转注入相对位置信息的能力，已成为大语言模型 (LLM) 和视觉 Transformer (ViT) 的标准，但其在图结构数据上的应用仍有待深入探索。

图缺乏规范的坐标系，这使得“位置”和“距离”的定义变得非平凡（non-trivial）。现有的图位置编码 (PE) 通常分为两类：

绝对位置编码 (APE)： 通常基于图拉普拉斯特征向量。虽然它们捕捉了结构信息，但通常表现不如相对方法，且缺乏特定的不变性属性。
相对位置编码 (RPE)： 通常实现为添加到注意力 logits 中的偏置（例如，基于最短路径距离或有效电阻）。虽然这些方法很有效，但它们需要实例化完整的 $N \times N$ 注意力矩阵，这使得它们与线性注意力机制（其复杂度为 $\mathcal{O}(N)$ ）不兼容，并阻碍了高效的 KV 缓存（KV-caching）。

本文提出的问题是：旋转位置编码可以在多大程度上应用于图结构数据？

方法论：波诱导旋转编码 (WIRE)

作者提出了 WIRE (Wave-Induced Rotary Encodings)，这是一种通过利用图谱（graph spectrum）将 RoPE 适配于图的方法。

核心算法

谱特征提取： 计算图拉普拉斯矩阵 $\mathbf{L}$ 的前 $m$ 个最小特征向量 ( $\mathbf{u}_k$ ) 和特征值 ( $\lambda_k$ )。
坐标定义： 将每个节点 $i$ 的谱特征定义为一个向量 $\mathbf{r}_i$ ，该向量由这些特征向量中的节点值组成（例如， $\mathbf{r}_i = [\mathbf{u}_k[i]]_{k=0}^{m-1}$ ）。
旋转变换： 使用这些谱坐标对查询 ( $\mathbf{q}_i$ ) 和键 ( $\mathbf{k}_i$ ) 向量应用标准的 RoPE 旋转：
$\mathbf{z}_i \to \text{RoPE}(\mathbf{r}_i)\mathbf{z}_i$
其中 $\text{RoPE}(\mathbf{r}_i)$ 根据谱坐标旋转 token 向量的 2D 块。

理论特性

论文为 WIRE 建立了以下理论保证：

置换等变性 (Permutation Equivariance)： WIRE 在节点重排序下是等变的（在退化子空间中的符号翻转和旋转除外），这是图学习的一项必要属性。
恢复标准 RoPE： 在网格图（笛卡尔积路径图）上，WIRE 能够恢复 LLM 和 ViT 中使用的标准 RoPE 行为。网格上的谱坐标与空间坐标呈单调对应关系，有效地将其归一化到 $(-1, 1)$ 范围内。
有效电阻依赖性： 从理论上讲，当 WIRE 频率被随机采样时，预期的变换会按节点间有效电阻的比例降低查询-键的注意力分数。有效电阻是一个作为最短路径距离下界的度量。
线性注意力兼容性： 与基于偏置的 RPE 不同，WIRE 直接修改 token（查询和键）而非注意力 logits。这使得 WIRE 可以与线性注意力机制（如 Performer）一起使用，而无需实例化完整的注意力矩阵，从而保持 $\mathcal{O}(N)$ 的缩放效率。

核心贡献

引入 WIRE： 一种新型的图位置编码，通过使用图拉普拉斯特征向量作为位置坐标来推广 RoPE。
理论分析：
- 证明了 WIRE 在网格图上能恢复标准 RoPE。
- 论证了 WIRE 隐式地根据图有效电阻调节注意力，提供了一种有原则的拓扑归纳偏置。
- 确立了与线性注意力的兼容性，这是此前基于电阻的相对编码所不具备的特性。
实验验证： 在合成任务、点云数据和标准图基准测试中进行了广泛实验。

实验结果

作者训练了 200 多个 Transformer 模型来评估 WIRE：

合成任务：
- 单色子图 (Monochromatic Subgraphs)： 与没有 WIRE 的基线相比，WIRE 显著降低了测试 RMSE，尤其是在图拓扑变得更加复杂（从网格中删除边）时。
- 最短路径预测： 在 Watts-Strogatz 图上，与仅使用 APE 的基线相比，WIRE 将测试 RMSE 几乎减半，充分利用了其对有效电阻的依赖性。
点云 Transformer： 应用于 ModelNet40（分类）和 ShapeNet（分割）。WIRE 相比标准 PCT 基线提供了持续的增益，并达到或超过了笛卡尔 RoPE 的效果，同时保持了 SE(3) 不变性。
图基准测试 (GNN 任务)：
- 在包括 MNIST、CIFAR-10、PATTERN、CLUSTER 和 OGB 数据集（如 ogbg-molhiv）在内的数据集上进行评估。
- 使用 Performers（线性注意力），WIRE 始终比基线提高了性能。
- 值得注意的是，WIRE 通常能缩小高效线性注意力模型与昂贵的满秩 Softmax Transformer 之间的性能差距。例如，在 MalNet-Tiny 上，支持 WIRE 的 Performer 实现了与全秩 Transformer 相当的准确率，但可以在单块 T4 GPU 上进行训练。
效率： WIRE 的参数量不到总模型参数的 1%。该方法与各种注意力机制兼容，包括 Softmax、线性 (Performer)、SGFormer 和 BigBird。

重要性与主张

论文声称 WIRE 成功弥合了 RoPE 在序列和图像数据中的成功与图结构数据需求之间的鸿沟。其主要意义在于：

可扩展性： 它使得在线性注意力模型中使用强大的结构归纳偏置（如有效电阻）成为可能，这在之前基于偏置的 RPE 中是无法实现的。
性能： 它提升了 Transformer 在图任务上的准确性，通常允许高效的线性模型达到甚至匹配更耗费计算资源的 Softmax 型模型的性能。
理论基础： 它提供了一种在数学上有原则的方法，将图拓扑注入注意力机制，在恢复网格已知行为的同时，也为通用图上的有效电阻提供了新的见解。

作者总结道，WIRE 是现有图 Transformer 架构的一种即插即用式补充，它提供了一种轻量级且有效的结构归纳偏置，并引发了将旋转编码推广到其他数据模态的进一步研究。