技术摘要：抛物线位置编码（PaPE）

问题陈述

视觉 Transformer（ViTs）已在计算机视觉领域占据主导地位，但其位置编码往往源自自然语言处理（NLP）架构。语言本质上是 1 维的，且对几何方向 largely 不敏感，而视觉模态（图像、视频、事件流、点云）则具有独特的空间特性。现有将位置编码适配到 $n$ 维视觉结构的方法，往往未能充分考量这些特性，例如平移不变性、旋转不变性、距离衰减、方向性以及上下文感知。此外，许多当前方法难以有效外推到显著高于训练分辨率的场景，限制了其在多分辨率场景下的鲁棒性和适用性。

方法论：抛物线位置编码（PaPE）

作者提出了抛物线位置编码（PaPE），这是一种专为视觉模态设计的位置编码，基于五个提炼出的设计原则：

1. 平移不变性：编码依赖于 Token 之间的相对位置，而非其绝对坐标。
2. 旋转不变性（PaPE-RI）：一种特定的实现形式，其中编码在旋转下保持不变（尽管这以牺牲方向性为代价）。
3. 距离衰减：随着 Token 间距离的增加，注意力强度减弱。
4. 方向性：编码考虑了 Token 之间的具体方向（例如上、下、对角线），这对视觉至关重要，但在 1 维语言中相关性较低。
5. 上下文感知：距离衰减和方向性的强度由 Token 本身的内容进行调制，使模型能够适应局部与长程交互。

数学公式

PaPE 将相对位置 $\Delta r_{ij} = W_p(r_j - r_i)$ 建模为 $m$ 个可学习抛物线之和中的因变量。注意力分数 $S_{ij}$ 分解为三个部分：
$$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$$
其中：

• $\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ 编码距离衰减。系数 $a_i$ 通过可学习的投影和 softplus 激活（取负）从 Token 内容 $x_i$ 导出，以确保 $a_i < 0$，从而强制凹性。
• $\langle b_i, \Delta r_{ij} \rangle$ 编码方向性。系数 $b_i$ 同样从 $x_i$ 导出。
• $\langle q_i, k_j \rangle$ 代表标准的语义注意力。

旋转不变变体（PaPE-RI）

为了实现旋转不变性，PaPE-RI 施加了约束：$b_i = 0$（移除方向性），$a_i$ 为标量 $\alpha_i < 0$，且投影矩阵 $W_p$ 为缩放后的单位矩阵。这将距离项简化为欧几里得距离平方的函数，该函数具有旋转不变性。

与高效内核的兼容性

一项关键的技术贡献是推导了独立的查询（Query）和键（Key）变换（$f_q$ 和 $f_k$），使得 PaPE 可以在不实例化完整的 $N \times N$ 注意力矩阵的情况下进行计算。这确保了其与 FlashAttention 等高效注意力内核的兼容性。这些变换直接将位置信息注入查询和键向量中，将头维度增加了 $p^2 + 2p + 2$（其中 $p$ 是空间维度），对于 $p=2$ 或 $p=3$ 而言，这是一个适度的开销。

主要贡献

1. 新颖的编码：引入了 PaPE 和 PaPE-RI，这是首批基于平移/旋转不变性、距离衰减、方向性和上下文感知相结合原则推导出的位置编码。
2. 效率：证明了 PaPE 通过独立的查询 - 键变换与高效注意力内核兼容，避免了完整注意力矩阵实例化的计算瓶颈。
3. 外推能力：证据表明 PaPE 在分类任务中表现出卓越的外推能力，在无需额外训练或插值的情况下，在远超训练分辨率的分辨率下仍能保持性能。
4. 通用性：在涵盖 4 种视觉模态（视频、事件相机、图像和点云）的 8 个数据集上验证了 PaPE，结果显示其性能达到或超过了最先进（SOTA）的基线。

实验结果

分类外推

在ImageNet-1K上，在 $224^2$ 分辨率下训练的模型在未重新训练或进行位置插值的情况下，被评估至 $1024^2$ 分辨率。

• PaPE 在 $1024^2$ 分辨率下达到了 74.9% 的准确率，比次优基线（LookHere）高出 10.5%（LookHere 为 64.4%）。
• 相比之下，标准基线如 nD-sincos 和 RoPE 变体在更高分辨率下性能显著下降。
• 作者将这一成功归因于 PaPE 的上下文感知特性，它允许模型动态调整位置衰减。

通用视觉位置编码

在 8 个数据集（UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes）上的评估结果如下：

• 平均性能：PaPE 取得了最高的平均分数（66.3），比次优方法（RoPE）高出 1.0 分。
• 数据集获胜：PaPE 在 5 个数据集上与最佳基线持平，并在 2 个数据集（UCF101 和 GEN1）上超过了所有基线。
• 时空数据：PaPE 在 UCF101（49.5% 对比 RoPE 的 43.9%）和 GEN1 上显示出特别显著的提升，表明其方向性和上下文感知对于快速移动物体和基于事件的数据至关重要。
• 点云：在 ScanNet 上，PaPE 的表现不如绝对编码（nD-sincos），这表明对于具有特征绝对尺寸的室内场景，绝对位置信息可能是有益的。相反，在 ModelNet40（孤立物体）上，平移不变编码的表现优于绝对编码。

鲁棒性与效率

• 分布外（OOD）：在 ImageNetV2 和 ImageNet-Renditions 上，PaPE 的性能下降幅度并未超过基线，证实了上下文感知不会损害泛化能力。
• 参数匹配：当调整基线以匹配 PaPE 的参数数量时，PaPE 仍保持了其性能优势，表明这些增益并非 solely 源于模型容量的增加。
• 效率：PaPE 引入了适度的资源增加（对于 $m=50$，VRAM 和 FLOPS 增加 7–20%），但仍与标准的高效注意力实现兼容。

意义与主张

该论文声称，PaPE 代表了一种通用视觉位置编码，弥合了源自语言的编码与视觉特定几何需求之间的差距。

• 外推能力：作者声称 PaPE 提供了“显著的”外推能力，在高分辨率下将绝对指标比次优方法提高了多达 10.5%，这是降低训练成本并实现鲁棒多分辨率推理的关键因素。
• 原则性设计：通过明确针对平移不变性、距离衰减、方向性和上下文感知进行设计，PaPE 解决了先前适配中对视觉特性“不完整”覆盖的问题。
• 多功能性：在多样化模态（从 2D 图像到 3D 点云和异步事件流）上的结果表明，PaPE 为视觉 Transformer 提供了一种统一且鲁棒的解决方案，为位置编码研究开辟了新路径。

作者对局限性保持了谦逊，指出参数和资源使用量随超参数 $m$ 适度增加，并建议未来的工作可专注于减少 $m$ 或将 PaPE 更深入地集成到高效内核中。