🤖 machine learning

Positional Encodings Anchor Spatial Structure in Vision Transformers: A Geometric Perspective on Robustness

本文证明了视觉 Transformer 中的位置编码对于建立一个稳定的、以索引为锚定的空间结构至关重要，从而确保其能够抵御破坏内容的分布偏移，且这种作用与所使用的具体编码机制无关。

原作者： Mahmoud Mannes

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahmoud Mannes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将视觉 Transformer（ViT）想象成一群正在通过观察照片来破解谜团的侦探。这张照片被切成了许多小碎片（称为“Token”，即特征块）。这些侦探可以互相交流以分享线索，但问题在于，他们并不知道每个碎片在原图中原本属于什么位置。如果你把这些碎片以随机的顺序交给他们，他们会对场景感到困惑。

为了解决这个问题，我们通常会给每位侦探一个“名牌”或“座位号”（称为位置编码，Positional Encoding）。这会告诉他们：“你来自左上角，”或者“你来自右下角。”

这篇论文提出了一个简单但深刻的问题：当照片变得模糊或扭曲时，这些名牌对于侦探们破解谜题的效果究竟有多重要？

以下是研究人员发现的过程，通过日常类比进行了解释：

1. “幽灵”地图（没有名牌会发生什么？）

研究人员首先尝试观察，如果没有任何名牌，侦探们是否仅凭照片碎片本身就能推断出房间的布局。

发现： 令人惊讶的是，他们确实可以。如果侦探看到一块带有“天空”纹理的碎片，他们就知道它可能属于上方。如果看到“草地”，它就应该在下方。
代价： 这种“幽灵地图”非常脆弱。如果你把碎片打乱（就像洗牌一样），侦探们会立即失去方向感。他们的内部地图会瞬间崩溃，因为这个地图完全是建立在碎片的内容之上，而非其位置之上。

2. “锚点”效应（有了名牌会发生什么？）

接下来，他们给了侦探们不同类型的名牌（有些是团队学习到的，有些是预印好的，有些是旋转式的）。

发现： 当侦探们拥有名牌时，神奇的事情发生了。即使你把碎片打乱，团队仍然能记住：“嘿，碎片 #4 本该在左上角，即使它现在正坐在碎片 #10 旁边。”
隐喻： 把名牌想象成锚。没有它们，团队就像随波逐流的小船（受图像内容驱动）。有了它们，小船就被系在了码头上（索引/位置）。即使水流湍急或景色改变，小船依然能稳固在原处。

3. “洗牌测试”（他们是如何衡量的）

为了证明这一点，研究人员玩了一个叫做**随机置换（Random Permutation）**的把戏。

他们拿走了一个训练好的团队，打乱了拼图碎片的顺序，但仍将名牌保留在它们原始的座位上。
结果： 拥有名牌的团队仍然能够重建空间布局。而没有名牌（或名牌损坏）的团队则完全迷失了方向。
核心洞察： 名牌的类型并不重要（无论是学习到的、数学化的还是旋转式的）。重要的是，他们拥有一个稳定的参考框架。只要团队知道“座位 1 永远是左上角”，他们就能应对混乱。

4. 鲁棒性：为什么锚点能拯救局面

研究人员随后测试了这些团队在处理“糟糕照片”（如经过重度压缩或模糊的照片）时的表现。

“脆弱性”评分： 他们测量了团队失败的难易程度。
结果： 拥有稳定锚点（名牌）的团队要强韧得多。即使照片发生扭曲，他们仍能识别出物体。没有锚点（或锚点被打乱）的团队崩溃得更快。
转折： 事实证明，名牌的类型几乎没有影响。无论名牌是简单的数字还是复杂的旋转，团队的鲁棒性都一样。秘诀不在于名牌本身；而在于地图的稳定性。

5. “音量旋钮”实验

最后，他们尝试在不重新训练团队的情况下，调低名牌的“音量”（使其变弱）。

发现： 随着他们调低音量，团队维持空间地图的能力开始瓦解。
联系： 一旦“锚点”变得太弱，无法将团队固定在原处，他们处理扭曲照片的能力就会急剧下降。这证明了一个直接的联系：强大且稳定的位置地图 = 鲁棒且强韧的模型。

总结

这篇论文告诉我们，位置编码不仅仅是告诉 AI “哪里”有什么的华丽手段。它们充当了结构性的脊梁。

没有它们： AI 构建地图是基于事物“看起来像什么”。如果外观改变（模糊、噪声），地图就会破碎。
有了它们： AI 构建地图是基于事物“在哪里”。即使外观改变，地图依然稳固，因为碎片的“地址”没有改变。

最重要的启示是，一致性是关键。地址系统是复杂还是简单并不重要；它只需要是稳定且一致的，这样当周围的世界变得混乱时，AI 才不会迷失方向。

技术摘要：位置编码锚定视觉 Transformer 中的空间结构

问题陈述

视觉 Transformer (ViT) 缺乏卷积神经网络中存在的局部性和平移等变性的内置归纳偏置。因此，它们依赖于位置嵌入 (Positional Embeddings, PEs) 来注入空间信息，从而使模型能够根据位置区分 token。然而，PE 的功能作用仍存在歧义。先前的研究表明，即使在移除或降级 PE 的情况下，ViT 仍能保持相当高的性能，这表明空间结构可以仅从 patch 内容中部分涌现。

这产生了一个核心谜题：如果空间结构可以在没有显式位置引导的情况下产生，那么 PE 的具体作用是什么？现有的研究主要通过下游性能对比或架构变体来解决这一问题，却忽略了 PE 对内部表示几何结构的机械性影响，以及它与分布偏移下的鲁棒性之间的具体关系。

研究方法

作者采用几何视角来分析 PE 如何塑造整个 Transformer 堆栈中的 token 表示。该方法依赖于三个核心组件：

空间相似度距离相关性 (Spatial Similarity Distance Correlation, SSDC)：
一种用于量化空间结构的创新指标。SSDC 计算 token 对之间的 token 相似度矩阵 ( $S$ ) 与负空间距离矩阵 ( $D$ ) 之间的 Spearman 秩相关性。
$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$
较高的 SSDC 值表示空间邻近的 token 具有更相似的表示。作者使用 SSDC 作为比较代理，以追踪随深度变化的情况以及对干预的敏感性，而非将其作为特定机制的绝对度量。
排列干预 (Permutation Interventions)：
为了区分基于索引的（锚定在 token 位置）和基于内容的（由视觉 patch 内容驱动）空间组织，作者采用了两种干预措施：
- 推理时随机排列 (Random Permutation at Inference, RPI)： 在推理时打乱 token 顺序，但保持位置索引固定。这打破了 token 内容与空间位置之间的联系。如果空间结构持续存在，则它是基于索引的；如果空间结构崩溃，则它是基于内容的。
- 训练时随机排列 (Random Permutation Training, RPT)： 在训练期间的每次前向传播中打乱 token，但保持 PE 固定在原始索引上。这防止了模型学习一致的“索引-位置”映射，有效地破坏了稳定的位置参考框架。
鲁棒性评估：
作者使用内容破坏型分布偏移（JPEG 压缩和高斯模糊）来评估模型，并使用脆弱性得分 (Fragility Score, FS)，定义为准确率的相对下降（ $1 - A_{shift}/A_{normal}$ ）。
位置缩放 (Positional Scaling)：
为了探测空间组织与鲁棒性之间的因果联系，作者在推理时将学习到的绝对位置嵌入 (APE) 的幅度乘以因子 $\alpha \in [0, 1]$ 。这允许在不重新训练的情况下，连续地降解基于索引的空间信号。

核心贡献与结果

1. 无 PE 情况下的内容驱动结构涌现

即使在没有 PE 的模型（“消融”模型）中，训练过程中也会涌现出非平凡的空间结构。然而，这种结构是内容驱动的。在 RPI 下，消融模型的 SSDC 在所有层中都趋于接近零，这表明它们的空间组织完全依赖于 patch 内容，并且在内容-位置对应关系被破坏时失效。

2. PE 诱导索引锚定的空间组织

使用 PE 训练的模型（学习型绝对位置嵌入、正弦位置嵌入和旋转位置嵌入/RoPE）表现出向索引锚定的空间组织转变的明显趋势。

在 RPI 下，这些模型显示出显著的 SSDC 恢复，表明即使在 patch 内容被置换时，它们的表示仍部分锚定在 token 索引上。
深度轨迹： 虽然所有 PE 类型都诱导了这种转变，但它们在结构发展方式上有所不同：
- APE 和正弦位置嵌入： 在早期层表现出 SSDC 的快速增加，表明通过加性信号进行早期空间结构的注入。
- RoPE： 在整个深度上表现出渐进、连续的结构积累，这与其通过乘法集成到注意力机制中的方式一致。

3. 稳定参考框架的首要性

研究表明，存在一个稳定的位置参考框架是鲁棒性的关键因素，而非特定的编码机制。

RPT 模型： 尽管存在 PE，但使用 RPT 训练（即索引-位置映射不一致）的模型在 RPI 下无法恢复 SSDC，并且表现出与消融模型类似的脆弱性得分。
结论： 仅仅存在 PE 是不够的；模型必须学习一种一致的 token 索引与空间位置之间的映射，才能实现鲁棒性。

4. 鲁棒性与基于索引的组织相关

空间组织的稳定性（基于索引）与对内容破坏型偏移的鲁棒性之间存在强相关性：

脆弱性得分： 具有稳定索引锚定组织的模型（APE、正弦、RoPE）在 JPEG 压缩下的脆弱性（ $\sim 0.30–0.43$ ）明显低于消融或 RPT 模型（ $\sim 0.66$ ）。
次要差异： 虽然所有基于 PE 的模型都是鲁棒的，但 RoPE 始终获得最低的脆弱性，这表明编码机制起到了次要作用，可能是由于其随深度的渐进式集成。
缩放实验： 当减小 APE 的幅度 ( $\alpha$ ) 时， $\Delta SSDC$ （空间结构的恢复）发生坍塌，且脆弱性急剧上升。一旦空间组织被完全破坏 ( $\alpha \le 0.4$ )，脆弱性趋于平缓。这证实了鲁棒性的下降与空间结构的丧失是同步的。

意义与主张

本文提供了关于视觉 Transformer 中位置编码如何发挥作用的几何解释。作者主张：

鲁棒性取决于参考框架： 对内容破坏型偏移的鲁棒性的主要驱动力是建立一个稳定的、索引锚定的空间组织，而不是特定的 PE 数学形式（无论是学习型还是固定的，是加性的还是乘性的）。
基于干预的证据： 通过受控干预（RPI、RPT、缩放）识别了空间组织与鲁棒性之间的关系。作者明确指出，虽然证据有力，但这识别的是一种相关性，而非严格隔离的因果机制。
设计启示： 未来的编码方案应优先考虑建立一致的位置参考框架的能力。具体的编码机制并不如训练期间学习到的“索引-位置”映射的稳定性那样重要。

作者对泛化性保持谨慎，指出这些发现是基于从头开始在 ImageNet-100 上训练的 ViT-S 模型，且鲁棒性评估针对的是内容破坏型扰动，不一定适用于对抗性偏移或语义分布变化。