🤖 AI

DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers

本文指出，在规模扩大的多视图 Transformer 中，将旋转与平移存储在相同维度的值向量中会导致训练停滞，并提出了解耦位姿位置编码（DPPE）来显式分离这些组件，从而实现稳定的长期训练以及在未知视角合成任务中的卓越泛化能力。

原作者： Shun Kenney, Teppei Suzuki

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Shun Kenney, Teppei Suzuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教机器人如何进行 3D 视觉感知

想象一下，你正在尝试教一个机器人从不同的角度观察一个房间，并准确理解它所处的位置。为了实现这一目标，机器人使用了一个强大的 AI 大脑，叫做 Transformer。

在 AI 世界中，Transformer 非常擅长理解序列（比如句子中的单词），但它们天生并不了解空间或 3D 几何结构。为了解决这个问题，研究人员给机器人提供了“位置编码”——本质上是一套指令，告诉 AI：“这个像素来自左侧摄像头，”或者“这个图像部分距离 5 米远。”

长期以来，实现这一目标的最佳方法是给机器人一个综合指令，其中既包含了相机指向哪里（旋转 Rotation），也包含了相机站在哪里（平移 Translation）。论文将这种方法称为 PRoPE。

问题所在：“大脑中的交通堵塞”

研究人员尝试让这个 AI 大脑变得更大、训练时间更长（这个过程称为“规模化扩展/Scaling up”），以使其变得更聪明。他们预期性能会越来越好。然而，他们却撞到了天花板。

类比：
想象机器人的大脑是一个繁忙的办公室。“旋转”（相机看向哪里）和“平移”（相机站在哪里）是两位试图向同一个办公桌发送信息的不同员工。

在旧方法（PRoPE）中，这两位员工被迫将他们的信息写在同一张纸上，并且写在同一个列中。
起初，办公室经理（AI）还能分辨出是谁写了什么。
但随着办公室变得越来越忙碌（数据更多、训练更久），经理感到困惑了。信息混杂在一起。经理无法分辨出信息的改变是因为相机转动了，还是因为相机移动了。
结果： 机器人的学习停止了。它的性能进入了平台期，甚至随着训练时间的增加而变得更差。

解决方案：DPPE（解耦姿态位置编码）

作者 Shun Kenney 和 Teppei Suzuki 意识到问题的根源在于“旋转”和“平移”在同一个空间内是“耦合”（捆绑）在一起的。他们提出了一种名为 DPPE（解耦姿态位置编码）的新方法。

类比：
与其强迫两名员工共用一张办公桌，DPPE 为他们提供了两张独立的办公桌。

办公桌 A 专门用于“旋转”（相机看向哪里）。
办公桌 B 专门用于“平移”（相机站在哪里）。

通过将这两部分信息分离，AI 经理可以瞬间明白发生了什么。没有混乱，没有混淆，也没有交通堵塞。

研究发现

研究人员在一个名为“新视角合成”（Novel View Synthesis, NVS）的任务上测试了这种新方法。这就像是拍了几张房间的照片，然后要求 AI 从一个从未放置过摄像头的角度生成一张全新的照片。

稳定性： 当使用旧方法（PRoPE）时，AI 的性能会在训练到一定程度后崩溃。使用新方法（DPPE）时，即使经过大规模训练，AI 的性能也会持续提升。
更好的细节： 因为 AI 不再对相机位置感到困惑，它可以生成具有更清晰纹理和更精细细节的图像。
处理复杂情况： 新方法能更好地处理棘手情况，例如：
- 缩放（Zooming in）： 从非常近的距离观察场景。
- 多视角（Many viewpoints）： 当同时从 12 个不同角度观察一个场景时，尝试理解该场景。

两种改进变体

论文提供了两种略有不同的构建这些“独立办公桌”的方法：

DPPEtAdd： 这是“硬分离”方法。它在物理上将数据拆分为计算机内存中两个截然不同的部分——一半用于旋转，一半用于平移。在测试中，这种方法效果最好。
DPPEdual： 这是一种“数学分离”方法。它使用一种特殊的数学技巧（对偶投影矩阵）来保持信息的独立性，而无需物理上拆分内存。这种方法也表现得非常好，且具有更高的灵活性。

总结

论文指出，大型 3D 视觉 AI 模型之所以遇到瓶颈，是因为它们试图将两种不同类型的空间信息（旋转和平移）挤进内存中的同一个“插槽”。通过将它们分离（解耦），模型可以进行更大规模的扩展，进行更长时间的训练，并在不会产生混淆的情况下，生成更高质量的 3D 图像。

简而言之： 他们不再把“看向哪里”和“移动到哪”混为一谈，因此 AI 能够更清晰地观察 3D 世界。

技术摘要：DPPE：重新思考面向大规模多视图 Transformer 的基于相机的位置编码

问题陈述

Transformer 架构的可扩展性使其能够应用于 3D 计算机视觉，特别是新视角合成（NVS）任务。在这些多视图任务中，相机感知的位置编码（Positional Encoding, PE）对于提供空间线索至关重要。近期的研究方法（如 PRoPE，即 GTA 的泛化版本）利用相机参数（外参或投影矩阵）作为注意力机制中查询（query）、键（key）和值（value）向量内的相对位置编码。

然而，作者观察到在扩展 NVS 模型训练时，使用这些基于相机的编码存在一个关键瓶颈：在训练后期出现性能停滞和退化。虽然模型在初期会有所提升，但诸如 PSNR 等指标会在达到一定迭代次数（例如约 240k 次）后进入平台期并随后下降，这阻碍了充分实现规模化训练带来的收益。本文研究了这种不稳定性的根源，并假设当前将相机信息编码进值向量（value vectors）的方法存在一个识别问题（identification problem）。

研究方法

瓶颈调查

作者系统地将 PRoPE 编码分解为其组成部分：2D 补丁坐标、相机内参（ $K$ ）、旋转矩阵（ $R$ ）和平移向量（ $t$ ）。通过在 MVImgNet2 等数据集上的消融实验，他们发现性能退化特别与值输出位置编码（vo-pe）中旋转与平移的耦合有关。

从数学角度看，应用于值（ $v_j$ ）的标准基于投影矩阵的变换涉及项 $P_i P_j^{-1}$ 。展开后，旋转（ $R$ ）和平移（ $t$ ）分量被耦合在变换后的值向量的前三个维度中。作者证明，这种耦合使得旋转和平移参数在每个 token 层面是不可识别的（non-identifiable）。模型被迫通过聚合跨 token 的上下文线索来间接消除这些参数的歧义，这增加了学习过程的复杂性，并在长期训练期间导致了不稳定性。

提出的解决方案：解耦姿态位置编码 (DPPE)

为了解决这种不确定性，本文提出了解耦姿态位置编码（DPPE），它显式地分离了旋转和平移。文中引入了两种变体：

DPPEtAdd (加法解耦)：
- 该方法将 token 特征维度分为相等的两半。
- 前半部分专门用于旋转，通过涉及内参矩阵和旋转矩阵的乘法变换（ $K_i R_i$ ）进行编码。
- 后半部分专门用于平移，通过平移向量（ $t_i$ ）的加法注入进行编码。
- 至关重要的是，注意力机制会为旋转块和平移块分别计算独立的注意力权重，从而确保这两个几何组件不会干扰彼此的相似度计算。
DPPEdual (双投影矩阵)：
- 该变体在编码公式中使用其对偶形式 $P_i^{-T}$ 来替换标准的投影矩阵 $P_i$ 。
- 分析表明，虽然并非完全分离，但所得变换的前三个维度仅取决于旋转和内参，从而将平移的影响隔离到了第四个维度。
- 这种设计确保了旋转可以从前三个维度中唯一识别，而平移在给定旋转的情况下可以从第四个维度中被识别。

核心贡献

诊断训练不稳定性： 本文指出，将旋转和平移同时存储在值向量的相同维度中会导致不可识别性，这成为了扩展多视图 Transformer 训练规模的一个瓶颈。
DPPE 框架： 提出了一种新的位置编码方案，通过显式解耦旋转和平移，提供了两种变体（DPPEtAdd 和 DPPEdual）来解决可识别性问题。
理论分析： 通过形式化证明（命题 1–3）展示了标准基于投影的编码在逐 token 层面对于 $(R, t)$ 是非单射的，而 DPPE 恢复了单射性（可识别性）。
实证验证： 大量实验表明，DPPE 能够实现长达 320k 次迭代的稳定训练，而 PRoPE 和 GTA 等基准模型在约 240k 次迭代后会出现性能退化。

实验结果

训练稳定性： 在 MVImgNet2 数据集上，DPPE 在整个 320k 次迭代过程中保持了稳定的性能增长，而 PRoPE 的 PSNR 在 240k 次迭代后趋于停滞并开始下降。
性能指标： DPPE 各变体在多个数据集（MVImgNet2, RealEstate10K, SpatialVidHQ）上均一致优于 PRoPE 和 GTA。在 MVImgNet2 上，DPPEtAdd 比 PRoPE 的 PSNR 提升了超过 1.2 dB。
泛化与外推能力：
- 放大场景 (Zoom-in)： 与训练分布相比，DPPE 在处理增加焦距（放大）的情况时表现出更强的鲁棒性。
- 多变视角： 当输入视图的数量进行外推时（例如从 2 个视图增加到 12 个视图），DPPE 具有更好的泛化能力。
- 纹理恢复： 定性结果表明，得益于改进的相机参数消歧能力，DPPE 比基准模型能更好地恢复精细纹理并处理模糊的相机信息。
任务泛化： DPPE 的优势不仅限于 NVS，还扩展到了多视图深度估计任务（使用 VGGT 架构），在这些任务中，它同样能防止后期性能饱和。

重要性与主张

本文声称，这项工作的核心意义在于实现了多视图 Transformer 的稳定缩放。通过解决位置编码中参数可识别性的根本问题，DPPE 消除了此前限制 3D 视觉任务训练时长和模型容量的关键瓶颈。

作者强调，虽然在旋转和平移同时发生复杂变化的场景下（如 MVImgNet2）解耦带来的收益最为显著，但该方法为注意力机制提供了更稳健的几何基础。他们指出，在简单相机轨迹（如纯平移/摇摄）的场景中，解耦的重要性较低，但随着领域向更大规模和更多样化的训练语料库发展，耦合编码的局限性将变得日益严重。这项工作表明，确保相机参数在逐 token 层面具有可识别性，是实现大规模 3D 视觉模型完整潜力的先决条件。