技术摘要：DéjàView——用于多视角 3D 重建的循环 Transformer

问题陈述

传统的多视角 3D 重建依赖于迭代式的运动恢复结构（SfM）流程，涉及特征匹配、位姿估计和光束法平差。最近的进展已转向前馈 Transformer，旨在单次传递中回归 3D 几何。然而，这些最先进模型的参数量已扩展至超过十亿，遵循了计算机视觉中模型容量不断增大的趋势。

作者认为，这些大型 Transformer 在深度上带来的性能提升可能源于隐式的迭代细化，而非独特的表示能力。证据表明，连续的 Transformer 层往往表现为相似操作的重复应用，且解码器层逐步细化预测结果。当前的架构通过为每一层使用独特的参数来低效地支付这种“迭代”成本。本文提出了一种架构需求，即显式地实现这一迭代过程，从而以显著更少的参数实现高质量重建，并具备在推理时权衡计算量与准确性的能力。

方法：DéjàView

核心架构

DéjàView 用单个循环 Transformer 块取代了深层的前馈 Transformer 堆栈，该块被循环应用 $K$ 次。

1. 初始化：各视角特征使用预训练的 DINOv2 编码器进行初始化。可学习的注册令牌（register tokens）和相机令牌被预添加到令牌序列中。
2. 循环循环：单个共享的 Transformer 块被应用 $K$ 次以处理不断演化的状态 $z_k$。该块包含两个注意力子块：
   • 帧注意力：利用 2D 旋转位置编码独立处理每个视角。
   • 全局注意力：在所有视角的所有令牌组成的联合序列上运行，实现跨视角推理。
3. 时间条件化：与先前基于离散步长索引进行条件化的权重绑定 Transformer 不同，DéjàView 基于连续时间区间 $(t_k, t_{k+1})$ 对块进行条件化。更新公式为：
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   这使得单一组权重能够覆盖一系列步数 $K$ 而无需重新训练。
4. 门控更新：该块采用由基于时间区间的零初始化 MLP 控制的通道级缩放向量（$s_{attn}, s_{mlp}, s_{out}$）。该设计调节了注意力、MLP 和残差流的更新。

训练策略

• 可变 $K$ 训练：在训练期间，每批次的细化步数 $K$ 从缩放至 $[K_{min}, K_{max}]$（例如 $[8, 16]$）的 Beta 分布中采样。这创建了一个可作为“计算旋钮”的单一检查点。
• 损失函数：模型直接使用预测几何进行监督，包含五个损失项：深度、射线、世界点和相机参数。在计算 $\ell_2$ 和 $\ell_1$ 损失之前，预测值通过逆缩放因子进行归一化。
• 两阶段深度训练：
  • 第一阶段：使用线性像素混洗深度头和纯 $\ell_2$ 损失进行端到端训练。
  • 第二阶段：将深度头替换为卷积头（以消除补丁边界伪影），并在冻结其他参数的情况下使用置信度加权损失对网络进行微调。

推理

在推理时，用户选择步数 $K_{inf}$。模型运行该单一共享块 $K_{inf}$ 次。如果 $K_{inf}$ 在训练范围 $[K_{min}, K_{max}]$ 内，模型保持高精度；如果 $K_{inf}$ 显著超出训练预算，性能则会下降。

动力学关键观察

作者将这种循环表征为方向性细化。状态并未收敛到特征空间中的固定点（范数 $\|z_k\|$ 单调增长）。相反，状态向量的方向趋于稳定，与最终状态的余弦相似度趋近于 1，且相对更新范数显著衰减。这使得解码器（使用前归一化）能够吸收范数的增长，而解码后的表示在方向上实现收敛。

主要贡献

1. DéjàView 模型：一种循环 Transformer 架构，将单个共享块循环应用于 DINOv2 初始化的特征，并基于连续时间区间进行条件化。
2. 可变 $K$ 训练配方：一种训练单一检查点的方法，支持一系列推理步数，无需重新训练即可将计算量暴露为可调节的旋钮。
3. 最先进的效率：该模型在五个基准测试（室内、室外、以物体为中心、驾驶）上实现了具有竞争力或更优的重建质量，其参数量仅为更大前馈基线的一小部分，计算量相当或更低。
4. 归纳偏置验证：实验表明，共享权重公式优于具有独立每步参数的相同变体，这表明对于多视角 3D 重建，带有权重共享的显式迭代比参数缩放具有更强的归纳偏置。

实验结果

本文在五个基准测试上评估了 DéjàView：DTU、ETH3D、7-Scenes、ScanNet++ 和 nuScenes。

• 准确性：DéjàView 在点图准确性（相对 $\ell_2$ 和内点比率）和相机位姿准确性（AUC@3° 和 AUC@30°）方面，匹配或超越了显著更大的模型（例如 VGGT-1B、Pi3、DA3-G）。例如，在 ScanNet++ 上，其在 AUC@3° 上比 VGGT-Ω-1B 高出近 50 分。
• 效率：
  • 参数量：DéjàView 使用 1.17 亿参数，而基线模型范围从 3.56 亿到超过 12 亿。
  • 计算量：对于 24 个视角，它需要 75.9 TFLOPs，与需要 2 到 10 倍更多计算量的基线相当或更低。
  • 内存：在 A100 上的峰值推理内存低于 5 GiB，显著低于许多基线。
• 消融研究：
  • 仅权重共享就能在参数量少 16 倍的情况下，优于解耦块的性能。
  • 时间条件的残差门和状态门提供了单调的改进。
  • 可变 $K$ 训练在相同的推理预算下，与固定 $K$ 的性能匹配度在约 2-3% 以内，验证了单一检查点的灵活性。

意义与主张

本文主张，参数缩放并非 3D 重建的唯一前进路径。通过通过共享的、时间条件的循环使迭代细化过程显式化，DéjàView 证明了：

1. 迭代可以是显式的：深度网络的益处可以通过重用单个块来实现，避免了独特层参数的冗余。
2. 计算量是一个旋钮：单一模型可以适应不同的推理预算（延迟/准确性权衡），而无需重新训练。
3. 共享权重更优越：共享权重公式比独立参数具有更强的归纳偏置，这表明当前最先进模型中的“深度”在很大程度上是迭代细化的代理，而非独特的表示能力。

作者指出了局限性：该模型在训练步数范围（$K_{max}$）之外泛化能力较差，且未显式处理动态场景。然而，这项工作确立了，仅需当前前馈巨型模型计算成本和模型规模的一小部分，即可实现高质量的多视角重建。