💻 computer science

Diversity-aware View Partitioning for Scalable VGGT

本文提出了一种无需训练、即插即用的框架，该框架通过组合图划分将视图划分为具有多样性感知且平衡的块，从而增强了 VGGT 的可扩展性，在降低计算成本并缓解冗余视图导致的性能下降的同时，提升了 3D 重建质量。

原作者： Jinsoo Park, Donggyu Choi, Ahyun Seo, Minsu cho, Jeany Son

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinsoo Park, Donggyu Choi, Ahyun Seo, Minsu cho, Jeany Son

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但有点不知所措的机器人去理解一个 3D 房间。你拥有成千上万张从略微不同角度拍摄的该房间照片。机器人的任务是同时观察所有这些照片，并弄清楚每张照片拍摄时的相机位置，以及这个房间的 3D 形状。

这篇论文介绍了一种新的组织照片的方式，让机器人的工作变得更容易、更快、更准确。以下是使用简单类比进行的拆解：

问题所在：“过多相似照片”的陷阱

这个机器人（被称为 VGGT）功能强大，但它有一个弱点：如果你给它太多看起来几乎完全相同的照片，它就会感到困惑。

类比： 想象一下，你正试图通过看一叠 1,000 张照片来猜测一座山的形状。如果其中 900 张照片拍摄的位置几乎完全一样，仅仅相差几英寸，机器人就会浪费脑力去比较这些近乎相同的图像。它会被这种重复性“分散注意力”，从而忽略了那些真正有助于它理解 3D 形状的重要线索（例如视角之间的巨大差异）。
结果： 当你给机器人输入一段冗长且重复的照片序列时，它不仅会变慢，而且表现会变得更差。由于尝试将每张照片与每一张照片进行比较，这会导致数学计算量呈指数级增长，从而导致它耗尽内存（RAM）。

解决方案：“多样性派对”

作者提出了一种聪明的、免费的技巧，叫做多样性感知视图划分（Diversity-aware View Partitioning）。他们并没有把照片乱七八糟地堆给机器人，而是像一位派对策划师一样，将宾客组织成规模小且均衡的小组。

目标： 他们希望确保在每一个小组（或“块”）内部，照片彼此之间尽可能地不同。
类比： 与其把 100 个长得完全一样的人放在一个房间里，策划师会将他们分类，确保每个房间都有高个子、矮个子、戴眼镜的人和戴帽子的人。这样，机器人就能看到“房间”的全貌，而不会因为重复而感到厌烦。

他们是如何实现的（神奇的技巧）

1. “长相识别器”（视觉差异性）
首先，系统会观察照片并询问：“这些照片看起来有多不同？”它使用一个预训练的 AI（DINOv2）来测量每对照片之间的视觉差异。

简单版本： 它将看起来非常不同的照片组合在一起，确保每个小组都有丰富的视角变化。

2. “猜猜我们在哪”策略（软姿态传播）
棘手的部分在于，机器人还不知道相机的确切位置（姿态）。通常，你需要知道位置才能知道照片在空间上相距多远。

类比： 想象你在一个黑暗的房间里，想知道每个人的站位，但你看不到他们。于是你问一个人：“你在哪？”然后你根据其他人与第一个人的相似程度，来推测其他人的位置。
论文的技巧： 他们挑选一小组易于处理的照片，先让机器人解决这些照片，以获得相机位置的大致概念。然后，他们根据视觉相似性将这一信息“传播”到其余的照片中。这虽然不是完美的 GPS 地图，但足以作为一个良好的“草图”，帮助组织分组。

3. “平衡交换”（图划分）
一旦有了关于视觉差异和空间位置的初步概念，他们就会使用一种数学算法（基于 Kernighan–Lin 算法）来重新排列照片。

类比： 这就像是一场抢座位的游戏，目标是确保每张桌子上都坐着来自不同距离的人。算法会不断在小组之间交换照片，直到每个小组都达到完美的平衡和多样性。

结果：更快、更小、更好

通过在这种方式组织照片，在机器人开始工作之前，这篇论文声称取得了三大胜利：

它能处理海量照片： 机器人现在可以处理数千张图像而不会崩溃（耗尽内存），而这在以前是做不到的。
它更快： 因为机器人不再浪费时间比较完全相同的照片，所以它完成工作的速度更快。
它更准确： 由于每组照片都有不同视角的良好组合，机器人构建出的 3D 模型更加清晰、更详细。

总结

这篇论文并没有发明一个新的机器人；它发明了一种更好的喂养机器人的方式。通过将输入的照片分类为多样化、平衡的小组，他们阻止了机器人因重复而感到不知所措。这使得现有的技术能够扩展到大规模项目（如重建整个城市或长视频序列），而无需更改机器人的大脑或购买更昂贵的计算机。

技术摘要：面向可扩展 VGGT 的多样性感知视图划分

1. 问题陈述

几何 Transformer，特别是 VGGT（视觉几何基础 Transformer），通过在全局注意力机制下对多视图进行联合推理，已在 3D 场景重建领域建立了强大的性能。然而，将这些模型扩展到大规模图像集合面临两个主要瓶颈：

计算可扩展性： 全局注意力机制相对于输入 Token 数量呈二次方增长计算和内存成本。随着帧数的增加，这种成本会迅速变得难以承受，限制了其在包含数千张图像的序列上的部署。
视角冗余与性能退化： 实证分析揭示了一个反直觉的现象：仅仅增加输入视图的数量反而会导致重建质量下降。在密集采集场景中，许多视图是视觉冗余的（近乎重复）。在 VGGT 中，这些冗余视图引入了高度相似的 Token，从而稀释了注意力机制中的信息性几何信号（如视差和遮挡）。这导致了“注意力稀释”现象，即模型难以聚焦于具有几何信息量的线索，从而导致更高的重建误差和数值不稳定性，即使在计算资源充足的情况下也是如此。

现有的效率策略（如 Token 合并、稀疏注意力）解决了内存问题，但并未解决根本的视角分布问题。此外，顺序分块方法通常依赖于时间顺序和闭环约束，限制了它们在无序图像集合中的适用性。

2. 方法论

作者提出了 DA-VGGT，这是一个无需训练、即插即用的推理框架，旨在将输入视图重新组织为具有多样性感知且平衡的块（chunks）。其核心假设是：在有限的注意力容量下，通过最大化每个处理块内的视角多样性，可以使 Transformer 提取出更强的几何线索，从而同时提高准确性和效率。

该框架由四个主要阶段组成：

A. 视觉多样性感知初始划分

由于初始化时无法获取相机位姿，该方法首先仅基于视觉差异性对帧进行划分。

特征提取： 它复用了冻结的 DINOv2 编码器（内置于 VGGT 中）来提取每一帧的 Patch 嵌入。
差异度度量： 帧由均值池化的描述符表示。成对的视觉差异度 ( $\delta_{ij}$ ) 计算为 $1 - \text{余弦相似度}$ 。
图划分： 该问题被建模为一个组合优化问题，旨在最大化块内多样性的同时保持均衡的块大小。作者采用了受 Kernighan–Lin (KL) 算法启发的贪婪局部交换策略。从一个随机的均衡拆分开始，如果交换能增加总体的块内多样性得分，则在块之间进行帧交换。

B. 用于空间分散的软位姿传播

为了在不运行全量帧完整位姿估计（这会非常昂贵）的情况下引入空间信息，该方法引入了软位姿传播策略：

种子位姿估计： 首先通过 VGGT 处理一个参考块，以获得这些帧的伪相机位姿。
传播： 对于剩余的帧，通过基于视觉相似性的信息传播来近似其位姿。具体而言，新帧的平移向量是参考位姿的加权和，权重由视觉相似度得分的 Softmax 函数决定。
空间分散： 这些伪位姿被用于计算成对的空间分散矩阵 ( $\rho_{ij}$ )，为空间距离较远的帧分配更高的分数。

C. 多样性感知划分精炼

初始的视觉划分通过将视觉差异度和空间分散度结合成统一的得分矩阵 ( $\hat{U}_{ij} = \delta_{ij} + \epsilon \cdot \rho_{ij}$ ) 进行精炼。随后再次应用 KL 局部搜索来优化划分，确保每个块包含既具有视觉差异性又具有空间分散性的视图。在精炼过程中，参考块保持固定。

D. 推理与全局对齐

优化后的块由 VGGT 独立处理。为了确保全局一致性：

共享锚点： 在推理前，一个共享的锚点帧（通常是第一帧）会被插入到每个块中。
对齐： 由于所有块都共享一个共同的参考帧，可以通过锚点帧的预测位姿进行 SE(3) 变换，将各块的单独预测对齐到全局坐标系中，而无需额外的全局优化或闭环检测。

3. 核心贡献

实证洞察： 本文指出视角分布是多视图几何 Transformer 的关键因素。研究表明，在没有足够多样性的情况下增加视图数量会因注意力稀释而降低性能。
无需训练的框架： 这是一种通过视觉和空间多样性的组合图优化来重新组织输入的即插即用方法，无需重新训练模型。
软位姿传播： 一种新颖的策略，仅通过少量种子帧和视觉相似性即可近似空间关系，避免了需要地面真值位姿或完整的 SfM 流水线。
可扩展性与兼容性： 该框架可以补充现有的高效 VGGT 变体（如 LiteVGGT、FasterVGGT），并使长序列及无序序列的扩展重建成为可能，而这些序列在基准方法中会因内存限制（OOM）或精度下降而失败。

4. 实验结果

研究者在六个数据集（7Scenes, NRGBD, Bonn, ScanNet-50, TUM-RGBD, Tanks&Temples）上针对相机位姿估计、多视图深度预测和 3D 重建任务进行了广泛实验。

性能提升： 与 Vanilla VGGT 及其高效变体相比，该方法在相机位姿（通过 AUC 衡量）、深度预测（通过 Abs Rel 衡量）和 3D 重建（通过 Chamfer Distance 衡量）方面持续提升或维持了精度。值得注意的是，它防止了基准模型在帧数增加（例如从 300 帧增加到 1000 帧）时出现的性能退化。
效率： 与联合处理所有帧相比，该框架显著降低了显存使用量（降低高达 3.8 $\times$ ）并减少了推理延迟（加速高达 6.34 $\times$ ）。
可扩展性： 当在 A100 GPU 上处理 1000 帧序列时，像 FasterVGGT 这样的基准模型会发生显存溢出（OOM），而 DA-VGGT 可以成功处理。
泛化能力： 该方法可以推广到其他架构（如 $\pi^3$ ），在不修改内部网络组件（如 Token 合并或稀疏注意力）导致精度下降的前提下，提高了它们的扩展性。
无序序列： 不同于依赖时间相干性的顺序分块方法（如 VGGT-Long），DA-VGGT 在无序图像集合（如 Heritage-Recon）上表现稳健，与顺序基准方法相比，其 ATE 降低了 25% 以上。

5. 意义与主张

本文声称，扩展几何 Transformer 的主要挑战不仅在于输入视图的数量，更在于视角的分布。通过将重点从“处理更多视图”转向“为多样性组织视图”，所提出的框架实现了更优的效率-精度权衡。

作者强调，该方法的开销极小：与 Transformer 推理本身相比，划分和对齐步骤引入的计算成本微乎其微（对于 1000 帧，耗时不到 1 秒）。他们得出结论，多样性感知划分为可扩展的多视图重建提供了一种实用的、无需训练的解决方案，使得在不牺牲几何保真度的前提下，将几何 Transformer 部署在大型无序图像集合上成为可能。