💻 computer science

QVGGT: Post-Training Quantized Visual Geometry Grounded Transformer

本文介绍了 QVGGT，这是一个后训练量化框架，通过采用选择性混合精度策略、带有相机补偿的 Token 过滤以及任务感知尺度搜索，实现了在资源受限的边缘设备上部署大规模视觉几何接地 Transformer (VGGT)，从而在显著降低显存占用并提升速度的同时，实现了近乎无损的 W4A16 量化。

原作者： Zhizhen Pan, Hesong Wang, Huan Wang

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhizhen Pan, Hesong Wang, Huan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个名叫 VGGT 的天才、超智能机器人建筑师。这个机器人只需看几张房间的照片，就能瞬间构建出一个完美的 3D 全息图，精准地计算出摄像机的位置、墙壁的深度以及每个物体所在的位置。它非常神奇，但有一个问题：这个机器人巨大无比。它如此庞大且沉重（拥有 12 亿个“脑细胞”或参数），以至于无法装进智能手机、无人机或 AR 眼镜中。它需要一个庞大的服务器集群才能运行，这使得它在现实世界的移动场景中无法发挥作用。

这篇论文介绍了一种名为 QVGGT 的全新“压缩套件”，旨在将这个巨大的机器人缩小，使其能够装进口袋，同时又不损失其大脑的智慧。以下是他们实现这一目标的方法，共使用了三个聪明的技巧：

1. “选择性套装”策略（混合精度）

想象机器人的大脑是由不同的房间组成的。有些房间像是脆弱的玻璃博物馆（非常敏感），而另一些房间则像是坚固的砖块仓库（非常强韧）。

问题： 如果你试图同时缩小所有东西（把所有的砖块都变成沙子），整个建筑就会坍塌。标准的缩小方法会对每个房间一视同仁，这会破坏机器人预测摄像机角度的能力。
解决方法： QVGGT 扮演了一个裁缝的角色。它检查每一个房间，并找出那些“脆弱的玻璃”房间。它保持这些特定房间的高清状态（全精度），以确保它们保持完美。然后，它将那些“坚固的砖块”房间缩小成微小的、轻量级的沙袋（4 位整数）。
结果： 机器人变得更小、更轻，但其大脑中最关键的部分依然保持敏锐和准确。

2. “VIP 座位”过滤器（Token 过滤与补偿）

在机器人的大脑内部，有一些特殊的信使，被称为 Token。大多数 Token 携带关于图像的信息（比如“这是一个椅子”）。但有两种类型的信使——相机 Token (Camera Token) 和 寄存器 Token (Register Token)——声音非常大，携带了海量的数据。

问题： 当机器人尝试缩小其大脑时，这些响亮的信使叫得声嘶力竭，淹没了其他人。机器人会认为：“哦，我只需要对这些大嗓门保持精确，可以忽略其他细节”，从而导致错误。
解决方法： 团队创建了一个“VIP 过滤器”。在缩小过程中，他们告诉机器人忽略这些响亮的信使，以便它能专注于那些安静的信使并公平地缩小它们。
补偿： 但是等等！如果我们忽略了响亮的信使，机器人就会忘记如何寻找相机。因此，他们创建了一个“幽灵信使”（一个相机信息补偿 Token）。这个幽灵是那些大嗓门信使通常所说内容的数学总结。机器人在缩小过程中会忽略真实的响亮信使，但在做出决策前，它会请这个幽灵向相机头低声传递必要的指令。

3. “队长”教练（任务感知尺度搜索）

通常，当我们缩小一个模型时，我们只是检查数学逻辑是否正确（就像检查拼图碎片是否契合）。

问题： 在 3D 重建中，数学上可能看起来没错，但 3D 形状可能会发生扭曲或破碎。机器人可能拿到了正确的数字，但几何结构却是错的。
解决方法： QVGGT 使用了“队长”的方法。它不仅检查数学，还检查团队协作。它同时询问三个问题：
1. 我们是否找对了相机角度？
2. 我们是否找对了深度？
3. 相机角度和深度是否相互一致，从而形成一个连贯的 3D 形状？
结果： 缩小过程是由这些现实世界的目标来引导的。它确保最终的 3D 全息图不仅在数学上被压缩了，而且实际上看起来是一个真实、连贯的 3D 世界。

最终成果

通过使用这三个技巧，作者将这个巨大、沉重的机器人变成了一个可以运行在标准计算机芯片上的轻量化版本。

内存： 他们将所需的内存减少了 3 到 4.9 倍。这意味着机器人现在可以在以前无法处理它的设备上运行。
速度： 在实际硬件上，它的运行速度快了 2.8 倍。
准确度： 尽管它被缩小到了 4 位整数（仅为原始大小的一小部分），但其表现几乎与巨大的全尺寸版本一样出色。

简而言之，QVGGT 是“神奇的缩小药水”，它让一个超级复杂的 3D 视觉模型能够在日常设备上运行，而不会失去它的智慧。

技术摘要：QVGGT - 后训练量化视觉几何基础 Transformer

问题陈述

视觉几何基础 Transformer (VGGT) 代表了 3D 计算机视觉领域的重大进展，能够通过多视图 RGB 输入在单次前向传播中预测相机参数、深度图和点云。然而，VGGT 的大规模规模（12.6 亿参数）造成了巨大的内存占用和计算需求，使其难以在无人机（UAV）和移动 AR 系统等资源受限的边缘设备上部署。

虽然存在剪枝和知识蒸馏等标准模型压缩技术，但它们在现代硬件上的加速效果往往有限。量化（即降低数值精度）是一种极具前景的替代方案，但在大规模 3D 重建 Transformer 中的应用研究仍处于空白。直接将现有的后训练量化（PTQ）方法应用于 VGGT 会面临三个特定挑战：

异质敏感性： VGGT 内部不同的 Transformer 块表现出不同程度的量化敏感性；统一的低比特量化会导致不成比例的精度下降，尤其是在相机位姿估计方面。
Token 级激活不平衡： 相机 Token 和寄存器（register）Token 会产生高幅值的激活值，这些异常值会主导校准过程中的尺度估计，导致量化分辨率失衡，并放大大多数 Token 的误差。
任务失配： 标准的层级重建目标无法完全捕捉 3D 任务所需的下游几何一致性（例如相机位姿、深度与点图之间的关系）。

方法论：QVGGT 框架

作者提出了 QVGGT，一个专门定制的三阶段 PTQ 框架，旨在压缩 VGGT 的同时保持 3D 几何一致性。该框架在 W4A16 设置（4 位权重，16 位激活）下运行。

1. 选择性混合精度量化

作者首先通过选择性地量化单个块并测量其对下游头（heads）的影响，进行了细粒度的敏感性分析。

观察： 相机头对块精度高度敏感，而深度和点图头则更为鲁棒。某些特定的块（特别是第 14、17、23 帧块以及第 23 个全局块）被识别为“脆弱”块。
策略： QVGGT 没有采用统一量化，而是采用了选择性混合精度策略。脆弱块的注意力投影层保留 FP16 精度，而其余鲁棒块则被量化为 INT4。这在压缩与关键几何线索的保留之间取得了平衡。

2. 带有相机信息补偿（CIC）的 Token 过滤

为了解决由相机和寄存器 Token 引起的异常值问题：

Token 过滤： 在用于尺度搜索的校准阶段，相机和寄存器 Token 被排除在激活统计计算之外。这防止了尺度估计被少数极端激活值所误导，确保量化尺度能反映大多数（图像）Token 的动态范围。
相机信息补偿 (CIC)： 排除这些 Token 会移除必要的全局几何线索。为了恢复这些信息，作者合成了一个 CIC Token。该 Token 是通过对校准集中的相机 Token 激活值进行 Top-K PCA 得到的。由此产生的低方差、数据集层级的全局几何先验会在推理阶段于相机头之前重新注入到 Token 序列中。

3. 任务感知尺度搜索机制

标准的 PTQ 最小化层级重建误差，但这并不能保证准确的 3D 预测。QVGGT 引入了一个任务感知的目标函数来选择量化尺度：

多头监督： 搜索过程最小化来自三个预测头（相机位姿 $L_{camera}$ 、深度 $L_{depth}$ 和点图 $L_{point}$ ）的组合损失。
几何一致性： 引入了一种新颖的 几何一致性损失 ( $L_{geom}$ )。它强制要求点头直接预测的点图与通过预测的深度结合预测的相机位姿进行反投影所重构的点图之间保持一致。
优化： 最终的目标函数结合了重建误差与这些特定任务及几何一致性损失，引导尺度搜索趋向于能够保持所有头部内在 3D 结构的解。

核心贡献

针对 3D Transformer 的 PTQ 框架： 本文提出了第一个定制化的 3D 几何 Transformer PTQ 框架，证明了可以通过选择性混合精度策略利用 VGGT 的异质量化敏感性。
Token 级校准方案： 作者识别并解决了 3D Transformer 中特有的激活不平衡问题，提出了基于 PCA 补偿的 Token 过滤校准方案，以提高鲁棒性。
任务感知尺度搜索： 设计了一种新的尺度搜索机制，通过多头监督和几何一致性约束，使量化优化与下游 3D 预测任务对齐。
实证验证： 该框架在多个基准测试中实现了近乎无损的 W4A16 量化，将模型大小减少了 75% 以上，并将推理内存降低了 3–4.9 倍。

实验结果

作者在四个基准测试上评估了 QVGGT：CO3Dv2、RealEstate10K、7-Scenes 和 NRGBD。

相机位姿估计： 在 CO3Dv2 和 RealEstate10K 上，QVGGT (W4A16) 分别实现了 89.4 和 85.0 的 AUC@30，几乎达到了全精度 FP16 基准（89.5 和 85.3）的水平。相比之下，GPTQ 和 AWQ 等通用 PTQ 方法性能大幅下降（例如，AWQ 在 CO3Dv2 上的表现降至 54.6）。
3D 重建： 在 7-Scenes 和 NRGBD 上，QWGGT 保持了与 FP16 基准相当的准确度、完整性和法线一致性，显著优于相同 W4A16 设置下的 SmoothQuant、GPTQ 和 AWQ。
效率：
- 内存： 与 FP32 VGGT 相比，QVGGT 将单帧输入的峰值内存使用量降低了 4.9×，将 22 帧输入的内存降低了 3.0×。它允许在 24GB GPU 上处理多达 30 帧数据而不发生显存溢出（OOM），而全精度模型则会失败。
- 延迟： 在 RTX 4090 上，该方法比 FP32 实现高达 2.8× 的硬件加速，比 FP16 基准实现 1.93× 的延迟加速。
鲁棒性： 消融研究表明，该方法对校准数据集的大小具有鲁棒性，即使在仅有 16 张校准图像的情况下也能表现良好。

重要性与声明

本文声称 QVGGT 使高保真 3D 感知在边缘设备上成为可能，从而实现了前馈式 3D 重建模型在现实世界受限环境中的实际部署。

作者将 QVGGT 定位为与 QuantVGGT 等同期工作的互补关系。虽然 QuantVGGT 侧重于通用的数值稳定性（面向分布），但 QVGGT 强调的是几何与任务感知设计。通过明确考虑 3D Transformer 的独特特征（如相机 Token 的特定作用以及预测头之间的几何关系），QVGGT 在 3D 任务中实现了比通用量化方法更优的精度保持。这项工作证明，通过精心的架构与目标对齐，大规模 3D 视觉模型可以在不牺牲机器人技术和 AR 应用所需的几何保真度的情况下，被压缩至 4 位权重。