💻 computer science

ImprovedVBGS: Real-time Continual Variational Bayes Gaussian Splatting

该论文介绍了 ImprovedVBGS，这是一个用于实时持续变分贝叶斯高斯泼溅（Variational Bayes Gaussian Splatting）的加速框架，通过空间截断变分推理和优化的重新分配，实现了每帧延迟 1680 倍的加速，从而在不牺牲质量的前提下实现了即时重建。

原作者： Damani Mguni-Coker

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Damani Mguni-Coker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一个机器人如何观察世界，并在行走时构建一个 3D 地图，而不是先给它看一张包含整个场景的巨型相册。这就是“即时（on-the-fly）”重建的挑战，对于需要通过探索新环境来导航而不发生碰撞的自动驾驶汽车和机器人来说，这是一项至关重要的技能。为了实现这一点，科学家们使用了一个聪明的技巧，叫做“高斯泼溅（Gaussian Splatting）”。你可以把这想象成不是用坚实的方块，而是用数百万个微小的、模糊的、有颜色的云团（高斯分布）来绘制一个 3D 场景。每个云团都有自己的位置、大小、旋转和颜色。通过堆叠足够多的这些模糊云团，计算机可以创造出一个极其逼真的画面，让你能从任何角度进行观察。

然而，这里有一个难点。通常情况下，为了让这些云团变得完美，计算机需要同时查看场景中的每一张照片，并反复调整这些云团。但对于一个在街上行走的机器人来说，它无法预见未来，它只能一次看到一帧画面。如果它试图仅从新的帧中学习，它往往会忘记之前学到的所有内容——这是一个被称为“灾难性遗忘（catastrophic forgetting）”的问题。一种名为 VBGS（变分贝叶斯高斯泼溅）的旧方法通过一种聪明的数学技巧解决了遗忘问题，这种技巧让机器人无需存储旧照片也能从新照片中学习。但它有一个巨大的缺点：速度极慢。这就像是每画一笔都要检查整个宇宙中的每一个像素一样。仅仅处理一帧画面就需要超过一分钟，这对于移动中的机器人来说是毫无意义的。

本文介绍了 ImprovedVBGS，这是一个全新的框架，它极大地加速了这个过程，使其在许多应用中变得切实可行，尽管距离完全的实时视频仍存在差距。研究人员将 VBGS 那种缓慢且谨慎的方法进行了大规模的改造，使其变得极其迅速。

首先，他们意识到当机器人看向一个新位置时，它并不需要检查整个 3D 世界中所有的模糊云团，以确定哪一个最合适。大多数云团都离得很远，并不相关。因此，他们增加了一个“空间截断（spatially truncated）”步骤。想象一下你在凌乱的房间里寻找丢失的钥匙。你不需要检查整个房子里的每一个抽屉，你只需要检查你当前所在的房间里的抽屉。ImprovedVBGS 正是这样做的：它构建了一个快速地图（KD-tree），并且只检查每个新数据点最近的邻居。这把工作量从检查数百万种可能性减少到了仅需检查寥寥数个。

其次，他们修复了一个被称为“重分配（reassignment）”的笨拙环节。在旧方法中，每当“坏”云团的数量发生变化时，计算机就会不断地停止、擦除并重写自己的代码（这个过程称为动态重编译）。这就像一位厨师每当决定加一小撮盐时，都要停下来重写整本食谱。新方法使用了“静态张量填充（static tensor padding）”，这就像是保留一本固定大小的食谱，其中空白位置只需留白即可。这阻止了计算机浪费时间去重写自己的指令。他们还发现了一种“前向（forward）”信息的方法，这意味着他们可以复用刚刚做过的计算，而不是做两次，从而用几乎不可察觉的微小画质损失换取了巨大的速度提升。

结果是令人震惊的。在标准的图形显卡（RTX 3070 Ti）上，原始方法处理单帧画面需要 84.0 秒。ImprovedVBGS 将所有场景的平均延迟降低到了 0.133 秒（大约每秒 7.5 帧）。虽然论文指出，如果不进行重分配的特定配置可以达到 0.050 秒，但维持高质量重建并处理重分配步骤的完整系统运行速度约为 7.5 fps。与原始方法相比，这实现了高达 1,680 倍 的加速。虽然旧方法对于移动中的机器人来说太慢了，但新方法已经显著加快，使其非常接近实时处理的能力，尽管可能仍比标准 30fps 视频稍慢。作者展示了尽管使用了这些大规模的速度优化技巧，3D 地图的质量依然保持在高水平，重建出的图像看起来与较慢的原始版本一样出色。他们在一组标准的 3D 场景（NeRF Synthetic 数据集）上进行了测试，发现新系统可以在不需要存储海量过去图像库的情况下处理工作负载，这使其非常适合机器人和内存受限的设备。

技术摘要：ImprovedVBGS

问题陈述

实时在线 3D 重建是机器人技术和自主导航的关键需求。虽然 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）已成为高质量新视角合成的标准，但其标准的基于梯度的优化假设可以同时访问所有训练视图。在数据按顺序到达的持续学习场景中，基于梯度的方法会遭受灾难性遗忘，除非它们使用重放缓冲区（replay buffers），但这会带来高昂的内存和计算成本。

变分贝叶斯高斯泼溅（Variational Bayes Gaussian Splatting, VBGS）通过将场景重建公式化为概率混合模型的变分推理，提供了一种解决方案。这种方法本质上免疫于灾难性遗忘，因为它通过累积充分统计量，而无需重新访问过去的数据或需要重放缓冲区。然而，原始的 VBGS 实现对于实时应用来说过于缓慢。其每帧迭代需要计算每个组件对所有观测点的责任（复杂度为 $O(nK)$），这导致在消费级硬件上的延迟约为每帧 84 秒。此外，原始实现需要深度输入，使用的参数比标准 3DGS 多得多，且缺乏通过球面谐波实现的视角相关颜色建模。

方法论

本文提出了 ImprovedVBGS，这是一个旨在使消费级硬件（具体为 RTX 3070 Ti）能够实现实时持续重建的加速框架。该方法建立在引入了算子融合（kernel fusion）和混合精度搜索的前期工作基础之上，并增加了三个主要的优化策略：

1. 空间截断变分 E 步 (Spatially Truncated Variational E-Step)

VBGS 的核心瓶颈在于变分 E 步，它需要计算每个数据点对组件分配的期望。作者观察到空间似然度会将质量集中在附近的均值周围。为了解决这个问题，他们实现了一种 KD-树最近邻候选剪枝策略：

在组件的空间均值 $\{\mu_{s,k}\}$ 上构建一棵 KD-树。
对于每个观测点，仅查询 $C$ 个最近邻的组件索引。
仅在该截断的子集上计算对数得分（log-scores）和软责任（soft responsibilities），而不是在全量 $K$ 个组件上进行计算。
这将计算复杂度从关于组件数量的线性函数降低到了关于最近邻数量的函数，从而显著加速了 E 步。

2. 带有转发机制的改进重分配 (Improved Reassignment with Forwarding)

在持续学习中，“重分配”对于将未使用的混合组件重新定位到建模较差的场景区域是必要的。

机制： 识别出狄利克雷后验权重最低（表明未使用）的组件，并将它们移动到具有最低证据下界（ELBO）得分的点处。
优化（转发）： 文中指出，ELBO 值在截断 E 步期间已经计算完毕。为了进行重分配，该方法不再执行密集的 ELBO 重新扫描，而是直接转发这些预计算的值。
权衡： 这种步骤重排序（在变分 EM 步之前运行重分配）允许被重新定位的组件获得同帧的证据。虽然这会导致峰值信噪比（PSNR）略微下降，但通过消除冗余计算，极大地降低了延迟。

3. 静态张量填充 (Static Tensor Padding)

由于每个帧中要重分配的组件数量（ $n_{reassign}$ ）是动态变化的，导致张量形状发生变化，原始实现经常遭遇 JAX 的重新编译问题。

解决方案： 作者通过将索引填充到静态编译时形状（ $n_{max} = \lfloor f \cdot N \rfloor$ ），使跨帧的重分配数组大小保持固定。
影响： 这消除了动态图重新编译的开销，确保了执行的稳定性和低延迟。

核心贡献

本文的主要贡献在于加速了 VBGS，使其能够在不牺牲算法“无重放”特性的情况下，适用于边缘设备和消费级显卡：

空间截断变分推理： 一种基于 KD-树的剪枝策略，在保持重建质量的同时降低了 E 步的复杂度。
高效重分配： 一个复用截断 E 步输出（转发）并采用静态张量填充以消除动态重新编译和冗余 ELBO 计算的流水线。
实现基准： 复现了前人工作 [11] 中的融合统计量和混合精度技术，并将其与新的优化方案集成，以在更受限的环境（RTX 3070 Ti, 8 GB VRAM）中展示性能，而之前的研究使用的是 A5000 (24 GB)。

实验结果

实验在 NeRF Synthetic 数据集（8 个场景）上使用 RTX 3070 Ti 进行。结果表明，在保持与基准 VBGS 相当的重建质量的同时，大幅降低了延迟。

延迟降低： 平均每帧延迟从 84.0 秒（基准 VBGS）降低至 0.050 秒（使用大 Batch 和截断后的 ImprovedVBGS）。这实现了 1,680 倍的加速。
质量： 该方法保持了较高的重建质量。例如，在“Lego”场景中，即使采用激进的截断和大 Batch 大小，PSNR 仍稳定在 20.64 dB 左右。当包含重分配时，PSNR 提升至约 21.5 dB，与基准的 20.65 dB（含重分配）以及原始 VBGS [10] 的结果相当。
消融实验洞察：
- 仅使用 截断 E 步 即可将延迟从 41.0s 降至 3.39s。
- 将 Batch 大小从 100 增加到 250,000（得益于内存优化）进一步将延迟降低至 0.050s。
- 重分配转发 在牺牲少量 PSNR（21.37 vs 21.57）的情况下提供了小幅加速（0.107s vs 0.131s），展示了一种速度与精度之间的可调权衡。
- 静态张量填充 对于稳定延迟至关重要，在重分配密集的配置下，将延迟从 0.373s 降低至 0.131s。

意义与主张

本文声称 ImprovedVBGS 使持续、无重放的 3D 重建在消费级硬件上变得切实可行。通过将每帧延迟从分钟级降低到毫秒级，该框架解决了机器人技术和自主导航中严格的内存和延迟要求。

作者强调，与依赖重放缓冲区或局部优化的基于梯度的持续学习方法（这些方法会增加存储或计算成本）不同，ImprovedVBGS 通过变分推理在设计上消除了灾难性遗忘。这项工作证明，通过空间截断和高效的重分配策略，可以使 VBGS 的计算开销降低数个数量级，从而实现无需昂贵高端 GPU 或大规模内存占用的“即时”重建。