GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

想象一下，你正试图拍摄一段赛车疾驰而过的高速视频，但你的相机太慢了，只能捕捉到一张模糊的单张照片。现在，想象这张照片实际上是一个包含了数百个不同瞬间的秘密代码，它们被挤压在了一起。这就是**快照压缩成像（Snapshot Compressive Imaging, SCI）**的神奇世界。这是一种聪明的技巧，相机并不拍摄视频，而是通过一个特殊的掩模（mask）拍摄一张经过“调制”的照片，将时间和空间混合成一个单一的快照。挑战在于？如何将这张混乱的照片解码回清晰、连贯的视频。通常，科学家们尝试通过猜测视频帧的样貌来解决问题，但如果相机正在围绕一个3D场景移动（比如无人机绕着一栋建筑飞行），这些猜测往往会失效，留下一个混乱、重影的残影。

**3D 高斯泼溅（3D Gaussian Splatting, 3DGS）**登场了，这是一种构建3D世界的新型超快速方法。3DGS 不像雕塑家那样构建坚实的网格，而是用成千上万个微小的、模糊的3D云团（高斯点）来绘制场景，这些云团看起来就像闪闪发光的亮片。当你投射光线（或相机观察）时，它们会融合在一起形成清晰的图像。这就像是用雾气建造一座城市，当你从正确的角度观察时，它会瞬间变得实体化。但即使是这个“亮片城市构建者”，在面对来自 SCI 相机的那张被搅乱的压缩照片时也会感到棘手。数学逻辑会变得混乱，雾气云团会漂浮在错误的位置，相机的路径也会丢失。

这篇论文介绍了 GS2CI，一种全新的方法，它扮演着超级聪明的侦探角色来破解这个谜题。作者意识到，仅凭一张被搅乱的照片来猜测3D形状和相机路径太难了，因此他们引入了重量级选手：大型视觉模型（Vision Foundation Models, VFMs）。你可以把它们想象成拥有“见过”数百万个3D场景经验的AI模型，它们非常清楚光线、深度和相机运动是如何运作的。GS2CI 利用这些 AI 大脑来对相机位置和3D场景进行一次聪明的初步猜测。然后，它使用一个专门定制的规则手册——OSGR（不透明度引导的拆分与生长调节）来整理这些亮片云团。这个规则手册能防止云团长得太大或以奇怪的方式聚集在一起，仅仅为了满足数学计算。最后，它使用第二个 AI 来润色细节，确保场景从各个角度看都清晰且真实。结果是？这种方法可以利用那张被搅压的照片，重建出一个高质量的、即使在相机剧烈移动时也能保持一致性的3D场景，在速度和清晰度上都超越了以往的方法。

问题所在：“单次拍摄”之谜

想象你是一名正在重建犯罪现场的侦探，但你手里只有一张照片。更糟的是，这张照片是一个“压缩”版本，警察在拍摄场景时，在8个不同的时间点拍了照片，并用一个特殊的滤镜将它们全部混合在了一起，然后交给了你。你不知道相机在其中8个时刻的具体位置，也不知道在任何单一时刻场景原本的样子。这就是**快照压缩成像（SCI）**问题。

现有的大多数方法试图通过逐帧猜测视频来解决这个问题。但如果相机是在围绕一个3D物体移动（比如无人机绕着一座雕像飞行），这些猜测就会产生混乱。它们可能会误以为是雕像在移动，而实际上是相机在移动。它们之所以难以处理，是因为缺乏理解深度和透视关系的“3D大脑”。它们就像是在蒙着眼睛尝试解开一个3D拼图，只能依靠投射在桌面上的平面阴影。

解决方案：双人侦探团队

本文作者提出了一种名为 GS2CI 的框架，通过结合三种强大的工具来解决这一问题：一个3D AI大脑、一个3D亮片构建器和一个定制的规则手册。

第一步：智能猜测（3D VFM 初始化）
GS2CI 并非从零开始，而是首先创建“代理视图（proxy views）”。它利用搅乱的照片和已知的滤模模式，创建一个关于那8个不同帧可能长什么样的粗略的、试探性的版本。然后，它将这些粗略的猜测输入到一个 **3D 视觉基础模型（VFM）**中。你可以把这个 VFM 想象成一个学习过数百万个3D场景的 AI。它观察这些粗略的猜测并判断：“啊，根据我以前见过的场景，相机可能在这里，而物体形状应该是这样的。”这为系统提供了一个非常强大的起点，而不是一个随机的猜测。

第二步：亮片构建器（3D Gaussian Splatting）
一旦 AI 有了关于相机路径和场景形状的初步概念，它就会切换到 3D 高斯泼溅（3D Gaussian Splatting）。这是利用成千上万个微小的、模糊的3D云团（高斯点）来构建场景的方法。系统试图排列这些云团，使得当你从8个不同的角度观察时，它们能完美地还原出那张被搅乱的照片。

转折点：OSGR 规则手册
这是论文最巧妙的地方。当你尝试将3D云团拟合到一张被搅乱的照片时，数学计算会变得非常复杂。系统可能会为了“满足”数学公式，而让单个云团变得极其不透明（非常实心）以掩盖错误，而不是将云团移动到正确的位置。这会产生“不透明度峰值（opacity peaks）”，从而破坏3D结构。

为了解决这个问题，作者发明了 OSGR（不透明度引导的拆分与生长调节）。

• 不透明度引导的拆分： 如果一个云团在某个位置变得过于“实心”（出现不透明度峰值），OSGR 会说：“这很可疑！让我们把这个大的云团拆分成两个更小、更精确的云团。”这迫使系统去寻找真实的形状，而不是躲在实心的团块后面。
• 生长调节： 系统还会严格控制可以使用的云团数量。它防止场景因为多余的云团而变得臃肿，从而保持重建过程的高效和稳定。

第三步：润色（辅助 2D VFM）
在主要的3D场景构建完成后，系统的工作尚未结束。它会创建一些相机从未真正见过的“合成视图（synthesized views）”。然后，它利用一个 2D 视觉基础模型来构思这些视角应该呈现的样子。它将自己的3D场景与这些“梦幻”出的图像进行对比，并微调云团的细节，使它们看起来更加锐利和逼真。这就像是一位艺术家在完成画作后的最后润色工作，添加精细的笔触。

结果：更快、更清晰、更鲁棒

作者在许多不同的场景上测试了 GS2CI，从简单的物体到复杂的户外环境，甚至是在极高压缩率下（即32个不同的视角被挤压进一张照片中）。

• 更高的质量： 在测试中，GS2CI 始终比以往的方法产生更清晰的图像和更少的误差。例如，在名为“Vender”的场景中，它达到了 38.52 的 PSNR（衡量图像质量的指标），击败了表现次优的方法（其分数为 36.40）。
• 速度： 它非常快。从搅乱的照片到最终的3D场景，整个过程在标准高端计算机（NVIDIA RTX 4090）上仅需约 68.4 分钟。相比之下，之前的顶尖方法 SCINeRF 完成同样的工作需要超过 12 小时（746.84 分钟）。
• 鲁棒性： 即使当相机进行古怪、不可预测的移动，或者照片被高度压缩时，GS2CI 也不会崩溃。它在处理“无界限（unbounded）”场景（即视野延伸至无穷远）以及复杂的相机路径方面，比竞争对手表现得更好。

目前还做不到的事

论文也坦诚地说明了其局限性。虽然它在静态场景（物体不动）中表现出色，但在处理动态场景（如人跑步或鸟飞行的独立运动物体）时表现挣扎。在包含运动物体的测试（如“熊”或“火烈鸟”视频）中，该方法的表现不如一些专门的技术。作者建议，未来他们可能需要将“亮片云团”升级为 4D（增加时间维度），以便更好地处理运动物体。

为什么这很重要

这篇论文表明，通过将大型 AI 模型的“常识”与 3D 高斯泼溅的速度相结合，我们可以解决成像领域中最难的问题之一。它能将一张单一的、被搅乱的照片变成一个你可以漫步其中的丰富的3D世界，而且速度快到具有实用价值。这是迈向开发小型、廉价且功能强大的高速3D相机的重要一步。