💻 computer science

ReSplat: Learning Recurrent Gaussian Splatting

本文提出了 ReSplat，一种利用渲染误差作为反馈信号进行迭代优化的前馈循环高斯泼溅模型，通过引入紧凑的初始化机制显著减少了高斯数量并提升了推理速度，同时在稀疏视角、多分辨率及不同数据集上实现了最先进的重建性能。

原作者： Haofei Xu, Daniel Barath, Andreas Geiger, Marc Pollefeys

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Haofei Xu, Daniel Barath, Andreas Geiger, Marc Pollefeys

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 ReSplat 的新技术，它能让电脑以极快的速度，仅凭几张模糊或稀疏的照片，就重建出逼真的 3D 场景。

为了让你轻松理解，我们可以把这项技术想象成 “一位拥有超能力的 3D 雕塑家”。

1. 以前的难题：要么太慢，要么太笨

在 ReSplat 出现之前，重建 3D 场景主要有两种方法，但都有大毛病：

传统方法（像“精雕细琢的工匠”）： 比如之前的 3DGS 技术。它像是一个极其耐心的工匠，拿着刻刀（优化算法），对着一个粗糙的模型反复打磨。
- 缺点： 太慢了！为了把模型修好，它可能需要反复修改几千次，就像你要把一块石头雕成艺术品，得花上好几个小时。
早期的新方法（像“流水线工人”）： 最近出现的一些 AI 模型（如 MVSplat），它们像流水线工人，看一眼照片就“唰”地一下生成模型。
- 缺点： 虽然快，但质量一般。而且它们有个致命伤：太“贪吃”了。为了看清细节，它们会在每个像素点上都放一个小球（高斯球），导致生成的模型里有几百万个小球，电脑跑起来非常吃力，内存直接爆炸。

2. ReSplat 的绝招：三步走策略

ReSplat 这位“新雕塑家”结合了前两者的优点，既快又好，还特别聪明。它的核心思想可以概括为三个步骤：

第一步：先画个“草图”（16 倍压缩）

传统的流水线工人是“见一个像素放一个球”，太浪费。ReSplat 说：“咱们先别那么细，先画个草图！”

比喻： 想象你要画一幅巨大的壁画。别人是拿着一支极细的笔，在画布上每一个点都画一笔。ReSplat 则是先把画布缩小到原来的 1/16，在这个小画布上先勾勒出大致的轮廓和颜色。
效果： 这样它只需要用原来 1/16 数量的“小球”就能把场景大概搭出来。这就像用乐高积木搭房子，先搭个骨架，而不是用沙子堆。这大大减少了电脑的计算负担。

第二步：边看边改（循环迭代）

这是 ReSplat 最厉害的地方。传统的流水线工人画完一笔就不管了（一次性预测）。但 ReSplat 是个**“循环大师”**。

比喻： 想象你在画画时，每画一笔，就立刻把画举起来和参考照片对比一下。
- 如果画得不对（比如树画歪了），你就立刻修正这一笔。
- 然后再次对比，再次修正。
- 就这样反复修改几次（论文里通常是 4 次），画面就越来越完美。
核心秘密： 它不需要像传统工匠那样去计算复杂的数学梯度（那是很慢的），而是直接利用**“渲染误差”（也就是画出来的图和真实照片的差别）作为“反馈信号”**。就像你画画时，眼睛看到哪里不像，大脑就指挥手去改哪里。

第三步：全局视野（全局注意力）

在修改的时候，ReSplat 不会只盯着局部看。

比喻： 如果画布上左边的一棵树画歪了，它不仅能看到左边，还能通过一种“全局注意力机制”，知道这棵树和右边的山有什么关系，从而更精准地调整。它让所有的小球都能互相“交流”信息，共同把场景修好。

3. 为什么它这么牛？（实际效果）

速度快得惊人： 相比传统需要几千次迭代的方法，ReSplat 只需要几次“看一眼、改一下”的循环，速度就快了 100 倍。
省资源： 因为它一开始就用了“草图”策略（16 倍压缩），它生成的 3D 模型里的小球数量只有别人的 1/16。这意味着它能在普通的电脑上流畅运行，而不会让电脑卡死。
适应性强： 以前的模型如果训练时看的是 8 张照片，测试时给 2 张或 16 张，效果就会变差。但 ReSplat 因为会“边看边改”，它能适应不同数量的照片、不同分辨率的图片，甚至从未见过的场景，表现依然很稳。

总结

ReSplat 就像是一个**“先画草图，再反复微调”**的超级 AI 雕塑家。

它不再死板地一次性生成所有细节，也不再笨拙地反复计算。它利用**“看照片找差距”**的反馈机制，用极少的资源（小球数量少），在极短的时间内，把模糊的照片变成了清晰、逼真的 3D 世界。

这就好比以前我们要修好一个破损的陶罐，要么花几天时间慢慢粘（传统优化），要么用胶水随便一粘（早期快速法，容易散架）。而 ReSplat 是先用快干胶快速定型（草图），然后一边观察一边精准修补（循环迭代），几分钟就修得完美无缺，而且用的胶水还特别省！

以下是关于论文 ReSplat: Learning Recurrent Gaussian Splatting 的详细技术总结：

1. 研究背景与问题 (Problem)

现有的前馈（Feed-Forward）高斯泼溅（Gaussian Splatting, 3DGS）模型虽然计算效率高且能泛化到稀疏视角场景，但存在两个主要局限性：

单步推理的瓶颈：大多数现有方法仅通过单次前向传播将图像映射为3D高斯参数。这种“一步到位”的方式受限于网络容量，难以处理复杂场景，导致重建质量存在上限。
可扩展性差：现有的前馈模型通常采用“每像素预测一个高斯”的策略。当输入视角数量增加或图像分辨率提高时，高斯数量会呈线性甚至指数级增长（数百万个），导致显存占用巨大且渲染效率低下。
泛化能力不足：单步模型在面对未见过的数据集、视角数量或分辨率时，性能往往显著下降，缺乏像基于优化的方法（如传统3DGS）那样的迭代适应能力。

2. 核心方法论 (Methodology)

ReSplat 提出了一种前馈循环（Recurrent）高斯泼溅框架，旨在通过迭代更新来逐步优化3D高斯，同时保持前馈推理的高效性。其核心流程如下：

A. 紧凑的初始化 (Compact Initialization)

16 倍下采样空间：不同于传统的每像素预测，ReSplat 在 16 倍下采样的3D空间中预测初始高斯。
流程：
1. 输入 $N$ 张带位姿的图像，预测每张图的深度图（分辨率降至 1/4）。
2. 将深度图反投影并变换为点云，点云数量 $M = N \times \frac{HW}{16}$ 。
3. 利用 kNN 注意力和**全局注意力（Global Attention）**机制聚合3D上下文信息，补偿下采样带来的信息丢失。
4. 通过轻量级高斯头（MLP）解码出初始高斯参数（位置、不透明度、协方差、球谐函数）及隐藏状态。
优势：相比 MVSplat 和 DepthSplat，高斯数量减少了 16 倍，显著降低了后续计算的开销。

B. 基于渲染误差的循环更新 (Recurrent Update via Rendering Error)

这是 ReSplat 的核心创新，采用“学习优化（Learning to Optimize）”的思想，但无需显式计算梯度：

反馈信号：利用测试时可用的输入视角（Input Views）作为监督信号。
误差计算：
1. 使用当前的3D高斯渲染输入视角。
2. 计算渲染图像与真实输入图像之间的渲染误差。
3. 误差包含像素空间误差（RGB 差值）和特征空间误差（ResNet 提取的特征差值），两者相加后作为反馈信号。
误差传播：
- 通过全局注意力机制将渲染误差传播到所有3D高斯点上，使每个高斯不仅能感知局部误差，还能感知全局场景的误差分布。
迭代更新：
- 一个权重共享的循环网络（Recurrent Network）接收当前高斯参数、隐藏状态和传播后的误差，预测参数的增量更新（ $\Delta g, \Delta z$ ）。
- 该过程迭代 $T$ 次（实验表明 4 次迭代即可收敛），逐步修正高斯参数。

C. 训练策略

两阶段训练：
1. 第一阶段：训练初始高斯重建模型，使用渲染损失和深度平滑损失。
2. 第二阶段：冻结初始模型，端到端训练循环更新模块。使用渲染损失监督所有迭代步骤，并对后续迭代步骤施加指数级增加的权重。

3. 关键贡献 (Key Contributions)

首个前馈循环高斯泼溅模型：打破了单步前馈的局限，利用渲染误差作为反馈信号，实现了无需梯度的迭代优化，兼具前馈的高效性和迭代优化的适应性。
高效的紧凑表示：提出在 16 倍下采样空间构建初始高斯，将高斯数量减少 16 倍，同时通过注意力机制保持重建质量，解决了高分辨率/多视角下的可扩展性问题。
卓越的泛化能力：模型在训练时仅使用 DL3DV 数据集（8 视角，512x960），但在测试时能鲁棒地泛化到未见过的数据集（RealEstate10K, ACID）、不同的视角数量（2-32 视角）以及不同的分辨率。
性能与效率的双重提升：相比优化型 3DGS 快 100 倍，相比现有前馈模型渲染速度快 4 倍，且重建质量（PSNR）更高。

4. 实验结果 (Results)

DL3DV 数据集 (8 视角, 512x960)：
- ReSplat (4 次迭代) 达到 27.70 dB PSNR，优于优化型 3DGS (23.46 dB) 和 DepthSplat (24.17 dB)。
- 高斯数量仅为 246K（DepthSplat 为 3932K），渲染速度快 4 倍。
- 重建速度比 3DGS 快 100 倍。
DL3DV 数据集 (16 视角, 540x960)：
- 优于 Long-LRM 0.8 dB PSNR，且高斯数量仅为 Long-LRM 的 1/4。
RealEstate10K & ACID (2 视角)：
- 在 RealEstate10K 上达到 29.75 dB PSNR，超越所有现有单步前馈模型（如 GS-LRM, Long-LRM）。
- 在未见过的 ACID 数据集上展现出极强的零样本泛化能力。
消融实验：
- 证明渲染误差（特别是特征空间误差）是循环更新的关键。
- 证明使用中间视角作为坐标系原点能提升性能。
- 证明循环模型（77M 参数）优于参数量大 7 倍的单步模型（559M 参数），表明迭代修正比单纯堆叠参数更有效。

5. 意义与影响 (Significance)

范式转变：ReSplat 展示了在 3D 生成任务中，利用“学习优化”思想（通过误差反馈进行迭代修正）可以显著超越传统的单步回归方法，同时避免了传统优化方法的高计算成本。
实际应用价值：其高效性（快 100 倍）和紧凑性（高斯少 16 倍）使得在移动端或实时系统中进行高质量稀疏视角重建和视图合成成为可能。
通用性：该方法不依赖特定的场景先验，能够适应不同的数据集、视角数量和分辨率，为未来的 3D 视觉任务提供了一个强大的基线。

总结：ReSplat 通过引入循环机制和基于渲染误差的反馈回路，成功解决了前馈 3DGS 模型在复杂场景下的质量瓶颈和扩展性问题，实现了速度与质量的双重突破。