S2D: Sparse to Dense Lifting for 3D Reconstruction with Minimal Inputs

本文提出了名为 S2D 的新颖流程，通过结合高效的一步扩散模型修复稀疏点云图像伪影，并设计具有随机采样丢弃和加权梯度的重建策略，实现了仅需极少输入视图即可生成高质量、3D 一致的 3D 高斯泼溅（3DGS）重建。

要点

这篇论文介绍了一种名为 S2D（从稀疏到稠密提升）的新技术，它的核心目标是：用极少的照片，重建出高质量、逼真的 3D 场景。

为了让你更容易理解，我们可以把 3D 重建想象成**“用乐高积木搭建一座城堡”**。

1. 现有的难题：照片太少，积木搭不好

传统的 3D 重建技术（比如 3DGS）就像是一个**“严谨的乐高大师”**。

• 优点：如果你给他提供几百张从各个角度拍摄的照片（就像提供了成千上万块乐高积木），他能搭出非常完美、细节丰富的城堡，而且渲染速度极快。
• 缺点：如果你只给他几张照片（比如只有正面和侧面），他手里的“积木”就太少了。为了强行把城堡搭完，他只能胡乱填补空缺。结果就是：城堡看起来歪歪扭扭，有很多奇怪的“飞出来的积木”（伪影），或者某些地方模糊成一团，完全不像真的。

以前的其他方法试图解决这个问题：

• 方法 A（直接预测）：像是一个**“猜谜高手”**，试图直接猜出城堡的样子。但猜出来的东西往往经不起推敲，细节全是错的。
• 方法 B（AI 画图）：像是一个**“印象派画家”**，他画出来的城堡很美，但如果你换个角度看，城堡里的窗户可能突然变了位置，或者柱子变成了树，缺乏 3D 的一致性（也就是“前后矛盾”）。
• 方法 C（修补匠 DIFIX）：像是一个**“小修小补的工匠”**。如果城堡只是有点小瑕疵，他能修好；但如果照片太少导致城堡缺了一大块，他就束手无策，甚至越修越乱。

2. S2D 的解决方案：先搭骨架，再精修

S2D 提出了一套全新的“两步走”策略，我们可以把它想象成**“先搭钢筋骨架，再请大师精修”**的过程。

第一步：用“透视眼”快速搭个粗糙骨架（Sparse to Point Cloud）

S2D 首先利用一种强大的**“视觉基础模型”（VFM）。你可以把它想象成拥有一双“透视眼”**的助手。

• 哪怕你只给他看1 张或几张照片，这双“透视眼”也能迅速推断出物体大概的空间结构（哪里是墙，哪里是路，大概有多远）。
• 它先生成一个稀疏的“点云”。这就像是用很少的几根钢筋，先把城堡的大致轮廓和骨架搭起来。
• 关键点：虽然这个骨架看起来全是洞，不够美观，但它的结构是准确的，不会像其他方法那样把房子搭歪。

第二步：用“魔法画笔”进行一键精修（The Artifact Fixer）

有了准确的骨架，S2D 就请出了它的核心法宝——“一步扩散模型”（One-step Diffusion Model）。这就像是一位拥有“透视眼”的超级画师。

• 任务：画师看着那个“满是洞的钢筋骨架”（点云渲染图）和你提供的“原始照片”（参考图）。
• 操作：画师不需要从头画，他只需要**“一键填充”**。他利用骨架告诉他在哪里该有墙，利用照片告诉他墙是什么颜色。
• 效果：原本模糊、断裂、乱飞的“积木”瞬间变得清晰、连贯、逼真。而且，因为是基于准确的骨架画的，所以无论你从哪个新角度去看，城堡的结构都是一致的，不会出现“窗户变树”的幻觉。

第三步：聪明的“训练策略”（Reconstruction Strategy）

在训练这个系统时，S2D 还设计了一个**“聪明的老师”**（随机采样和加权梯度）：

• 防止偏科：如果只让模型看“新角度”（骨架填补后的图），模型可能会为了迎合新角度而把原始照片的细节搞坏。
• 策略：老师会随机抽查原始照片和新角度，确保模型既尊重原始素材，又敢于填补新视角。
• 重点保护：对于那些骨架还没覆盖到的“危险区域”（容易出错的地方），老师会降低权重，让模型小心一点，不要乱改，从而保证整体稳定。

3. 为什么这很厉害？（实际效果）

• 极简输入：以前需要几十张照片才能重建的场景，现在只要 1 到 6 张照片就能搞定。
• 场景广泛：无论是室内的房间、室外的风景，还是自动驾驶中快速移动的车流，S2D 都能处理。
• 速度快：它的“精修”过程非常快，几乎不增加额外的等待时间。
• 质量高：在测试中，它比目前最先进的其他方法（如 DIFIX、SEVA 等）都要好，尤其是在照片很少的情况下，它能重建出没有严重伪影、结构稳定的 3D 场景。

总结

S2D 就像是一个“化腐朽为神奇”的 3D 重建大师。
它不再强求你提供海量的照片，而是先利用 AI 的“透视眼”快速构建一个准确的 3D 骨架，然后再用智能画笔把骨架填肉、上色、打磨。

这就意味着，未来我们只需要用手机随手拍几张照，就能瞬间生成一个高质量、可随意 360 度查看的虚拟世界，这对于自动驾驶模拟、VR 游戏、数字孪生等领域将是巨大的突破。

技术摘要

S2D: 基于最少输入的稀疏到稠密提升 3D 重建技术总结

1. 研究背景与问题定义 (Problem)

核心挑战：
3D 高斯泼溅（3D Gaussian Splatting, 3DGS）已成为 3D 模拟和理解的重要显式表示方法，广泛应用于自动驾驶和具身智能。然而，现有的 3DGS 方法严重依赖稠密的输入视角（即大量的训练图像）。当输入视角稀疏（Sparse Inputs）时，3DGS 会出现严重的渲染伪影（Artifacts），如飞点、模糊和几何结构错误，导致重建质量急剧下降。

现有方法的局限性：

• 传统 3DGS： 在稀疏输入下无法维持高质量的渲染。
• 前馈模型（Feed-forward Models）： 虽然尝试直接预测高斯属性，但在极端稀疏输入下仍会产生大量伪影，且泛化能力有限。
• 基于扩散模型的生成方法： 虽然能生成新视角，但往往难以保持 3D 一致性，或者计算成本过高，无法用于显式 3D 重建。
• 现有修复方法（如 DIFIX）： 仅适用于视角偏差较小的情况，无法处理大视角偏差下的严重伪影，且忽略了新视角引导与真实输入之间的差距，导致 3D 不一致。

目标：
在最少输入（例如仅 1 张图像或极少图像）的情况下，实现高质量的、3D 一致的 3DGS 场景重建，能够支持大范围的视角外推（View Extrapolation）和插值。

---

2. 方法论 (Methodology)

论文提出了 S2D (Sparse to Dense Lifting) 框架，旨在通过“稀疏到稠密”的提升过程，将稀疏的点云和输入图像转化为高质量的 3DGS 场景。该框架主要包含两个核心部分：

2.1 高效的一步扩散伪影修复器 (Efficient One-Step Diffusion Artifact Fixer)

为了解决稀疏输入下新视角渲染产生的严重伪影，S2D 设计了一个基于**单步扩散模型（One-Step Diffusion Model）**的修复器。

• 双重引导机制 (Dual Guidance)：
  • 结构引导： 利用视觉基础模型（VFM，如 $\pi^3$ 或 VGGT）生成的稀疏点云进行渲染。点云具有视角无关性和结构一致性，能提供场景的几何结构线索。
  • 纹理引导： 利用附近的真实输入视图作为参考，提供高频纹理细节。
• 混合模块 (Mixing Module)： 设计了一个早期混合模块，提取目标视图和点云引导的 DINO 特征与图像特征，通过交叉注意力机制融合，生成混合输入图像。这确保了模型能同时利用点云的结构信息和参考图的纹理信息，避免在单步去噪中丢失背景或结构。
• 训练策略： 使用 pix2pix-turbo 作为骨干，通过在 3DGS 渲染中引入随机位置抖动和旋转扰动来生成带有不同严重程度的伪影的训练数据。损失函数结合了 LPIPS、L2、SSIM、GAN Loss 和 DINO 特征损失。

2.2 稀疏输入下的鲁棒重建策略 (Robust Reconstruction Strategy)

为了在稀疏输入和稠密新视角引导之间实现稳定的模型拟合，S2D 提出了两种优化策略：

• 随机样本丢弃 (Random Sample Drop)：
  • 问题： 在训练集中，新视角（Novel Views）的数量通常远多于原始输入视图（Input Views），容易导致模型过拟合新视角的伪影，而欠拟合真实输入。
  • 方案： 采用概率采样策略，在训练过程中动态控制输入视图和新视角样本的比例。通过设定权重 $\alpha$（实验中设为 0.7），确保原始输入视图在训练过程中提供持续且充足的监督信号。
• 加权梯度 (Weighted Gradient)：
  • 问题： 新视角引导中可能存在无法修复的严重不一致区域（如点云未覆盖的区域），直接优化会导致高斯参数震荡。
  • 方案： 基于点云渲染的置信度掩码（Confidence Mask），为每个像素分配权重 $W \in [0, 1]$。在点云未覆盖或存在潜在伪影的区域降低梯度权重，从而限制这些区域对高斯模型更新的负面影响，防止优化过程被错误引导主导。

---

3. 主要贡献 (Key Contributions)

1. S2D 框架： 提出了一个灵活的框架，使基础 3DGS 方法能够在极端稀疏输入下（如单图或少数几图）进行重建，支持大范围的视角外推和插值。
2. 高效伪影修复模型： 设计了一个强大的单步扩散修复模型，能够同时利用输入视图的纹理和点云渲染的结构信息进行引导，在去除图像伪影方面达到了顶级质量，且推理效率高。
3. 鲁棒重建策略： 提出了随机样本丢弃和加权梯度策略，有效解决了稀疏输入与稠密新视角引导之间的优化偏差问题，显著提升了 3D 一致性。
4. 广泛的适用性： S2D 不固定输入数量，支持任意密度的输入，适用于室内、室外及自动驾驶等多种场景。

---

4. 实验结果 (Results)

论文在多个数据集（3DOVS, MIP360, DL3DV, RE10K, Waymo Open Dataset）上进行了广泛的定量和定性评估。

• 定量表现：
  • 在极端稀疏输入（如 1 张图像）下，S2D 在 PSNR、SSIM、LPIPS 和 FID 等指标上显著优于传统 3DGS、前馈方法（如 AnySplat, DepthSplat）以及生成式方法（如 SEVA, ViewCrafter）。
  • 与当前最先进的场景增强器 DIFIX 相比，S2D 在稀疏输入下的表现有质的飞跃，特别是在大视角偏差（360°）场景下，DIFIX 几乎失效，而 S2D 仍能保持高质量。
• 定性表现：
  • 室内/室外场景： S2D 重建的场景无严重伪影，几何结构清晰，纹理细节丰富，且在不同视角下保持一致性。
  • 自动驾驶场景： 在 Waymo 数据集上，S2D 在车道线偏移（Lane Shift）等外推任务中，FID 指标显著优于 StreetCrafter 和 DIFIX，生成的道路和车辆细节更加真实且连贯。
• 效率：
  • S2D 的修复器在单张 RTX 4090 GPU 上处理 1024x576 分辨率图像仅需约 1 FPS，显存占用低（11.1GB），相比基于视频生成的方法（如 SEVA）效率更高。

---

5. 意义与影响 (Significance)

• 降低 3DGS 应用门槛： S2D 极大地降低了 3DGS 重建对输入数据量的要求，使得在现实世界中（如仅拍摄少量照片或单目视频）快速构建高质量 3D 场景成为可能。
• 解决稀疏重建难题： 通过结合视觉基础模型（VFM）的结构先验和扩散模型的生成能力，S2D 成功解决了稀疏输入下 3D 重建的“伪影”和“不一致”两大核心痛点。
• 推动实际应用： 该方法特别适用于自动驾驶仿真、数字孪生和具身智能等需要快速、低成本构建 3D 环境的领域，具有极高的实用价值。
• 通用性： 作为一个插件式的框架，S2D 可以轻松集成到现有的 3DGS 方法中，提升其在各种稀疏场景下的性能。

总结： S2D 通过“稀疏点云结构引导 + 扩散模型纹理修复 + 鲁棒优化策略”的组合，实现了从极少输入到高质量稠密 3D 场景的跨越，是目前稀疏视角 3D 重建领域的突破性工作。