G4Splat: Geometry-Guided Gaussian Splatting with Generative Prior

G4Splat 提出了一种利用生成先验进行 3D 场景重建的新方法，通过利用平面结构推导精确的度量深度图作为几何监督，并结合视频扩散模型解决多视图不一致问题，从而在单视图输入和无姿态视频等复杂场景下实现了高质量且几何准确的场景补全。

要点

这篇论文介绍了一种名为 G4SPLAT 的新技术，它的核心目标是：只用很少的照片（甚至一张），就能在电脑里重建出非常逼真、结构准确的 3D 世界。

为了让你轻松理解，我们可以把 3D 重建想象成**“在黑暗中拼凑一个巨大的乐高模型”**。

1. 以前的困难：盲人摸象与“幻觉”

• 传统方法（只有几张照片）： 就像你只给了一个盲人几块乐高积木的碎片，让他猜整个城堡长什么样。以前的技术（比如 3DGS）在照片多的时候表现很好，但照片一少，它们就“晕”了。
  • 问题一（没尺度感）： 它们分不清哪里是近处的墙，哪里是远处的山，导致重建出来的模型要么巨大无比，要么缩成蚂蚁大小，而且经常飘着一些不存在的“幽灵积木”（浮空噪点）。
  • 问题二（AI 乱画）： 最近有人尝试用 AI（生成式模型）来“脑补”没拍到的地方。但这就像让一个画家在没看到原画的情况下瞎猜，他画出来的东西虽然好看，但经常和现实对不上号（比如把桌子画成飘在空中的，或者把墙画歪了）。这就叫“形状与外观的混淆”。

2. G4SPLAT 的绝招：给 AI 装上“透视眼”和“直尺”

G4SPLAT 的发明者认为，要想让 AI 画得好，必须先给 AI 一个准确的“骨架”（几何结构）。他们用了两个聪明的办法：

第一招：利用“平面”作为路标（几何引导）

• 比喻： 想象你在一个全是墙壁、地板和桌子的房间里（人造环境里到处都是平面）。以前的方法试图去猜每一块砖的位置，而 G4SPLAT 说：“别猜了，先找平面！”
• 做法： 它利用房间里到处都是“墙、地、桌”这些平面的特点，像用直尺一样，先精准地画出这些平面的位置和大小。
  • 一旦确定了墙在哪里，它就能推算出墙后面没拍到的地方大概是什么深度。
  • 这就好比先搭好了房子的钢筋骨架，AI 再往上面填砖头（纹理）时，就不会填歪了。

第二招：让 AI 在“规矩”里画画（生成式流程优化）

• 比喻： 以前让 AI 补全画面时，就像让它在一张白纸上随便画，结果画出来的东西和旁边的照片不连贯。G4SPLAT 给 AI 戴上了**“透视眼镜”**。
• 做法：
  1. 看清哪里该画： 它利用刚才搭好的“钢筋骨架”，精确告诉 AI：“这块区域被挡住了，看不见，你需要补全；那块区域已经看见了，别乱动。”
  2. 选对角度： 它会自动计算：“如果我从这个新角度拍，能最清楚地看到那面墙，那就从这个角度去‘脑补’画面。”
  3. 统一风格： 它确保 AI 从不同角度“脑补”出来的东西，颜色和形状是连贯的，不会出现“左边是红墙，右边补出来是蓝墙”的尴尬情况。

3. 最终效果：从“模糊的鬼影”到“清晰的城堡”

• 以前： 重建出来的 3D 场景，没拍到的地方经常是一团模糊的雾，或者飘着奇怪的色块（浮空噪点），走进去看就像进了鬼屋。
• G4SPLAT：
  • 看得见的地方： 非常清晰，没有杂乱的噪点。
  • 没拍到的地方（盲区）： 也能被精准地“脑补”出来，而且形状是对的（比如桌子腿是垂直的，墙是平直的）。
  • 通用性强： 无论是室内房间、室外公园，甚至只给一张照片或一段随手拍的视频，它都能重建出高质量的 3D 场景。

总结

简单来说，G4SPLAT 就是给 3D 重建技术装上了“几何指南针”。

它不再盲目地依赖 AI 去“猜”世界长什么样，而是先利用现实世界中“平面无处不在”的规律，搭建一个精准的几何骨架。然后，再让强大的 AI 在这个骨架的指引下，去填充细节和补全缺失的部分。

结果就是： 即使输入的照片很少，也能重建出既结构准确（不会飘、不会歪）又画面逼真（细节丰富、无噪点）的 3D 世界。这对于未来的机器人导航、虚拟现实（VR）和自动驾驶等领域，都是巨大的进步。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 G4SPLAT: GEOMETRY-GUIDED GAUSSIAN SPLATTING WITH GENERATIVE PRIOR（基于生成先验的几何引导高斯泼溅）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管基于预训练扩散模型的生成先验（Generative Prior）在 3D 场景重建中取得了进展，但现有的稀疏视角（Sparse-view）3D 高斯泼溅（3DGS）方法仍面临两个关键局限：

• 缺乏可靠的几何监督：现有方法在观测区域（Observed regions）难以生成高质量的几何结构，更不用说在未观测区域（Unobserved regions）。由于单目深度估计固有的尺度模糊性，导致重建结果存在严重的尺度问题。
• 多视图不一致性：生成模型（如扩散模型）生成的图像往往存在多视图不一致，导致严重的“形状 - 外观歧义”（Shape-Appearance Ambiguities），使得场景几何恢复质量下降，并产生大量漂浮的伪影（Floaters）。

核心观点：作者认为，准确的几何引导是利用生成模型增强 3D 场景重建的根本前提。

2. 方法论 (Methodology)

G4SPLAT 提出了一种将精确几何引导与生成先验深度融合的框架。其核心流程包括以下几个关键模块：

A. 平面感知的几何建模 (Plane-Aware Geometry Modeling)

利用人造环境中普遍存在的平面结构（Manhattan World Assumption）来获取尺度准确的深度图：

• 单视图平面提取：结合 SAM（Segment Anything Model）实例分割和法线图，从单张图像中提取 2D 平面掩码。
• 全局 3D 平面估计：利用 3D 点云将不同视图中的局部 2D 平面合并为全局一致的 3D 平面。通过 RANSAC 拟合，获得精确的平面方程（法向量 $n_k$ 和偏移 $d_k$）。
• 平面感知深度图生成：
  • 对于平面区域：直接通过射线与全局 3D 平面相交计算深度，确保尺度准确且跨视图一致。
  • 对于非平面区域：保留观测区域的深度，对未观测区域使用预训练的单目深度估计器预测相对深度，并通过线性变换（利用平面区域的深度进行对齐）将其转换为绝对尺度深度。
  • 结果：生成包含观测和未观测区域的完整、尺度准确的深度图，为后续步骤提供可靠的几何基础。

B. 几何引导的生成流水线 (Geometry-Guided Generative Pipeline)

将几何引导融入生成式修复（Inpainting）的闭环中，以解决多视图不一致问题：

1. 几何引导的可见性网格 (Geometry-Guided Visibility)：
   • 摒弃传统基于 Alpha 通道的噪声掩码，利用尺度准确的深度图构建3D 可见性网格 (Visibility Grid)。
   • 通过判断体素是否在至少一个训练视图的可见深度范围内，生成更精确的可见性掩码，用于指导生成模型仅修复不可见区域。
2. 平面感知的新视角选择 (Plane-Aware Novel View Selection)：
   • 不再使用简单的椭圆轨迹，而是利用全局 3D 平面作为物体代理。
   • 搜索相机位置，以最大化对平面结构的覆盖，确保新视角能提供丰富的上下文信息，从而指导生成模型进行更准确的修复。
3. 几何引导的修复 (Geometry-Guided Inpainting)：
   • 使用视频扩散模型（Video Diffusion Model）对选定的新视角进行不可见区域修复。
   • 多视图一致性策略：利用全局 3D 平面调制颜色监督。对于平面区域，选择对该平面观测最完整的视图作为颜色参考；对于非平面区域，选择首次可见的视图。这有效减少了跨视图的颜色冲突。

C. 训练策略

• 初始化阶段：利用 MAtCha 进行初始对齐，提取全局 3D 平面，构建平面感知深度图，初始化高斯参数。
• 迭代优化阶段：构建可见性网格 -> 选择新视角 -> 视频扩散模型修复 -> 将修复后的视图加入训练集 -> 重新计算平面和深度 -> 微调高斯。通过多次循环（实验中为 3 次），逐步恢复未观测区域并修正几何偏差。

3. 主要贡献 (Key Contributions)

1. 提出了一种新颖的几何约束提取方法：利用平面表示推导尺度准确的几何约束，显著提升了 3D 场景重建质量，特别是在未观测区域。
2. 构建了几何引导的生成流水线：将几何引导引入生成过程，改善了可见性掩码估计、新视角选择和多视图一致性，实现了可靠且一致的场景补全。
3. 广泛的实验验证：在 Replica, ScanNet++, DeepBlending 和 Mip-NeRF 360 等多个数据集上，该方法在几何重建（CD, F-Score, NC）和外观渲染（PSNR, SSIM, LPIPS）方面均超越了现有最先进方法（SOTA），且支持单视图输入和无姿态视频输入。

4. 实验结果 (Results)

• 定量表现：
  • 在 Replica 数据集（5 张输入视图）上，G4SPLAT 的 Chamfer Distance (CD) 为 6.61（优于次优的 MAtCha 10.12），F-Score 达到 65.14，PSNR 达到 23.90。
  • 在 Mip-NeRF 360（9 张输入视图）上，PSNR 达到 18.66，显著优于 GuidedVD (16.78) 和 GenFusion (17.82)。
  • 在几何指标（如 F-Score 和 Normal Consistency）上提升尤为明显，证明了其几何重建的优越性。
• 定性表现：
  • 生成的场景在观测和未观测区域均具有平滑、无漂浮物（Floater-free）的几何结构。
  • 有效解决了现有生成方法在补全区域产生的模糊和形状扭曲问题。
  • 在单视图重建（Single-view）和无姿态视频（Unposed video）场景下表现出强大的泛化能力。
• 消融实验：证明了平面感知几何建模（PM）和几何引导生成流水线（PP）对提升几何精度和渲染质量均至关重要。

5. 意义与影响 (Significance)

• 解决核心痛点：G4SPLAT 成功解决了稀疏视角下生成式 3D 重建中“几何不可靠”和“多视图不一致”的两大难题，证明了几何先验与生成先验结合的重要性。
• 实际应用潜力：该方法不仅适用于室内曼哈顿世界，也能处理室外非结构化场景。其支持单视图和无姿态视频输入的特性，使其在具身智能 (Embodied AI)、机器人导航、数字孪生等实际应用场景中具有极高的实用价值。
• 效率与鲁棒性：相比其他生成式方法，G4SPLAT 在保持高质量重建的同时，并未显著增加计算成本，且对光照变化和复杂场景具有鲁棒性。

总结：G4SPLAT 通过引入基于平面假设的尺度准确几何引导，构建了一个闭环的生成式重建框架，实现了从稀疏输入到高质量、几何一致且外观逼真的 3D 场景重建，是目前该领域的突破性工作。