Extend3D：基于单张图像的城市级 3D 场景生成技术总结

1. 研究背景与问题定义 (Problem)

随着游戏开发、电影制作和模拟仿真等领域的发展，对高质量 3D 场景资产的需求日益增长。然而，现有的 3D 生成方法面临以下主要挑战：

• 数据局限性：大多数现有的 3D 数据集和生成模型（如 Trellis, Hunyuan3D）是基于“以物体为中心”（object-centric）的数据训练的，缺乏包含复杂物体排列和背景的大规模场景数据。
• 潜在空间固定：现有的潜在流模型（Latent Flow Models）通常使用固定大小的潜在空间。当试图生成大规模场景时，由于潜在维度的限制，输出结果会变得模糊，细节丢失，类似于低分辨率图像。
• 现有扩展方法的缺陷：
  • 外绘（Outpainting）方法：如 SynCity 和 3DTown，通过顺序生成或拼接子场景块来扩展场景。这会导致块与块之间的不一致性，产生可见的接缝（seams），且难以修复被遮挡的区域。
  • 子场景生成能力不足：直接依赖物体中心模型生成子场景时，常出现地板消失、物体随机旋转或忽略输入图像条件（如透视关系）等问题。
  • 2D-3D 空间对齐困难：在从单张 2D 图像生成 3D 场景时，难以保证图像条件与 3D 潜在空间在空间上的严格对齐。

核心目标：提出一种无需重新训练（Training-free）的流水线，能够基于单张 2D 图像生成大规模、高保真、几何结构完整且细节丰富的 3D 场景。

---

2. 方法论 (Methodology)

Extend3D 是一个基于预训练物体中心 3D 生成模型（如 Trellis）的扩展流水线，主要包含以下三个核心模块：

2.1 扩展潜在空间与重叠分块流 (Extended Latent Space & Overlapping Patch-wise Flow)

• 潜在空间扩展：为了表示大规模场景，作者将预训练模型的潜在空间在 $x$ 和 $y$ 方向上进行扩展（扩展因子为 $a, b$）。
• 重叠分块生成：
  • 将扩展后的潜在空间划分为重叠的块（Patches），类似于高分辨率图像生成中的 MultiDiffusion 方法。
  • 耦合去噪：每个块根据其对应的图像区域（Image Patch）进行条件化去噪。不同块的去噪路径通过重叠区域进行耦合（Coupling），即重叠区域的向量场取平均值。
  • 优势：这种机制允许相邻块相互影响，从而修正局部误差，捕捉更精细的局部信息，并避免传统外绘方法中的接缝问题。

2.2 基于先验的初始化与“欠去噪” (Initialization with Prior & Under-noising)

• 点云初始化：利用单目深度估计器（如 MoGe-2）从输入图像中提取点云，并将其体素化为占据网格（Occupancy Grid），作为场景结构的先验。这解决了直接从高斯噪声初始化导致的结构破碎和空间不对齐问题。
• 欠去噪（Under-noising）SDEdit：
  • 针对点云中被遮挡（Occluded）的区域，作者提出了一种特殊的 SDEdit 策略。
  • 原理：在 SDEdit 过程中，设置加噪时间 $t_{noise}$ 小于去噪起始时间 $t_{start}$（即 $t_{noise} < t_{start}$）。这意味着模型接收到的“引导”结构比标准 SDEdit 更“干净”（噪声更少）。
  • 效果：模型会将缺失或被遮挡的区域视为额外的“噪声”，从而在去噪过程中主动填充这些区域，实现 3D 结构的补全（3D Completion）。
  • 迭代优化：通过迭代执行 SDEdit，逐步完善被遮挡区域，直到场景完整。

2.3 基于先验的 3D 感知优化 (Optimize with Prior)

• 问题：即使有初始化，物体中心模型在去噪过程中仍可能偏离场景动态（如地板消失、物体扭曲）。
• 解决方案：在去噪的每一步，利用点云先验和原始图像对扩展的潜在向量进行优化（Optimization）。
  • 稀疏结构优化（Sparse Structure Optimization）：定义损失函数，确保初始点云对应的体素在去噪过程中不消失（防止物体或地板丢失）。
  • 结构化潜在优化（Structured Latent Optimization）：利用可微渲染器（如 Gaussian Splatting）将生成的 3D 场景渲染回相机视角，计算渲染图像与输入图像之间的 LPIPS 和 SSIM 损失。
  • 目的：强制去噪轨迹与子场景动态保持一致，修复接缝，提升纹理保真度，并确保几何结构符合输入图像。

---

3. 主要贡献 (Key Contributions)

1. 扩展潜在空间集成：首次将物体中心模型成功集成到大规模 3D 场景生成中，通过扩展潜在空间实现了可扩展的生成流水线。
2. 重叠分块流（Overlapping Patch-wise Flow）：提出了一种结合图像条件的重叠分块生成机制，有效捕捉局部信息并缓解物体中心模型带来的误差，消除了块间接缝。
3. 欠去噪与 3D 感知优化：
   • 引入了**欠去噪（Under-noising）**技术，将 3D 结构的不完整性视为噪声，实现了被遮挡区域的高质量补全。
   • 设计了3D 感知优化目标，在去噪过程中动态调整潜在空间，确保几何结构和纹理与输入图像及点云先验一致。
4. 无需训练（Training-free）：整个流程基于预训练模型，无需针对特定场景数据进行微调，具有极强的通用性。

---

4. 实验结果 (Results)

4.1 人类偏好评估 (Human Preference)

在几何结构（Geometry）、忠实度（Faithfulness）、外观（Appearance）和完整性（Completeness）四个维度上，Extend3D 在人类评估中显著优于当前最先进的模型（Trellis, Hunyuan3D-2.1, EvoScene）。

4.2 定量指标 (Quantitative Results)

• 图像质量：在 LPIPS（感知相似度）、SSIM（结构相似性）和 PSNR（峰值信噪比）指标上，Extend3D 均取得最佳成绩，表明其生成的 3D 场景在结构和纹理上最忠实于输入图像。
• 几何质量：在 UrbanScene3D 数据集上，使用 Chamfer Distance (CD) 和 F-score 评估，Extend3D 的几何精度优于 EvoScene 等对比方法。
• 一致性：与 SynCity 相比，Extend3D 在 CLIP 分数（文本/图像兼容性）和 Intra-LPIPS（块间一致性）上表现更佳，且无可见接缝。

4.3 消融实验 (Ablation Study)

• 分块大小：证明了重叠分块（$d=4$）比非重叠或过大分块能更好地捕捉细节并修正局部结构。
• 初始化：没有点云初始化会导致结构完全破碎；欠去噪（$t_{noise} < t_{start}$）比标准 SDEdit 能更自然地补全遮挡区域。
• 优化：稀疏结构优化防止了物体/地板消失，结构化潜在优化提升了纹理细节并消除了接缝。

---

5. 意义与局限性 (Significance & Limitations)

意义

• 突破规模限制：Extend3D 证明了通过扩展潜在空间和分块耦合，可以将原本用于生成单个物体的模型应用于城市级（Town-scale）场景的生成。
• 解决遮挡与对齐难题：提出的“欠去噪”和“3D 感知优化”策略，有效解决了单目深度估计无法推断遮挡区域以及 2D-3D 空间对齐困难的问题。
• 工业应用潜力：作为一种无需训练的通用流水线，该方法可大幅降低 3D 内容创作的成本，适用于游戏、影视和虚拟现实等领域。

局限性

1. 遮挡补全不完全：在某些极端遮挡情况下（如室内房间），补全可能仍不够完美。
2. 计算资源消耗：结构化潜在（SLAT）的优化过程对显存要求较高，尤其是在生成超大规模场景时。
3. 街道级图像表现：在处理具有强烈透视消失点的街道级图像时，由于 $x, y$ 坐标尺度的显著不匹配，性能受到限制。

总结：Extend3D 通过创新的潜在空间扩展、分块耦合流以及结合深度先验的优化策略，成功实现了从单张图像到大规模、高保真 3D 场景的生成，代表了当前训练-free 3D 场景生成领域的重要进展。