🤖 AI

Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors

本文提出了 Points-to-3D，这是一种基于潜在 3D 扩散模型 TRELLIS 的框架，它通过利用点云先验（无论是来自 LiDAR 等主动传感器还是 VGGT 预测）作为结构化输入，并结合结构修复网络与分阶段采样策略，实现了在保持可见区域几何约束的同时生成高质量、几何可控的 3D 资产与场景。

原作者： Jiatong Xia, Zicheng Duan, Anton van den Hengel, Lingqiao Liu

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiatong Xia, Zicheng Duan, Anton van den Hengel, Lingqiao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Points-to-3D 的新方法，它的核心目标是：让 AI 在生成 3D 物体或场景时，能够“听话”地保留你提供的真实几何结构，同时聪明地补全看不见的部分。

为了让你更容易理解，我们可以把整个过程想象成**“在一张残缺的拼图上作画”**。

1. 以前的痛点：AI 是个“凭感觉”的画家

想象一下，你以前让 AI 画一个 3D 的椅子。你只给它看一张椅子的照片（或者描述“一把红色的椅子”）。

AI 的做法：它会发挥想象力，画出一把椅子。但这把椅子可能腿有点歪，或者背面看起来怪怪的，因为它完全是在“猜”椅子的背面长什么样。它没有真正的“骨架”约束，就像是一个凭感觉乱画的画家，虽然画得挺像，但结构可能经不起推敲。
问题：如果你手里其实已经有一张椅子的真实骨架图（比如激光雷达扫描出来的点云，或者从照片里估算出的点云），以前的 AI 却不会用，它还是坚持自己瞎猜，导致生成的 3D 模型和你手里的真实数据对不上。

2. 新方法的突破：给 AI 戴上“透视眼镜”

Points-to-3D 就像给这位画家戴上了一副**“透视眼镜”，并递给他一张“残缺的骨架图”**。

输入（你的“骨架图”）：
- 你可以直接给 AI 一个真实的 3D 点云（比如用 iPhone 的 LiDAR 扫描的，或者用 VGGT 这种工具从照片里算出来的）。
- 这个点云只包含你能看见的部分（比如椅子的正面和侧面），背面是空的。
核心魔法（“填坑”而非“重画”）：
- 以前的 AI 是从一团乱麻（纯噪音）开始重新画整个椅子。
- Points-to-3D 的做法是：它先把你的“可见骨架”直接嵌入到画布的底层，把这部分固定死，不许动。
- 然后，它像一个高明的**“修补匠”，只负责把那些看不见的、空缺的部分**（比如椅背后面、椅子底下）给“补”上。
- 关键点：它补的时候，会严格遵循你给的骨架，确保补出来的部分和原来的部分严丝合缝，不会长出奇怪的角。

3. 具体是怎么做的？（两步走策略）

这就好比修补一个破洞的陶罐：

第一步：搭骨架（结构补全）
- AI 先根据你给的那部分骨架，快速把整个陶罐的大轮廓搭出来。
- 这时候，它保证整体形状是对的，但边缘可能有点粗糙，或者连接处有点模糊。
第二步：精修边（边界优化）
- 在搭好大轮廓后，AI 会专门花一点时间，把**“你给的部分”和“它补的部分”**之间的接缝处打磨光滑。
- 这就像把新补的陶土和旧陶土完美融合，让人看不出哪里是原来的，哪里是补的，同时保证原来的形状一点都没变。

4. 为什么这很厉害？（实际效果）

更真实：如果你用真实的扫描数据（比如扫描一个真实的玩具），AI 生成的 3D 模型在扫描过的地方完全重合，就像复印出来的一样精准。
更可控：你可以控制生成的形状。比如你想生成一个“像这把真实椅子，但是是蓝色的”，AI 会保留椅子的真实结构，只改颜色。
适应性强：
- 情况 A：你有高精度的 3D 扫描数据（像专业摄影师），效果完美。
- 情况 B：你只有一张普通照片，AI 会先用工具（VGGT）从照片里“猜”出一个大概的点云，然后再用这个方法去生成。虽然“猜”的不如扫描的准，但比以前的方法已经好太多了。

总结

Points-to-3D 就像是给 AI 3D 生成技术装上了**“导航仪”。
以前 AI 是“闭眼造车”，造出来的车可能轮子装反了；
现在它是“看着图纸造车”**，图纸上有的部分（可见区域）它绝对不乱动，只负责把图纸上没画的部分（不可见区域）合理地补全。

这让 AI 生成的 3D 物体不仅看起来漂亮，而且在结构上真正可信，非常适合用于游戏开发、虚拟现实、机器人导航等需要精确 3D 数据的场景。

1. 研究背景与问题 (Problem)

现有局限： 当前的 3D 生成模型（如基于图像或文本条件的扩散模型）虽然在生成多样性上表现出色，但在几何可控性方面存在显著不足。它们缺乏机制来尊重真实的 3D 测量数据，导致生成的 3D 资产在几何结构上可能与输入图像或物理现实不符。
未利用的潜力： 在现实场景中，可见区域的点云数据（Point Cloud Priors）非常容易获取。这些数据可以来自主动传感器（如 LiDAR、深度相机），也可以来自前馈预测模型（如 VGGT）。然而，现有的 3D 生成流水线很少利用这些现成的结构信息来约束生成过程。
核心挑战： 如何将点云先验（Point Cloud Priors）有效地嵌入到 3D 生成框架的潜在空间（Latent Space）中，使其既能作为硬约束保留可见区域的几何结构，又能合理补全不可见区域，而不是简单地将其作为额外的条件输入。

2. 方法论 (Methodology)

本文提出了 Points-to-3D，一个基于扩散模型的 3D 生成框架，旨在利用点云先验实现几何可控的 3D 资产和场景生成。该方法基于 TRELLIS（一种潜在 3D 扩散模型）进行改进。

2.1 核心架构与流程

Points-to-3D 将 3D 生成重新定义为基于点云先验的潜在空间修复（Inpainting）问题。

点云编码与初始化 (Voxelization and Encoding)：
- 不再像传统方法那样从纯高斯噪声初始化潜在结构，而是将输入的可见点云（无论是真实传感器数据还是 VGGT 预测数据）体素化。
- 利用 TRELLIS 的稀疏结构 VAE 编码器（ $E_s$ ）将体素化后的点云编码为部分观测的稀疏结构潜在表示（Partially Observed Sparse Structure Latent, $q_{vis}$ ）。
- 该表示直接反映了测量到的几何形状。
混合潜在输入构建 (Input Formulation)：
- 构建一个掩码（Mask），区分“可见区域”和“不可见区域”。
- 将可见区域的潜在特征保留，不可见区域填充随机噪声，形成混合输入 $q_{comb}$ 。
- 将掩码 $m_s$ 沿通道维度拼接到输入中，形成最终输入 $x_{inp}$ ，使模型明确知道哪些区域需要保持，哪些需要生成。
修复网络训练 (Inpainting Network Training)：
- 在 TRELLIS 框架内训练一个结构修复网络（Structure Inpainting Network, $G_{inp}$ ）。
- 训练数据构建： 从完整 3D 资产中渲染多视角深度图，根据深度一致性提取“可见点云”，将其作为输入，完整资产的稀疏结构作为 Ground Truth，构建“部分 - 完整”配对数据。
- 损失函数： 使用条件流匹配损失（Conditional Flow Matching Loss, CFM）进行优化，学习从可见区域推断不可见区域的几何线索。
两阶段采样策略 (Staged Sampling Strategy)：
在推理阶段，采用轻量级的两阶段采样策略以平衡全局一致性和边界质量：
- 阶段一：结构修复 (Structural Inpainting)： 使用 $s$ 步采样（例如 25 步），在可见点云的约束下生成全局一致的骨架结构。
- 阶段二：边界细化 (Boundary Refinement)： 使用剩余的 $t-s$ 步采样（例如 25 步）。在此阶段，将可见性掩码替换为全 1 掩码，将修复任务转化为标准的去噪任务。这使得模型能够在不破坏已锚定几何结构的前提下，精细修复生成区域与可见区域之间的边界，消除“空洞”或伪影。

3. 关键贡献 (Key Contributions)

显式点云先验嵌入： 首次提出将点云先验直接嵌入到 3D 扩散模型的潜在结构空间中，而非仅作为外部条件。这实现了真正的几何可控生成。
基于掩码的潜在修复框架： 设计了一种新的输入范式，将观测到的几何结构作为固定约束，将未观测区域作为生成空间，通过修复网络完成全局几何。
两阶段采样策略： 提出了“结构修复 + 边界细化”的采样策略，有效解决了传统修复方法在边界处容易产生几何不一致或空洞的问题。
广泛的适用性： 模型既支持高精度的真实传感器点云输入，也支持由单张图像通过前馈模型（如 VGGT）预测的点云输入，具有极强的鲁棒性。

4. 实验结果 (Results)

作者在物体级（Toys4K）和场景级（3D-FRONT）基准上进行了广泛评估，并与 SOTA 方法（如 TRELLIS, GaussianAnything, SAM3D, VoxHammer 等）进行了对比。

渲染质量与几何保真度： Points-to-3D 在所有评估指标（PSNR, SSIM, LPIPS, DINO, Chamfer Distance, F-Score）上均显著优于基线模型。
- 在几何指标上，使用真实点云先验时，F-Score 达到 0.964，Chamfer Distance 低至 0.013，表明生成的几何结构与真实结构高度对齐。
- 在可见区域（即点云覆盖区域），F-Score 甚至高达 0.998，证明了模型能完美保留输入的先验几何。
VGGT 预测点云的表现： 即使使用 VGGT 从单图预测的（存在误差的）点云作为先验，Points-to-3D 依然能显著提升生成质量，优于其他仅依赖图像条件的模型。
消融实验：
- 验证了两阶段采样策略的必要性：若仅使用修复步骤（无细化），边界处会出现几何“空洞”；加入细化步骤后，几何指标达到最优。
- 证明了直接嵌入点云比通过注意力机制间接注入（如 SAM3D）更能实现精确的几何控制。
真实世界与文本生成： 在 Pix3D 真实图像和 Text-to-3D 任务中，模型均表现出良好的鲁棒性和语义一致性。

5. 意义与影响 (Significance)

填补了空白： 解决了当前 3D 生成领域缺乏对真实 3D 测量数据利用的问题，为“几何可控生成”提供了新的范式。
实际应用价值： 该方法特别适用于需要高几何精度的场景，如数字孪生、机器人导航、AR/VR 内容创建等，其中部分几何信息已知（通过扫描或预测），但需要补全完整 3D 模型。
未来方向： 展示了将显式 3D 先验与生成式 AI 结合的巨大潜力，为未来开发更可靠、更可控的 3D 生成系统奠定了基础。

总结： Points-to-3D 通过创新地将点云先验转化为潜在空间的修复任务，成功实现了在保留已知几何结构的同时，高质量地补全未知区域，显著提升了 3D 生成的几何准确性和可控性。