PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World

技术摘要：PhysForge

问题陈述
3D 生成模型的快速发展已实现了高保真几何资产的合成，但具身智能和交互式虚拟世界仍面临一个关键瓶颈：缺乏基于物理的生成。现有方法主要生成“空心外壳”资产——即静态几何体和纹理，缺乏物理交互所需的的功能属性、材质定义和运动学参数。因此，这些资产无法在仿真环境中被智能体抓取、推动或操作。当前的部件感知生成方法往往侧重于视觉分解而非功能逻辑，而基于物理的生成方法则经常依赖预定义的内容库，或难以泛化到具有精确关节结构的新型物体类别。

方法论：PhysForge 框架
为了解决这些局限性，作者提出了PhysForge，这是一个解耦的两阶段框架，旨在生成基于功能逻辑和分层物理的 3D 资产。该系统由新构建的大规模数据集PhysDB提供支持。

1. PhysDB（数据基础）：
   作者引入了 PhysDB，这是一个包含 150,000 个资产的数据集，源自 Objaverse、PartNet-Mobility 和 Infinite-Mobility。它具备新颖的四层标注系统：

   • 整体层： 全局属性（现实世界尺度、使用场景）。
   • 静态属性层： 部件级属性（语义标签、材质、质量）。
   • 功能层： 固有功能（例如“用于容纳”）和状态机（例如 [打开，关闭]）。
   • 交互层： 运动学定义，包括关节类型（旋转、移动、固定）、父子关系以及精确参数（轴原点、方向、限制）。

2. 阶段 1：基于 VLM 的规划（“物理架构师”）：
   第一阶段利用视觉 - 语言模型（VLM），具体为微调后的 Qwen2.5-VL，作为规划器。该模型不直接生成几何体，而是接收单张输入图像、可选的 2D 掩码和 3D 体素特征作为输入，以生成**“分层物理蓝图”**。

   • 该蓝图定义了所有部件的边界框布局及其详细的物理属性。
   • 该模型被训练为协同预测物理约束（材质、功能）与空间边界。作者观察到一种协同效应：提供物理约束显著帮助模型解决部件粒度歧义，使得即使在没有 2D 掩码引导的情况下也能实现连贯的部件分解。
   • 输出包括分层部件结构、父节点、关节类型以及量化的边界框坐标。

3. 阶段 2：基于扩散的生成（“实现”）：
   第二阶段采用扩散模型，根据蓝图合成高保真几何体、纹理和精确的运动学参数。

   • KineVoxel 注入（KVI）： 这是一项核心创新，将关节参数（原点、轴、限制）编码为特殊的"KineVoxel"表示。
   • 该 KineVoxel 与标准几何潜变量一起注入扩散流水线。系统使用独立的运动学编码器和解码器，将运动学数据映射到中间 Transformer 中与几何潜变量共享的统一潜空间。
   • 一个关节类型嵌入（源自 VLM 的规划）被添加到 KineVoxel 中以引导扩散过程，确保生成的几何体与规划的功能约束保持一致（例如，确保“旋转”关节允许旋转）。
   • 该模型使用条件流匹配（CFM）进行训练，其复合损失函数对运动学参数的准确性赋予高权重（$\lambda_{kine} = 10$）。

主要贡献

• 公式化与框架： 提出了一种新颖的"VLM 规划 + 扩散生成”范式，将高层物理规划与低层几何实现解耦。
• PhysDB 数据集： 创建了一个大规模（15 万个资产）、部件感知且具备细粒度四层物理标注的数据集，填补了该领域关键的数据空白。
• KineVoxel 注入： 一种机制，实现在统一扩散框架内协同生成几何体和精确运动学参数。
• 验证： 广泛的实验证明了 PhysForge 在部件结构规划和基于物理的生成方面均达到了最先进水平（SOTA）。

实验结果
该论文在多个基准测试中评估了 PhysForge，包括 PhysXNet、PartObjaverse-Tiny 以及 PhysDB 的自定义划分。

• 部件结构规划： 在 PartObjaverse-Tiny 数据集上，与 OmniPart 和 PartField 等基线相比，PhysForge 实现了更优的边界框 IoU（42.95%）和体素 IoU（53.74%）。值得注意的是，即使在没有 2D 掩码输入的情况下，该模型的表现依然稳健，优于依赖 SAM 生成掩码的基线方法，验证了物理引导规划的有效性。
• 物理属性生成： 在 PhysXNet 和 PhysDB 上，PhysForge 在几何质量（更低的 Chamfer 距离、更高的 F1 分数）以及预测物理属性（材质、可操作 affordance、功能）的准确性方面，均优于基线（TRELLIS, PhysXGen）。
• 运动学参数准确性： 在关节物体生成中，与 Articulate Anything 和 URDFormer 等最先进方法相比，PhysForge 显著降低了关节轴误差（0.101 vs. Singapo 的 0.241）和关节枢轴误差（0.071 vs. 0.153）。
• 消融研究： 移除关节类型嵌入或专用运动学编码器会导致关节准确性的显著下降，证实了两阶段协同和 KVI 机制的必要性。

意义与应用
作者声称 PhysForge 为交互式 3D 内容提供了一个强大的数据引擎。生成的资产是“仿真就绪”的，意味着它们可以直接部署于：

• 机器人仿真器： 实现智能体与功能部件交互的真实操纵任务（例如 RoboTwin）。
• 交互式虚拟世界： 允许在游戏引擎（例如 Unity, Unreal Engine）中进行复杂的基于物理的交互，而无需手动绑定。
• 智能体 - 环境交互： 促进自然语言查询，使具身智能体能够检索物理蓝图以规划操纵任务。

该论文总结道，通过将焦点从整体形状生成转向以物理为中心的合成，PhysForge 弥合了静态 3D 资产与具身智能动态需求之间的鸿沟。