Gen2Physics: Grounding Generated 3D Meshes in Physics via Multi-View Material Decomposition

在数字世界中，计算机在绘制三维物体方面已变得异常熟练。仅凭一张照片或寥寥数语，现代人工智能就能幻化出具有惊人视觉细节的椅子、机器人或玩具。这些数字创作看起来非常真实，但它们只是空洞的外壳。对于计算机而言，一把木头座面配金属腿的椅子只是一个连续的表面，是一个没有内部结构的单一物体。这给任何试图将这些图像用于视频游戏、机器人技术或物理模拟的人带来了显著的问题。现实世界的物体根据其材质进行运动；一个重金属头部配轻木质身体的物体，其倾斜和旋转的方式会与均匀密度的块体完全不同。如果不知道哪一部分是由什么材料制成的，计算机就无法模拟物体的掉落、反弹或滚动方式。几十年来，物体外观与其行为之间的差距一直是一个主要障碍，使得数字创作者只能拥有美丽却静态的资产，无法使其与模拟中的物理定律进行交互。

一组研究人员开发了一种名为 Gen2Physics 的新系统来弥补这一差距。他们的目标是获取一个静态的、生成的 3D 网格，并自动确定其材质构成，将其分解为独立的、可用于模拟的部件。该方法并不是在构建物体时就考虑物理属性，而是在物体已经创建之后进行处理。它就像一个数字侦探，通过从许多不同的角度观察物体，识别物体表面每一个微小斑块的材质，然后将物体重建为一个由具有各自重量和密度的固体部分组成的集合。其结果是，该数字资产不仅看起来正确，而且在掉落或被推动时，其行为也符合物理规律。

这一过程首先将 3D 物体视为一个需要从各面进行检查的雕塑。系统从十一个不同的视角渲染该物体，就像绕着一座雕像走动以观察其各个侧面一样。对于这些视图中的每一个，专门的计算机视觉模型都会分析图像，以猜测每个像素的材质。它通过寻找诸如光泽度、纹理和颜色等线索，来判断一个表面是木头、金属、玻璃还是织物。然而，仅从一个角度观察物体可能会产生误导。反射可能会让木质椅腿看起来像金属，或者阴影可能会遮住塑料把手。为了解决这个问题，系统将这十一个视图重新投影回 3D 模型，并使用投票系统。如果十一个视图中有十个都认为某个特定的面是金属，系统就会接受该结论为事实。这一步骤确保了最终的材质图谱是连贯的，并且不会受到单一视角带来的困惑。

即使有了连贯的图谱，计算机仍可能基于其所见内容出错。例如，一条细长的发光腿在相机看来可能是金属，但如果这个物体是一把椅子，常识会告诉我们它很可能是木头。为了修正这些逻辑错误，系统采用了大型语言模型，这是一种经过训练以理解上下文的人工智能。该模型会对物体进行整体观察，考虑其形状和功能，并修正材质标签。它可能会判定一个被标记为“金属”的部分实际上是“木头”，因为它属于椅腿的一部分；或者判定一个“塑料”部分实际上是“玻璃”，因为它是一个透明花瓶。这一步增加了纯图像分析无法实现的推理层，确保材质在现实世界中是合理的。

一旦材质被正确识别，系统便面临最后一个挑战：将这些扁平的表面斑块转化为实心的、水密的体积。模拟引擎无法处理空洞的外壳；它需要知道物体的内部，以计算其重量以及旋转方式。系统填充了缺失的几何结构，为每个材质部分创建了完整的 3D 形状。随后，它会询问语言模型，以判断每个部分是完全实心的，还是像管道或外壳一样是中空的。如果某个部分是中空的，系统会估算壁厚的程度。有了这些细节，它就可以计算整个物体的精确质量和重量分布。这使得计算机能够得知，例如，机器人的重金属头部位于上方，这会导致它在被推动时发生倾斜，而不是绕着中心完美旋转。

研究人员在大量的 3D 模型集上测试了他们的方法，并将其与以往的技术进行了对比。他们发现，该方法在识别材质方面更加准确，在测试集中正确标注了近一半的部件，这比早期方法的成功率高出一倍以上。当他们模拟物体掉落和碰撞时，结果令人瞩目。在一项测试中，一个由重金属头部和木质身体组成的机器人被落下。旧方法将整个物体视为具有相同的密度，导致其以一种不自然的方式绕其几何中心旋转。然而，新系统正确识别了沉重的金属头，计算出了真实的质心，并模拟了一次符合现实物理规律的坠落——重金属头向下拽拉物体，使其产生了真实的旋转。

这项工作代表了使数字内容适用于交互式应用的一个重要进步。通过自动将复杂的 3D 形状分解为它们的材质组件，并分配真实的物理属性，该系统将静态图像转化为了动态的、可交互的物体。研究人员指出，虽然他们的方法非常有效，但它仍然依赖于外部工具来填充缺失的几何结构，并且取决于初始 3D 模型的质量。他们还指出，目前的测试局限于材质在表面可见的物体，这意味着具有复杂且无法从外部看到的内部结构的物体仍然是一个挑战。尽管如此，生成既具有视觉忠实度又具有物理合理性的资产的能力，为机器人、游戏和工程领域更真实的模拟打开了大门，使数字世界与物理世界更加接近。