3DCodeVerse: Exploring 3D Worlds as Code

想象这样一个世界：创造一个三维物体不再是使用粘土进行雕刻或用鼠标拖动形状，而是编写指令，就像作曲家谱写交响乐或建筑师绘制蓝图一样。这就是 3D 编程的领域，在这个领域中，计算机程序充当了构建数字几何体、定义部件如何运动以及创作整个场景的工具。多年来，研究人员一直试图教会人工智能编写这些指令，希望实现从简单玩具到复杂机械的自动化创建。挑战在于，虽然计算机擅长遵循规则，但它们难以理解这些规则所描述的物理现实。一个程序可能会生成一个在屏幕上看起来完美的椅子，但其腿部却悬浮在半空中，或者关节无法物理性地弯曲。直到现在，一直缺乏一种可靠的方法来教机器检查自己的工作，捕捉这些物理错误，并在无需人类介入说出“那条腿太长了”的情况下进行修复。

一组研究人员推出了一种名为 3DCodeVerse 的新系统，它通过将 3D 创建视为一个编写、测试和完善代码的过程，改变了游戏规则。该系统不再依赖人类来检查每一个数字对象，而是使用一个由人工智能代理组成的团队，它们协同工作，负责编写代码、运行代码并严格检查结果。如果代码生成了一把腿部悬空的椅子，系统会检测到错误，计算出腿部距离地面究竟有多远，并指示编码代理重写特定的代码行以进行修复。这个循环自动重复，使得系统能够生成高质量、符合物理规律的 3D 内容，其规模之大是以前无法实现的。研究人员构建了一个包含超过两百万个可运行 3D 代码示例的海量库来训练他们的模型，并创建了一个框架，用于验证生成的物体是否确实按照其描述的方式存在。

这一成就的核心是一个名为 3DCodeVerse-2M 的数据集，它为这些人工智能模型提供了广阔的训练场。研究人员从各种来源（如用于 3D 设计和过程化生成的开源库）收集了现有的代码，并将它们转换为可以执行和检查的统一格式。他们还利用自己的自动化系统生成新的程序，确保库中的每一段代码都能实际运行并产生结果。这个集合包括了创建静态物体（如桌子）、关节联动资产（如带有运动关节的机器人）、整个虚拟场景，甚至是复杂的视觉效果的指令。通过在这样一个多样化且经过验证的库上训练模型，研究人员发现，人工智能编写可用代码的能力显著提升。在标准任务测试中，经过该数据微调的模型能够成功执行其生成的代码接近 93% 的时间，这与未经过此类训练的模型相比有了巨大的进步。

为了确保生成的代码不仅能产生可执行的结果，还能产生高质量的 3D 内容，该团队开发了一个名为 3DCodeVerse Harness 的复杂框架。该系统充当了一个多阶段的工作坊，不同的 AI 代理在其中扮演特定角色。一个代理负责规划物体的结构，将像“建造一个三脚凳”这样复杂的请求分解为更小的任务。其他代理负责编写每个部分的编码，而另一个独立的代理则充当评判员，根据原始请求检查渲染出的输出。至关重要的是，该系统并不依赖人类的眼睛来寻找错误。它使用自动化工具来测量数字物体，检查诸如部件未接触、关节碰撞或尺寸不正确等问题。如果发现问题，系统会生成具体的修复指令并将其发回给编码代理。这种编写、检查和修复的循环会一直持续，直到物体满足所有标准。在测试中，这种自动化精炼过程使得系统生成的成果在与领先的商业设计工具相比时，被人类评估者青睐的比例超过了 90%。

研究人员还展示了这种方法在不同类型的 3D 创建（从机械零件到动画场景）中的适用性。他们展示了该系统如何根据文本描述，生成一个能够正确运动的机械臂程序，或者一个家具摆放妥当且光照合理的虚拟房间。在其中一个特定应用中，他们利用生成的 3D 代码来引导视频创作，确保视频中物体的运动符合代码中定义的物理约束。这种将刚性的逻辑代码与流动的视觉媒体相结合的做法，为控制数字世界的构建和动画提供了一种新途径。该系统能够在无需人工干预的情况下处理复杂的、多部分的项目的能力，标志着在使 3D 创建变得触手可及且具备可扩展性方面迈出了重要一步。

研究结果表明，3D 设计的未来可能在于人类创造力与自动化验证之间的伙伴关系。通过提供一种让机器根据物理定律和用户需求来检查自身工作的手段，研究人员消除了创作过程中的一个主要瓶颈。该系统不仅仅是猜测一个物体应该长什么样；它是在构建、测量并不断修正，直到达到正确状态。这种能力为生成海量的定制 3D 内容打开了大门，这些内容可广泛应用于机器人技术、娱乐和工程领域，并完全由简单的文本指令驱动。这项工作为该领域奠定了新的基础，证明了只要拥有正确的工具和训练数据，人工智能不仅可以编写构建 3D 世界的代码，还能确保这些世界符合逻辑。