GS-Agent: Creating 4D Physical Worlds With Generative Simulation
GS-Agent 引入了一种端到端的多智能体框架，该框架利用基础模型和物理引擎，通过模拟人类在资产管理、材质调优、运动控制和渲染方面的类似工作流，根据自然语言描述自动生成动态、符合物理规律且可控的 4D 世界。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图构建一个电影场景：一个篮球从蹦床跳起，溅入泳池，然后滚远。在现实世界中，物理规律是自然发生的：重力在拉扯，水花在飞溅，球之所以弹起是因为物质的特性。但在计算机的数字世界里，让物体运动得真实起来简直是一场噩梦。传统上，你需要一个由艺术家和工程师组成的团队来手动调整每一滴水和每一次弹跳，这极其耗时。近年来，计算机在利用人工智能“构思”图像和视频方面变得非常出色，但这些数字“梦想家”往往会搞错物理规律。它们可能会让球像幽灵一样漂浮，或者让水变成坚硬的玻璃，因为它们只是在猜测下一帧像素应该长什么样，而不是在计算这个世界是如何运作的。科学家们一直试图弥合这一差距：我们如何让计算机不仅看起来像真实世界，而且表现得也像真实世界，同时还能让我们通过输入简单的句子来指挥它？
于是有了 GS-Agent，这是一个全新的系统，它就像是一个超级智能的自动化电影剧组，专门用于创建 4D 世界（即随时间变化的 3D 世界）。它并不像普通的“魔法盒”那样直接去“梦幻”出一段视频，而是使用一组协同工作的 AI 专家在真实的物理引擎内构建场景。你可以这样理解：如果你要求普通的 AI “制作一段草莓撞击水滴的视频”，它可能只会画出一幅看起来很漂亮的画面，但只要稍微放大一点，画面就会崩塌。然而，GS-Agent 扮演的是导演、道具师和摄影师多重角色。它将你的请求分解为多个步骤：寻找或构建草莓和水的 3D 模型，赋予它们正确的“个性”（比如有多软或多硬），将它们放置在场景中，然后运行真实的物理模拟，观察它们碰撞时究竟会发生什么。
该论文介绍了一个框架，其中三个不同的 AI “智能体”（Agents）协同工作。**管理者智能体（Manager Agent）**是老板；它阅读你的句子，将其分解为待办事项清单，并分配任务。**实体智能体（Entity Agent）**是建造者；它获取 3D 模型，调整它们的材质（确保面团是柔软的，而桌子是坚硬的），并将它们放置在合适的位置，以免悬浮在半空中。**渲染智能体（Render Agent）**则是电影摄影师；它布置摄像机、灯光和角度，使场景具有电影感。至关重要的是，这些智能体并不只是靠猜。它们编写代码来运行模拟，观察结果，如果发现某些地方看起来很奇怪（比如球掉进了地板下面），它们会自动进行修复。它们不断微调场景，直到物理效果合理且视频完全符合你的描述。
研究人员将该系统与目前最优秀的视频生成 AI 模型（如 Sora 和 Wan）以及其他尝试构建场景的 AI 智能体进行了对比测试。结果显示，虽然其他模型生成的视频看起来很漂亮，但往往违反了物理定律（例如物体互相穿透，或液体表现得像固体块一样），而 GS-Agent 创建的世界则具有真实的物理特性。它成功模拟了复杂的交互作用，例如子弹刺破水气球或海绵扭转并断裂的过程，且符合正确的物理规律。该系统在遵循特定指令（如“让摄像机绕圈移动”或“让巧克力缓慢滴落”）方面也表现得出色得多。
最酷的一点是，GS-Agent 不仅仅停留在制作一段视频。因为它使用真实的物理代码来构建世界，所以它产生的是一个包含深度图和每个粒子运动轨迹等隐藏数据的“4D 世界”。这意味着输出结果不仅仅是一个视频文件，而是一个可玩、可交互的模拟环境。作者认为，这可能是训练机器人或自动驾驶汽车的一个巨大飞跃，为它们提供一个安全、真实的练习场所，在进入现实世界之前进行演练。虽然该系统目前还不完美，且受限于现有的物理模拟技术，但它展示了一条充满希望的新路径：与其教 AI 如何幻觉出现实，不如教它如何一步步按照物理规则来构建现实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。