🤖 AI

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

本文介绍了 Agentic Real2Sim，这是一个视觉-语言智能体框架，它通过恢复几何结构、推断物理参数以及组装场景组件，将耗时费力的现实世界机器人交互过程自动转化为可运行的物理仿真，从而实现在多样化的操控与运动领域进行可扩展的策略学习与评估。

原作者： Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Huamin Wa

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人做一项新动作，比如叠杯子或叠衣服。你可能会花好几个月的时间拍摄人类完成这些动作的视频，但随后你必须在计算机程序中手动重建每一个杯子、桌子和手部动作，才能让机器人进行练习。这就像是在试图通过手动绘制游戏世界中的每一个像素，来教一个电子游戏角色如何行动。这就是“实景到仿真”（Real-to-Sim）问题：将杂乱的现实世界视频转化为一个干净、可玩的数字孪生体。科学家们一直试图实现这一过程的自动化，但这通常是一个脆弱的过程，其中关于桌子高度或杯子重量的一个微小测量误差，就会导致整个模拟过程崩溃。

欢迎来到“智能体”（Agentic）AI的世界。不要把AI智能体仅仅看作一个简单的计算器，而要把它看作一个微型、超级聪明的项目经理。智能体不仅仅是遵循一套僵化的指令，它能够观察一个混乱的情况，决定使用哪些工具，检查自己的工作，并随时修正错误。这篇题为《Agentic Real2Sim》的论文提出了一个宏大的问题：我们能否利用这些聪明的AI项目经理，自动将一段机器人执行任务的视频转化为一个高质量、可玩的数字版本？其目标不仅仅是制作一张漂亮的3D图片，而是要制作一个物理精确的世界，让机器人在其中可以重演任务，从错误中学习，并不断进步，而无需人类手动调整每一个数值。

作者引入了一个名为 Agentic Real2Sim 的新框架，它就像是一个由数字侦探和工程师组成的团队，共同协作解决这个谜题。该系统并非由人类手动清理3D模型或猜测物体的重量，而是使用一个“视觉-语言智能体”（一种能够理解图像并理解语言的AI）来编排整个过程。该系统接收一段真实机器人与物体交互的视频（例如一个DROID机器人拿起工具），并将其分解为四个专门的步骤，每个步骤都由团队中不同的“智能体”负责。

首先，**视觉处理智能体（Visual Processing Agent）**负责观看视频。它就像一名法医分析师，通过冻结动作来挑选最佳帧，裁剪出机器人正在接触的物体，并构建它们的3D模型。它能确定机器人的位置、摄像机的位置以及地板的样子。如果AI被阴影或反射干扰了，它可以要求自己尝试使用不同的帧重新进行。

接着，**物理先验推理智能体（Physical-Prior Inference Agent）**介入。它是这个团队中的“物理老师”。它观察3D模型，并推测出计算机为了让模拟感觉真实所需要的那些不可见的属性。它会思考：“这个物体是金属做的还是橡胶做的？它有多重？它的弹性如何？”它将这些物理规则附加到数字模型上，这样当模拟运行阶段，一个沉重的箱子掉落的方式就会与轻盈的箱子不同。

然后，**场景准备智能体（Scene Preparation Agent）**充当舞台监督。它将所有的3D模型、机器人的起始位置和摄像机角度整合在一起，并在一个名为MuJoCo的物理引擎中搭建起整个数字世界。它确保机器人的脚踩在地面上，并且物体都处于正确的位置。

最后，**模拟器在环智能体（Simulator-in-the-Loop Agent）**是质量控制检查员。它运行模拟过程，以观察机器人是否真的能抓取物体。如果机器人因为数字杯子放置的位置稍微偏离了一点而抓空了，这个智能体会注意到失败，调整位置，并再次尝试，直到机器人成功为止。这是一个“尝试、检查、修复、再尝试”的循环，且是自动完成的。

研究人员在100个不同的机器人视频（来自名为DROID-100的数据集）上测试了这个系统，这些视频涉及诸如拿起并放置物体等任务。他们发现，该系统可以成功地将约 48/100 个片段转化为可玩的、真实的模拟环境，让机器人可以重演任务。虽然这意味着仍有近一半的尝试面临挑战或需要进一步完善，但结果是令人鼓舞的。该系统也具备足够的灵活性来应对不同类型的挑战：它可以模拟柔软、具有弹性的物体（如布料或绳索等可变形物体），甚至可以模拟人形机器人的行走动作。

最令人兴奋的发现之一是关于成本的问题。团队测试了使用不同的“大脑”（AI模型）来运行这些智能体。他们发现，一个较小的开源AI模型（一个拥有310亿参数的模型，名为Gemma 4）的表现与大型科技公司那些昂贵的、专有的模型一样出色。事实上，使用更便宜的模型在进行相同次数的转换时，成本仅为后者的约三一分之一。这表明，我们并不需要最昂贵、最强大的AI来构建这些数字孪生体；一个聪明、高效的智能体就能以极低的成本完成繁重的任务。

论文总结道，尽管该系统目前还不完美——在处理复杂的视觉错误或棘手的物理特性时仍会遇到困难——但它代表了一个重大的进步。我们正在从人工手动构建模拟，转向一个AI智能体可以观察机器人工作、构建该时刻的数字孪生体，并让其他机器人从中学习的未来。作者希望在未来，这些数字孪生体将被用于训练机器人更快、更安全地学习新技能，将混乱的现实物理世界转化为一个学习的游乐场。

技术摘要：Agentic Real2Sim

问题陈述

将现实世界的机器人交互录像转换为可模拟的数字孪生（Real2Sim）仍然是一个劳动密集型的瓶颈。尽管现代模拟器和大规模数据集已经存在，但要从一段视频录像创建一个可运行的物理模拟，所需的不仅仅是视觉重建。一个完整的流水线必须恢复场景几何结构、推断物理参数（质量、材料、摩擦力）、对齐坐标系，并将执行者（actors）、物体（objects）和轨迹（trajectories）组装成一个连贯的模拟过程。目前，这一过程高度依赖于对视觉基础模型的手动调优、网格清理，以及感知工具与模拟器之间脆弱的工作流集成。现有方法通常侧重于孤立的组件（例如资产恢复或视觉对齐），而不是提供一个可扩展的端到端框架，用于将完整的交互片段转换为物理上合理的数字孪生。

方法论：Agentic Real2Sim 框架

本文介绍了 Agentic Real2Sim，这是一个利用视觉语言模型（VLMs）作为智能体（agents）来自动化将现实世界交互片段转换为可模拟“片段孪生”（episode twins）的框架。该系统旨在保留观测、几何、机器人交互、物体状态和物理参数。

系统架构

该框架将转换过程分解为四个相互关联的智能体，将确定性工具与智能决策分离：

视觉处理智能体（Visual Processing Agent）：
- 摄取原始视频和同步摄像机流。
- 执行物体发现、关键帧选择和分割（使用 SAM 3）。
- 重建 3D 几何结构（使用 SAM 3D）并估计物体尺度。
- 追踪随时间变化的 6-DoF 物体位姿（使用 FoundationPose）。
- 输出一个包含网格（meshes）、位姿轨迹（pose tracks）和掩码（masks）的标准片段文件夹。
物理先验推理智能体（Physical-Prior Inference Agent）：
- 将视觉证据和任务上下文转换为面向模拟器的先验信息。
- 推断物体身份、材料类别、质量提示以及物理模拟所需的接触相关属性。
场景准备智能体（Scene Preparation Agent）：
- 通过对齐机器人基座位姿、物体位姿、摄像机坐标系和地面参考点来初始化模拟器场景。
- 将资产和轨迹加载到模拟器后端（例如 MuJoCo）。
- 根据回放证据，在确定性的参数扫描与 LLM 辅助的精细化循环之间做出决策。
带入环模拟器抓取优化（Simulator-in-the-Loop Grasp Optimization）：
- 优化被操作物体的放置，以确保成功的抓取。
- 基于接触和抓取结果迭代优化物体位置。

片段契约（Episode Contract）

系统定义了一个标准化的片段孪生表示形式： $\mathcal{T} = (\mathcal{O}, \mathcal{A}, \mathcal{G}, \mathcal{S}_{1:T}, \Theta, \mathcal{B}, \mathcal{M})$ ，涵盖了观测、执行者、几何、时序状态、物理参数、模拟器后端和成功指标。该契约允许同一流水线适配不同的领域：

刚性物体： 标准操作（例如 DROID 数据集）。
可变形物体： 用追踪的几何/粒子取代刚性位姿追踪，并使用模拟器展开（rollouts）来验证材料参数（PhysTwin 风格）。
类人运动： 用运动上下文检索和针对重定向参考运动的闭环回放取代以物体为中心的设置（BFM-Zero 风格）。

智能决策（Agentic Decision Making）

VLM 后端并不直接进行几何或物理计算。相反，它编排确定性的专家组件。它做出受限的、符合 Schema 约束的决策，例如：

选择相关的物体和关键帧。
通过“评论家”（critic）机制验证分割掩码和位姿轨迹。
将片段路由到特定的适配器（刚性、可变形、类人）。
根据结构化的回放反馈提出改进建议。

核心贡献

Agentic Real2Sim 流水线： 一个将 DROID 机器人操作片段转换为 MuJoCo 模拟孪生的创新框架。它将视觉处理、物理先验推理、场景准备和带入环模拟器精细化集成到一个统一的工作流中。
可互换的 VLM 后端： 该框架证明，一个开源权重的 31B VLM（Gemma 4）可以实现与专有前沿模型相当的转换成功率，同时将模型成本降低高达 31.4 倍。
跨领域泛化： 该框架通过共享的片段契约和适配器架构，成功地从刚性物体操作扩展到了处理可变形物体交互（PhysTwin 风格）和类人运动（BFM-Zero 风格）。

实验结果

作者在 DROID-100 上评估了该系统，这是一个包含各种物体、视角和动词的 100 个操作片段的数据集。

回放成功率： 使用 Gemma 4 31B，系统实现了 48 次成功、8 次部分成功和 44 次失败的回放结果。成功定义为 VLM 评估器根据目标身份、最终位置、动作相似度和夹持器位置对候选模拟进行评分，达到 8/10 或更高。
成本效率： 使用 Gemma 4 进行 100 个片段运行的总模型成本为 $2.62。相比之下，专有后端（GPT-5.4, Claude Haiku 4.5）在获得相似或略低成功率的情况下，成本显著更高（分别为 $82.30 和$ 9.17）。
可扩展性： 流水线在不同的 VLM 后端之间表现出广泛的一致性，表明瓶颈在于上游的视觉/模拟组件，而非推理模型本身的选择。
定性验证： 论文展示了针对可变形物体（绳索、布料）和类人运动（Unitree G1）的视觉对比，证明了框架恢复几何结构并模拟变形或闭环运动控制的能力，尽管这些是以定性压力测试而非聚合定量基准的形式呈现的。

重要性与声明

论文将 Agentic Real2Sim 定位为向可扩展转换（将物理交互片段转换为数字孪生）迈出的第一步。其主要意义在于：

自动化： 从手动调优和脆弱的工作流转向智能化的、自动化的流水线。
成本效益： 证明了开源模型可以以远低于前沿模型的成本，驱动复杂的机器人智能工作流。
下游效用： 所得的“与现实世界对齐的孪生”旨在作为下游机器人任务（特别是策略学习与评估）的资产。

作者对当前的局限性保持谦逊，承认系统目前专注于刚性物体 DROID 片段，并且对上游感知和模拟器反馈中的错误较为敏感。他们将这项工作视为一个基础性步骤，未来的工作旨在将自动化转换扩展到可变形片段，并系统地评估其在更广泛策略学习应用中的可靠性。