💻 computer science

Riemann-1.0: An Embodied World Action Model for Physical AI

Riemann-1.0 是一个统一的因果自回归世界动作模型（World Action Model），它将多视图观测、机器人状态和动作整合进一个单一框架中，通过在超过 20 万小时多样化具身数据上的渐进式预训练策略，在模拟环境和现实世界的长程操控任务中均实现了最先进的性能。

原作者： Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

发布于 2026-08-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人工智能长期以来一直是数字领域的专家，在计算机屏幕的范围内进行文本阅读、图像识别和解谜。但对于机器要真正加入我们的物理世界，它们必须做得更多，不仅要理解所见之物，还要学会如何在其中行动。这就是具身智能（embodied intelligence）的挑战：教机器人感知周围环境、推理因果关系，并以人类拿起杯子或折叠衣服时的那种流畅感来执行物理动作。对于机器而言，要取得成功，它需要一个能够理解物体不仅长什么样，而且在被触摸时如何移动和变化的物理世界模型。它必须学习到推一下积木会导致其滑动，以及掀开盖子会露出内部的东西。直到现在，创建一个既能规划这些物理动作，又能预测这些动作产生的视觉后果的单一系统，一直是一个艰难的障碍，通常需要将“思考”与“移动”分为独立的系统。

一组研究人员推出了一个名为 Riemann-1.0 的新系统，旨在通过将机器人的动作及其导致的物理世界变化视为一个单一且连续的故事来弥补这一差距。该模型并非构建独立的工具来决定做什么以及工具来想象接下来会发生什么，而是学习同时完成这两者。它遵循一个简单而强大的原则：在现实世界中，动作总是发生在看到结果之前。如果机器人伸手去拿勺子，动作首先发生，随后的视觉变化——即勺子的移动——紧随其后。Riemann-1.0 的构建旨在尊重这种顺序，通过从海量的视频和运动数据中学习，来精确预测机器人下一步应该做什么，以及在执行动作后世界会变成什么样子。

为了教导这个系统，研究人员收集了一个庞大的经验库，总计超过 20 亿小时的交互记录。这个收藏不仅仅是一堆机器人视频，而是一个由三种不同类型的学习材料精心策划而成的混合体。首先，他们包含了数千小时从人类视角录制的视频，展示了人们进行烹饪或清洁等日常任务的过程。尽管这些视频缺乏具体的机械数据，但它们提供了关于物体如何相互作用以及任务如何随时间展开的广泛理解。其次，他们加入了来自手持式机器人夹持器和可穿戴设备的演示，这起到了桥梁作用，展示了人类的手部动作如何转化为机器式的控制。最后，他们包含了实际机器人运动的精确记录，这提供了教导机器如何移动其肢体所需的精确、可执行的指令。通过结合这些来源，研究人员创建了一个统一的数据集，使模型能够从人类经验的广泛智慧中学习，同时将其知识根植于机器人控制的精确力学之中。

Riemann-1.0 的训练过程结构化得就像一套学校课程，从观察走向执行。在第一阶段，模型学习了庞大的视频库。由于这些视频没有机器人运动数据，系统使用了一个辅助工具来估算导致屏幕上视觉变化的隐形“动作”。这使得模型能够在不需要完美机器人数据的情况下，学习世界运动的基本动力学。在第二阶段，模型接触了人类手部和机器人夹持器的混合数据，学习将其对运动的理解与真实的物理控制相对齐。最后，在第三阶段，模型专注于高质量的机器人执行任务的记录。这一最终阶段磨炼了它生成精确、可执行命令的能力，确保它规划的动作不仅在视觉上合理，而且在物理上对于一台真正的机器来说是可能的。

这种方法的结果是令人瞩目的。在计算机模拟和真实机器人上的各种任务测试中，Riemann-1.0 以显著优势超越了以往的方法。在一个旨在测试涉及多步骤的长程复杂任务的模拟中，该模型的成功率为 62.6%，相比现有最先进系统有了显著提升。在另一个专注于双臂机器人的模拟中，它实现了 94.3% 的成功率。或许最令人印象深刻的是，当部署在真实世界的机器人上执行诸如堆叠彩色积木、折叠衣服、整理杂乱桌面或排列厨房用品等任务时，该系统成功完成了任务 85% 的次数。它还展现出了应对未见过的全新情况的卓越适应能力，例如将魔方放入盒子或将毛巾放入水盆中，在这些新颖的尝试中成功率达到了 85%。

除了作为机器人控制器之外，Riemann-1.0 还可以充当模拟器。因为它理解动作与视觉结果之间的因果联系，研究人员可以询问它：如果机器人执行特定的动作，会发生什么。该模型可以生成一段“未来的视频”，展示基于提供的动作，物体将如何移动以及最终会停留在哪里。这种双重能力意味着该系统既可以作为决定做什么的“大脑”，也可以作为在机器人实际移动之前检查计划是否有效的“想象力”。这种基于动作如何引起变化的物理世界现实，来预测物理世界未来的能力，代表了在使人工智能成为物理世界可靠伙伴方面迈出的重要一步。这项工作表明，通过统一学习“如何行动”与学习“世界如何响应”，机器可以对我们日常执行的任务发展出更稳健且更具泛化能力的理解。

技术摘要：Riemann-1.0

问题陈述

物理人工智能（Physical AI）的开发需要能够统一环境感知、世界动力学建模、可执行动作生成以及长程推理的“具身大脑模型”（Embodied Brain Models）。虽然世界动作模型（World Action Models, WAMs）已成为一种极具前景的范式，能够对机器人动作和世界动力学进行联合建模，但现有方法在扩展具身经验方面面临两个根本性的局限：

数据异构性： 具身经验本质上是多模态且依赖于具身形态的。现有的预训练策略通常与特定的机器人轨迹紧密耦合，无法有效利用大规模、弱监督的人类数据（例如第一视角视频），也无法弥合人类演示与机器人控制空间之间的鸿沟。
建模范式局限性： 当前的 WAM 公式化方法——如联合生成、视频优先预测或解耦的动作-视频建模——未能在一个统一的因果过程中对观测、机器人状态和动作进行联合建模。因此，它们无法在单个模型中同时支持高效的机器人策略学习以及因果一致的、以动作为条件的（action-conditioned）世界模拟。

方法论

1. 统一具身数据基础设施

为了解决数据异构性问题，作者构建了一个包含超过 200,000 小时 具身经验的语料库，涵盖了三个互补的来源：

第一视角人类视频（200K+ 小时）： 提供可扩展的交互知识和长程任务结构。
手持夹持器/外骨骼演示（12K+ 小时）： 桥接人类交互与机器人兼容的控制空间。
异构机器人轨迹（20K+ 小时）： 提供精确的、特定于具身形态的可执行控制监督。

一个 统一具身数据引擎（Unified Embodied Data Engine） 将这些来源处理为标准化的动作级轨迹表示。关键处理步骤包括：

视觉预处理： 鱼眼校正和方向归一化。
语义标注： 基于 VLM 的层次化分解，将视频分解为任务级和动作级的片段。
3D 手部重建： 使用基于 MANO 的重建和相机姿态估计（VGGT-Ω）从仅有视频的数据中推导出连续的 3D 手部轨迹，从而创建伪动作监督。
语义感知平衡： 在语义维度（场景、技能、物体）进行采样，以处理长尾分布，而非仅仅平衡原始数据量。

2. Riemann-1.0：完全因果自回归世界动作模型

Riemann-1.0 将机器人交互公式化为一个关于多视图视觉观测 ( $z_t$ )、机器人状态 ( $s_t$ ) 和特定具身动作 ( $a_t$ ) 的统一 完全因果自回归序列。

架构： 该模型使用带有 Flow Matching 目标的 Transformer 主干网络。它采用 Wan VAE 进行视觉潜空间编码，并使用 3D Patch Embedding。
因果分解： 联合概率分解为：
$p(a_{1:T}, z_{1:T} | z_0, s_0, c) = \prod_{t=1}^T p(a_t | z_{<t}, s_{<t}, a_{<t}, c) \cdot p(z_t | z_{<t}, s_{<t}, a_{\leq t}, c)$
至关重要的是，动作是在对应的视觉潜变量生成之前被预测的。这种顺序镜像了现实世界中的因果关系，即动作先于视觉后果发生。
双重功能：
- 作为策略（Policy）： 模型在线预测动作；预测的视觉潜变量在下一步被实际的环境观测所替换。
- 作为模拟器（Simulator）： 模型接收候选动作轨迹，并递归地生成以这些动作为条件的未来视觉潜变量（及解码后的视频），从而实现以动作为条件的（action-conditioned）世界模拟。
具身处理： 模型共享统一的主干网络，但使用特定于具身的线性投影和预测头来处理变化的动作/状态维度及坐标系。

3. 渐进式具身预训练

训练遵循一个三阶段课程学习过程，将知识从弱监督逐步迁移到可执行控制：

第一阶段：LAM-动作引导（LAM-Action Bootstrap）： 模型在利用冻结的潜在动作模型（Latent Action Model, LAM）生成的 伪动作 处理的无标签人类视频上进行训练。LAM 推断出代表帧间视觉转换的潜在代码。此时动作损失权重 ( $\lambda$ ) 较低 (0.1)，重点在于学习广泛的视觉动力学。
第二阶段：轨迹对齐（Trajectory-Grounded Alignment）： 模型在由 UMI 演示、机器人轨迹和带有 3D 手部标注的人类视频组成的混合语料库上进行微调。此阶段旨在将潜在动作空间与跨异构具身的真实可执行动作进行对齐。动作权重增加至 $\lambda=0.5$ 。
第三阶段：机器人策略增强（Robot-Policy Enhancement）： 模型仅在高质量的机器人轨迹上进行训练。动作权重设置为 $\lambda=0.9$ ，旨在锐化模型的执行动作分布，并使其适配真实的执行器惯例和接触密集型执行。

核心贡献

完全因果自回归世界动作模型： 一种新颖的公式化方法，在单个因果序列中联合建模多视图观测、状态和动作，使单个模型既能作为可执行的机器人策略，又能作为以动作为条件的视觉世界模拟器。
渐进式具身预训练框架： 一种三阶段训练策略，通过共享目标有效地将异构具身经验（人类视频、手持演示、机器人轨迹）统一起来，实现了从弱监督到精确控制的学习扩展。
统一数据基础设施： 一个全面的流水线，将 200K+ 小时的异构数据转化为标准化的动作级轨迹表示，包括针对仅有视频数据的 3D 手部重建。

实验结果

Riemann-1.0 在模拟基准测试和长程现实世界操控任务上均进行了评估，达到了最先进（SOTA）的性能：

模拟基准测试：
- RoboTwin 2.0： 成功率 (SR) 为 94.3%，超过此前最佳水平 (94.1%) 0.2 个百分点。
- LIBERO： 成功率 (SR) 为 99.0%，超过此前最佳水平 (98.9%) 0.1 个百分点。
- RoboCasa-365： 在长程组合基准测试中 SR 为 62.6%，超过此前最佳水平 (54.2%) 8.4 个百分点。
现实世界操控：
- 在四个任务上进行了评估：有序方块堆叠、折叠衣服、桌面整理和厨房整理。
- 实现了平均 85.0% 的成功率 (SR) 和 94.4% 的进度成功率 (PSR)。
- 在 SR 指标上超过了最强的开源基准模型 (G0.5) 15 个百分点。
- 展示了强大的 组合泛化能力（在见过物体但未见过的任务指令下 SR 为 65.0%）和 分布外 (OOD) 性能（在未见过的物体和场景下 SR 为 85.0%）。
视觉模拟： 模型成功生成了多具身、以动作为条件的视觉展开（rollouts），在多样化的机器人几何形状和视角下保持了场景结构并表现出动作一致的运动。

意义与主张

论文声称，统一的世界动作建模结合渐进式具身预训练 有效地将大规模具身经验转化为通用的机器人操控能力，Riemann-1.0 证明了这一点。

作者认为，通过在单个因果框架内统一视觉动力学和可执行控制的学习，并通过渐进式课程利用多样化的数据源，该模型克服了以往要么解耦动作与视觉、要么仅依赖机器人特定数据的局限性。结果表明，对于物理人工智能而言，存在一条可扩展的路径，即通过扩展具身经验而非受限于标记机器人轨迹的稀缺性，使模型能够持续进化。