💻 computer science

AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization

本文介绍了 AnyWorld，这是一个分解式的世界模型框架，它通过将动作、相机和具身因子解耦，从单个人类第一视角视频中合成多样化的、跨具身的机器人经验，从而实现可控的数据生成，并显著提升了在模拟及真实人形机器人上的操控策略性能。

原作者： Cheng Chen, Jerry Bai, Jiacheng Wei, Boyu Chen, Xiaoji Zheng, Fan Wu, Minghao Yang, Tianrun Chen, Ruibo Li, Xiaoyu Yue, Xiaoyang Guo, Yixiao Ge, Guosheng Lin, Fayao Liu

发布于 2026-09-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cheng Chen, Jerry Bai, Jiacheng Wei, Boyu Chen, Xiaoji Zheng, Fan Wu, Minghao Yang, Tianrun Chen, Ruibo Li, Xiaoyu Yue, Xiaoyang Guo, Yixiao Ge, Guosheng Lin, Fayao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器人正在学习如何不仅仅是做直线运动；它们正在学习如何操纵周围的世界，比如拿起物体、打开门以及组装零件。为了学习这些技能，机器人需要经验。它必须看到成千上万个关于手如何伸手去拿杯子、抓取器如何挤压海绵以及工具如何在桌面上滑动的情景示例。长期以来，获取这种经验的唯一方法就是让机器人一遍又一遍地亲自执行任务。这既缓慢又昂贵，并且受限于实验室能负担得起多少台机器人，以及这些机器人能在损坏前运行多少小时。

一个来自意想不到渠道的极具前景的替代方案已经出现：人类视频。每天，人们都会录制自己烹饪、清洁和建造事物的视频。这些视频充满了丰富的物理交互过程，机器人可以从中学习。然而，存在一个主要问题。一段人类烹饪的视频展示了人类的手、人类的身体和人类的视角。机器人并不拥有人类的身体，也不从人类的头部观察世界。如果机器人试图直接模仿人类视频，它可能会失败，因为人类的手臂更长，机器人的摄像头位置不同，或者机器人的抓取器工作方式不同。科学家面临的挑战是，如何提取人类视频中发生的有用“故事”，并以一种对机器人有意义的方式将其重新讲述。

一个研究团队开发了一个名为 AnyWorld 的新系统来解决这个问题。该系统并没有尝试完全复制人类视频，而是将视频分解为三个独立的成分：正在执行的动作、摄像机的移动方式，以及正在进行工作的身体和场景。可以将动作想象成正在发生的事情的“剧本”，将摄像机运动想象成镜头的“导演指令”，将身体和场景想象成“演员”和“布景”。通过分离这些元素，研究人员可以提取单个人类执行任务的视频，并将这些成分重新组合，创造出一个全新的视频。在这个新视频中，“演员”是机器人，“布景”是机器人的环境，而“摄像机”是机器人的眼睛，但动作的“剧本”保持不变。

研究人员使用大量的包含人类与物体交互的人类视频来训练他们的系统。他们教会了模型理解任务的运动与执行该任务的具体身体之间的区别。一旦模型学会了这一点，他们就通过输入一段人类视频，并要求它生成一个由机器人执行相同任务的版本来进行测试。他们不需要任何显示人类和机器人并排执行同一任务的视频。该系统只需提取人类的动作和摄像机的路径，然后换入一个机器人身体和机器人场景。结果是一个看起来像是在执行任务的机器人视频，且具备该特定机器人的正确视角和物理约束。

团队测试了这种改变身体、摄像机角度和场景的能力。他们展示了系统可以提取一段人类视频，并生成一个由名为 RoboCasa GR1 的机器人执行该任务的版本，以及另一个由名为 IRON 的不同机器人执行该任务的版本。他们还展示了他们可以保持机器人和任务不变，但改变摄像机角度，从而创建一个来自不同视角的视图。至关重要的是，系统保留了交互的逻辑。如果原视频中的人类拿起一个杯子并将其移动到架子上，生成的机器人视频会显示机器人执行完全相同的动作序列，只是根据其自身的身体形状和摄像机位置进行了适配。

为了证明这些生成的视频确实有用，研究人员使用它们来训练真实的机器人。他们采用了一个标准的机器人学习系统，并使用 AnyWorld 创建的视频对其进行了额外训练。他们在机器人手臂的模拟环境中进行了测试，也在真实的类人机器人上进行了测试。在模拟中，机器人在拿起并放置物体方面的成功率在经过训练后显著提高。在真实机器人上，提升甚至更加剧烈。原本只能在 20% 的尝试中成功抓取香蕉的机器人，在接受了人类到机器人视频训练后，成功率跃升至 55%。这表明该系统不仅仅是在制作漂亮的图像；它正在创建有效的训练数据，帮助机器人更好地学习。

研究人员还调查了为什么这能奏效。他们想知道仅仅告诉机器人要采取什么动作是否足够，或者视觉场景是否也是必要的。他们进行了一项测试，即给机器人正确的动作指令，但保留原始、未经修改的机器人视频中的视觉训练数据。这种方法未能教会机器人如何遵循特定指令，例如选择左边的香蕉而不是右边的。然而，当他们使用完整的系统同时生成新的视觉场景和正确的动作时，机器人能够可靠地遵循指令。这证明了视觉重构是必不可少的。机器人需要从自己的视角观察世界，才能理解如何应用动作。

这项研究表明，这种将交互分解为独立因素的方法，使得单次人类经验可以被多次重复利用。一段曾经受限于人类身体和人类摄像机的人类视频，可以成为许多不同类型机器人、在许多不同环境下进行训练的数据源。研究人员指出，虽然该系统功能强大，但也有其局限性。它目前还无法捕捉触觉的感觉或挤压柔软物体所需的精确力量，因为这些都需要视频生成所无法提供的物理传感器。此外，该系统依赖于能够清晰追踪人类动作；如果视频过于晃动或人被物体遮挡，系统就会遇到困难。

尽管存在这些局限性，这项工作为机器人学习提供了一条新的路径。它表明，互联网上庞大的视频库——由于身体和视角的差异，此前一直难以被机器人利用——现在可以被挖掘。通过使用一个理解如何将动作与执行者分离的模型，科学家可以将人类的经验转化为机器人的经验，而无需为每种机器人记录每一个任务。这可以让机器人更快地学习复杂的技能，利用人类日常生活中丰富的丰富数据作为其自身能力的基石。

技术摘要：AnyWorld：用于跨具身泛化的分解式自我中心世界模型

1. 问题定义

通用机器人操控的核心瓶颈在于缺乏大规模、富含接触（contact-rich）的机器人经验。虽然现代机器人学习受益于大规模视觉-动作数据集，但在物理机器人上收集此类数据成本高昂、依赖硬件，且难以在多样化的场景和具身形态之间进行扩展。尽管人类自我中心视频提供了丰富的物理交互，但它们受限于特定的身体、相机轨迹和环境，仅代表了极窄的经验切片。

本研究解决的核心挑战是零样本经验重组（zero-shot experience recomposition）：将单段人类自我中心交互视频转换为多样化的、机器人原生的视觉体验，且无需配对的人机演示。其目标是将记录的人类交互视为可重用的“种子”，通过改变动作主体、视角和场景上下文，将其扩展为多个机器人领域的展开过程（rollouts），同时保留底层的交互动力学。

2. 方法论：AnyWorld

AnyWorld 是一个跨具身的生成式世界模型框架，它将一次交互分解为三个独立的成分：动作（Action）、相机（Camera）和具身（Embodiment）。

2.1 分解策略

该模型将生成过程分解为三个可控因子：

动作控制 ( $A_{1:T}$ )：表示为像素空间中的渲染骨架控制视频。它规定了运动在图像平面上的发生位置，提供了一个与具身无关的接口，这比关节指令或特定的动作向量更容易在人类和机器人身体之间共享。
相机控制 ( $C_{1:T}$ )：由相机内参和外参构建，并转换为 Plücker 光线嵌入（Plücker ray embeddings）。这使得模型能够分离动作主体运动与相机运动，实现视角演化独立于动作。
具身上下文：由初始帧 ( $\tilde{I}^e_0$ ) 和文本标签 ( $\tau_e$ ) 指定。初始帧定义了目标身体的外观、场景布局、物体配置以及在展开过程开始时的交互几何关系。文本标签则识别特定的具身类型（例如：人类、RoboCasa GR1、IRON）。

2.2 模型架构

AnyWorld 实现为一个潜在扩散视频模型（基于 DiT 模块）。

输入调节（Conditioning）：
- 动作控制视频被编码并与噪声视频潜在变量在通道维度上拼接。
- 相机控制通过一个轻量级适配器处理，并作为加性几何信号添加到 Patch 嵌入中。
- 具身标签和描述通过文本编码为文本嵌入，并通过**交叉注意力（cross-attention）**注入 Transformer 块中。
训练方案：
1. 第一阶段（预训练）：模型在规模庞大的自我中心人类交互数据（EgoDex）上进行预训练，以学习强大的动作-相机调节先验。
2. 第二阶段（微调）：模型使用来自人类、RoboCasa GR1 和 IRON 机器人的非配对数据进行混合具身微调。至关重要的是，未使用任何配对的人机视频片段；模型通过共享的分解式接口，学习将不同的具身外观与兼容的交互动力学联系起来。

2.3 推理与重组

在推理阶段，模型支持零样本重组。给定一段源人类视频，提取其动作和相机控制。通过编辑初始帧来指定新的目标视觉上下文（改变身体、场景或两者），并更新具身标签。随后，模型生成目标领域的展开过程 ( $\hat{V}^e_{1:T}$ )，该过程保留了原始的交互结构，同时适应了新的具身和视角。

对于下游策略训练，系统执行联合视觉-动作经验重组（Joint Visual–Action Experience Recomposition）。它不仅对视觉观察进行重构，还使用动作校准模块将人类手腕轨迹映射到目标机器人的相对末端执行器动作空间，从而创建配对的 $(\text{observation}, \text{action})$ 数据。

3. 核心贡献

形式化定义：本文将跨具身经验重组形式化为一个世界建模问题，实现了将单段人类交互扩展为多个机器人原生展开过程，而无需配对演示。
模型架构：引入了 AnyWorld，一种分解式视频扩散模型，结合了动作控制、相机控制和目标具身-上下文调节，用于可控的展开生成。
实证验证：证明了生成的机器人领域展开过程可以提升下游视觉-语言-动作（VLA）模型在仿真（RoboCasa GR1）和真实世界（IRON）设置下的适配能力。此外，本文通过受控干预表明，生成的数据可以纠正特定的策略失效（例如：伪完成先验）并迁移语言引导的空间目标选择能力。

4. 实验结果

作者从两个维度评估了 AnyWorld：世界模型的控制能力和下游 VLA 适配能力。

4.1 可控性与质量

可控性：在一个包含 60 段视频的基准测试中，AnyWorld 在 ActionAlign（动作对齐）、CameraAlign（相机对齐）和 EmbodAcc（具身准确度）方面均优于基线模型（Cosmos-Predict2.5 和 WAN Fun-Control）。其分解式方法达到了平均 0.778 的得分，显著高于基线，展示了对动作、视角和身体的卓越控制。
视频质量：使用 VBench 指标，AnyWorld 保持了强大的主体一致性、背景一致性和运动平滑度，平均得分达到 0.971，与基线持平或略优。

4.2 下游 VLA 适配

仿真环境 (RoboCasa GR1)：将 AnyWorld 生成的数据加入 UniT 基线模型后，在 18 项拾取与放置任务中的成功率从 49.8% 提升至 54.6%。
真实机器人 (IRON)：在 20 次具有不同背景的香蕉抓取实验中，成功率从 20.0% 提升至 55.0%。
数据比例消融实验：在微调过程中，采用 2:1 的人-机数据混合比例取得了动作多样性与机器人领域落地之间的最佳平衡。

4.3 定向能力迁移

论文展示了重组数据如何针对特定的策略缺陷进行修复：

状态条件修复（State-Conditional Repair）：基线策略在“部分完成”状态（即一个物体已被放置）下会停滞。通过将人类演示重新场景化（re-scening）到这些缺失的状态中，并配对校准后的动作，使策略能够恢复并完成任务。
反事实接地（Counterfactual Grounding）：为了测试语言引导的空间选择，作者创建了具有相反指令的双目标观察。仅进行“纯动作”干预（改变动作但保持原始单侧观察）无法学习到稳定的指令遵循。只有通过联合视觉-动作重组（同时改变视觉状态和动作），策略才能根据语言可靠地切换目标。

5. 重要性与主张

本文声称 AnyWorld 是一个可扩展的经验引擎，用于机器人学习。其主要意义在于将丰富的、非配对的人类交互视频转化为有用的、机器人原生的训练数据，而无需昂贵的配对人机演示。

作者强调：

视觉重组是必要的：仅进行动作标签重标（relabeling）的失败实验证明，单纯改变动作是不够的；机器人必须处于一个与动作和指令相匹配的机器人原生视觉状态中。
泛化性：该框架允许单个模型支持跨身体、视角和场景的可控重组，有效地将人类视频转化为多样化机器人经验的可重用种子。
实际影响：生成的数据直接提升了真实世界机器人策略的鲁棒性和能力，解决了接触密集型操控中的数据稀缺瓶颈。

6. 局限性

作者承认存在以下局限性：

触觉反馈：视觉展开过程无法完全捕捉精确控制所需的触觉反馈或接触力。
提取可靠性：该方法依赖于可靠的动作-相机提取；严重的遮挡、快速运动、追踪误差或相机抖动可能会降低可控性。
范围限制：目前的评估仅涵盖三种具身形态（人类、GR1、IRON），未来工作需探索对其他形态和长程任务的更广泛泛化。