💻 computer science

EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data

EgoWAM 表明，利用野外场景下的第一视角人类数据，通过使用世界动作模型（World Action Models）来训练机器人策略，能够显著优于传统的行为克隆，因为它利用了诸如 DINO 特征和 3D 运动流等抽象世界表示，从而更好地将可迁移的物理效应与不可迁移的人类特定因素区分开来。

原作者： Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个笨拙的机器人做家务，比如叠衣服或端杯子。你拥有海量的视频数据，展示了人类如何完美地完成这些任务。这看起来像是通往成功的金钥匙：只要模仿人类就行了，对吧？

没那么简单。论文 EGOWAM 指出，如果你试图通过单纯模仿人类的动作来教机器人（这种方法被称为“行为克隆”，Behavior Cloning），你实际上可能会让情况变得更糟。

问题在于：人类和机器人的构造不同。人类拥有灵活的脊椎、随之摆动的双臂以及上下晃动的头部。而机器人是僵硬的，它的摄像头固定在头部，动作带有机械的精准感。如果你强迫机器人去模仿人类精确的挥臂动作，机器人可能会尝试以它物理上无法实现的姿态扭转身体。这就像是通过看老鹰飞行的视频来教企鹅飞行；企鹅只会拼命拍打翅膀，然后摔倒在地。

作者发现，这种“模仿动作”的方法经常失败，因为机器人会被那些对任务本身无关紧要的人类特有特征（如头部晃动或身体姿态）搞糊涂。

魔法开关：预测未来，而不只是动作

研究人员并没有仅仅告诉机器人“把手臂移到这里”，而是尝试了一种不同的技巧。他们教会了机器人一个世界动作模型（World Action Model）。

可以这样理解：

旧方法（行为克隆）： 你告诉机器人，“完全模仿我的手部动作。” 机器人感到困惑，因为你的手部运动方式与它的机械抓手不同。
新方法（EGOWAM）： 你告诉机器人，“观察当我移动手部时，那个杯子会发生什么变化。”

机器人学习的是如何预测世界的变化（杯子移动了、衣服叠好了），而不是仅仅模仿人类的肢体语言。这就像是教学生理解球滚下山坡的物理原理，而不是让他们死记硬背踢球的人肌肉是如何运动的。因为无论是由人还是机器人移动，杯子滚动的物理规律都是一样的，所以机器人可以从人类视频中学习，而不会被人类的身体形态所干扰。

“世界”至关重要：机器人应该预测什么？

研究人员测试了三种不同的让机器人“看见”未来世界的方式。他们把机器人的大脑比作一个正在参加考试的学生，而“考试题目”就是机器人下一步应该预测什么。

“像素”测试（重构/Reconstruction）： 机器人试图逐个像素地预测下一张图像。
- 结果： 这是一个失败的尝试。机器人陷入了试图记忆衬衫精确颜色或房间光照的泥潭。它无法区分“杯子在移动”和“相机在晃动”。这就像是通过记忆路上每一粒沙子的细节来学习开车；你反而忽略了大局。
“DINO”测试（语义/Semantics）： 机器人预测场景的含义。它学会识别“那是一个杯子”或“那是一个袋子”，而不需要担心具体的蓝色色调或光照情况。
- 结果： 这在应对新事物方面取得了巨大的成功。当机器人面对从未见过的杯子或背景不同的房间时，它的表现比旧方法好上 4 倍。它学习的是物体的“概念”，而不仅仅是照片。
“3D 流”测试（运动/Motion）： 机器人精确预测物体在 3D 空间中的运动方式，从而忽略摄像头的晃动。它过滤掉了人类的头部运动，只关注物体的移动。
- 结果： 这是精准度的冠军。当机器人需要在熟悉的房间里将杯子放在特定位置时，它的成功率提高了 20–30%。它学习到了运动的精确几何结构。

核心启示

这篇论文表明，你不能只是把人类视频一股脑儿丢给机器人并期望它能奏效。你必须聪明地处理机器人应该从这些视频中学到什么。

他们排除掉的是： 仅仅模仿人类动作（行为克隆）或试图预测精确像素图像（Pixel VAE）都是较弱的方法。它们往往会让机器人的表现甚至不如仅通过机器人自身数据进行学习的效果。
他们发现的是： 通过使用专注于语义（DINO）或 3D 运动（3D Flow）的“世界动作模型”，机器人可以成功地从大量杂乱、真实的现实世界人类数据中学习。

基于在真实环境下使用双臂机器人执行任务（如将杯子放在茶托上、叠衣服、装购物袋）的实际测试，作者对这些数字非常有信心。他们发现，“3D 流”方法最擅长在熟悉的环境中完成任务，而“DINO”方法则最擅长处理全新的物体和房间。

简而言之：不要教机器人跳人类的舞蹈；要教它理解世界是如何运动的，然后让机器人去寻找属于它自己的舞步。

技术摘要：EGOWAM：超越像素的自然场景下第一视角人类数据世界动作模型

问题陈述

以第一视角（egocentric）的人类数据为机器人操控提供了一个可扩展的监督来源，提供了在机器人上难以大规模采集的多样化物体、场景和行为。然而，标准的**行为克隆（Behavior Cloning, BC）**协同训练难以有效利用这些数据。BC 将可迁移的内容（物体、场景、任务语义）与特定于人类具身形态的非迁移因素（形态、头部运动、行为风格）纠缠在一起。当人类动作标签被重定向到机器人时，共享的动作解码器往往会迫使策略学习无法执行的人类式运动，从而降低下游性能。这种“具身差异（embodiment gap）”阻碍了当动作级监督是唯一渠道时，任务相关动力学的有效迁移。

本文认为，**世界动作模型（World Action Models, WAMs）**通过引入第二个监督渠道——预测场景如何演变——提供了一种解决方案。核心研究问题是：什么样的世界表示能最好地实现 WAM 协同训练下的“人到机器人”迁移？ 作者假设，一个有效的世界目标必须能够抽象外观、捕捉与智能体无关的物理效应，并将相机运动与环境变化分离。

方法论：EGOWAM 框架

作者引入了 EGOWAM，这是一个受控的人机协同训练框架，旨在通过保持策略主干、动作头和数据混合比例不变，来隔离世界表示的影响。

1. 架构

EGOWAM 构建在**异构预训练 Transformer（Heterogeneous Pretrained Transformer, HPT）**主干之上。

共享躯干（Shared Trunk）： 单个 Transformer 躯干处理来自人类和机器人数据的 token。
双头结构（Dual Heads）：
- 动作头（Action Head）： 一个流匹配（flow-matching）解码器，用于预测动作块（action chunks）。这是推理阶段使用的唯一渠道。
- 世界模型头（World-Model Head）： 一个可更换的头部，用于在给定当前潜变量 $z_t$ 的情况下预测未来状态 $s_{t+T}$ 。该头与动作头联合训练，但在推理阶段会被丢弃。
训练目标： 模型通过联合损失进行端到端训练：
$L_{EGOWAM} = L_{action} + \lambda L_{world}$
其中 $L_{action}$ 是跨具身行为克隆损失， $L_{world}$ 是世界预测损失。这使得人类数据即使在动作标签无法可靠迁移的情况下，也能通过未来场景预测来塑造共享躯干的表示。

2. 控制变量与世界表示

为了确定最优的世界表示，EGOWAM 将三种特定的目标针对三个设计准则进行了对比：(D1) 外观抽象性、(D2) 跨具身一致性 以及 (D3) 自我运动解耦。

像素 VAE（重建基准）： 在预训练视频 VAE 的潜空间中预测未来的自我视角帧。
- 分析： 违反了所有三个准则。它将运动与外观纠缠在一起，且未能解耦自我运动，导致迁移能力较弱。
DINO 特征（语义抽象）： 预测未来帧的 DINO patch 特征。
- 分析： 满足 D1（抽象）并部分满足 D2（一致性），因为它使用了语义先验。然而，它在图像网格上仍保持空间索引，因此对自我运动的解耦（D3）仅是部分的。
3D 流（空间抽象）： 在相机稳定帧中预测密集的 3D 运动场。
- 分析： 通过构造满足了所有三个准则。通过使用 VIO 相机位姿来稳定流，它解耦了头部旋转（D3），抽象了外观（D1），并在不同具身之间一致地表示物理位移（D2）。

3. 数据与对齐

机器人数据： 使用 ARX5 手臂的双臂遥操作数据，包含头戴式和腕部摄像头。
人类数据： 通过 Project Aria 眼镜收集的自然场景下第一视角人类数据。
动作对齐： 动作被统一到 14 维末端执行器空间。为了缓解速度和工作空间不匹配的问题，作者使用了特定于具身的时窗和分位数归一化。至关重要的是，人类动作被重新表达在瞬时设备坐标系中，以便在重定向前解耦头部自我运动。

核心贡献

用于 WAM 研究的受控框架： EGOWAM 提供了一个具有可更换世界模型头的单一主干，实现了在相同动作监督和数据混合下的“苹果对苹果”式的比较。
动力学驱动的规模化证据： 研究表明，相比于 BC 协同训练，WAM 协同训练在大规模自然场景人类数据上的扩展性和迁移性更强。它证实了未来动力学监督是当仅靠动作监督达到饱和时的缺失环节。
世界表示作为关键维度： 论文指出世界表示的选择至关重要。虽然基于像素的预测迁移能力较弱，但 DINO 特征 和 3D 流 均带来了显著收益，且各具优势。

实验结果

该框架在三个真实世界的双臂任务上进行了评估：杯子与托盘（刚体）、折叠衣服（可变形物体）以及 装购物袋（长程序列任务）。

WAM vs. BC： WAM 协同训练一致优于 BC。在许多情况下，向 BC 中加入人类数据反而会导致性能下降（负迁移），而 WAM 则能将同样的数据转化为可靠的增益。
表示性能：
- DINO 特征： 实现了最强的**分布外（OOD）**泛化能力，相比基准模型，在未见过的物体和场景上的性能提升高达 4 倍。
- 3D 流： 实现了最强的**分布内（ID）**空间泛化能力，使成功率提升了 20–30%。它在对几何定位要求极高的精确空间任务（如杯子放置）中表现出色。
- 像素 VAE： 表现较差，由于幻觉和几何混淆（例如，无法抓取未见物体或完成折叠），通常无法实现有效迁移。
对失配的鲁棒性： 当使用刻意不对齐的人类数据（即人类动作对机器人而言无法执行）进行测试时，BC 的性能跌破了仅有机器人的基准线。相比之下，3D 流 WAM 保持了鲁棒性，证明了即便动作标签无法迁移，动力学监督仍能实现迁移。
仿真验证： 结果在 RoboTwin 2.0 仿真环境中跨多个机器人具身得到了复现，证实了世界模型头驱动的是跨具身迁移，而非仅仅是动作空间。

意义与主张

本文将 EGOWAM 定位为不仅是一个最终解决方案，更是一个迈向开放世界泛化、实现机器人操控规模化的“出发点”。

“飞轮效应”： 作者声称，通过将监督拆分为“世界如何演变”和“每个具身如何行动”，WAMs 诱导了一种更具共享性的表示。这使得人类数据成为机器人规模化学习的“飞轮”，允许机器人在不需要完美动作对齐的情况下，从海量自然场景数据中学习任务相关的动力学。
设计轴线： 本研究确立了抽象外观、确保跨具身一致性和解耦自我运动是未来世界模型的关键设计轴线。
局限性： 作者坦诚地指出，虽然 EGOWAM 改善了上下文层面的迁移，但目前尚未实现从人类数据中学习新的运动原语（技能）。此外，即使对于表现最好的 WAMs 而言，极细微的操作（亚厘米级精度）仍然是一个瓶颈。

总而言之，本文认为 世界动作模型（World Action Models） 是解锁自然场景下人类数据在机器人领域潜力的必要接口，前提是必须精心选择世界表示，以抽象掉具身特有的噪声。