💻 computer science

Action Images: End-to-End Policy Learning via Multiview Video Generation

该论文提出了名为"Action Images"的统一世界动作模型，通过将机器人动作转化为多视角像素级动作视频，使视频骨干网络能够直接作为零策略进行端到端策略学习，从而在无需独立策略头的情况下显著提升了跨视角和跨环境的泛化能力。

原作者： Haoyu Zhen, Zixian Gao, Qiao Sun, Yilin Zhao, Yuncong Yang, Yilun Du, Tsun-Hsuan Wang, Yi-Ling Qiao, Chuang Gan

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyu Zhen, Zixian Gao, Qiao Sun, Yilin Zhao, Yuncong Yang, Yilun Du, Tsun-Hsuan Wang, Yi-Ling Qiao, Chuang Gan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让机器人“学会做事”的新方法，名叫 Action Images（动作图像）。

为了让你轻松理解，我们可以把传统的机器人学习比作**“背数学公式”，而这篇论文的新方法则是“看动画片学动作”**。

1. 核心痛点：机器人为什么学不会“举一反三”？

以前的机器人学习（世界模型）就像是一个**“只会背题的学生”**：

输入：它看到一张图片（比如桌上有个杯子）。
思考：它通过复杂的数学计算，算出一个抽象的“动作代码”（比如：手臂向左移动 0.5 米，手指张开 30 度）。
输出：执行这个代码。

问题出在哪？
这就好比学生死记硬背了“在 A 教室拿杯子”的公式。一旦把场景换到 B 教室，或者换个角度看杯子，这个“公式”就失效了，机器人就懵了。因为“动作代码”是抽象的，它和真实的视觉画面（像素）是脱节的，机器人很难把“背过的公式”灵活应用到新环境里。

2. 新方案：Action Images（动作图像）

这篇论文的作者想了一个绝妙的点子：既然机器人是靠眼睛看世界的，那我们就让“动作”也变成“眼睛能看到的画面”！

比喻：从“写代码”变成“画动画”

想象一下，你教一个小孩子怎么抓苹果：

旧方法：你告诉孩子：“手臂抬起 30 度，手腕旋转 15 度，手指张开 5 厘米。”（这是抽象代码，孩子很难在脑子里对应到画面）。
新方法（Action Images）：你直接给孩子看一段动画片。
- 在这段动画片里，你不仅画了苹果，还在苹果旁边画了一个发光的、彩色的“幽灵手臂”。
- 这个“幽灵手臂”随着时间推移，一步步演示怎么抓苹果。
- 红色光点代表手抓的位置，绿色光点代表手背的方向，蓝色光点代表手指张开的程度。

这就是论文的核心：
他们把机器人复杂的 7 个自由度（位置、角度、手指开合）的动作，直接转化成了多视角的“动作视频”。这些视频里，机器人的动作不再是冷冰冰的数字，而是画在画面上的彩色轨迹。

3. 它是如何工作的？（三步走）

第一步：把动作“画”出来（编码）

当机器人要做一个动作时，系统不再输出数字代码，而是生成一张**“动作热力图”**。

这就好比在监控录像上，用荧光笔把机器人手臂要走的路线、手指张开的样子，直接画在视频里。
因为是用多视角（比如正面、侧面）画的，所以机器人能看清手臂在 3D 空间里是怎么动的，不会像单视角那样产生歧义。

第二步：让 AI 像看视频一样学（训练）

现在的 AI 视频生成模型（比如 Sora 那种）非常厉害，它们擅长预测“下一帧画面是什么”。

以前，这些模型只学“看视频”。
现在，作者把“动作热力图”和“真实视频”拼在一起，喂给模型。
训练目标：模型不仅要预测“下一秒杯子会怎么动”，还要预测“下一秒那个荧光笔迹（动作）会画到哪里”。
神奇之处：因为动作变成了画面，模型不需要额外的“大脑”去解码动作。它只要学会“画”出正确的动作轨迹，就自动学会了怎么控制机器人。

第三步：直接“画”出指令（推理）

当机器人面对一个新任务（比如“把蓝色薯片袋放进灰色碗里”）时：

它输入当前的画面和文字指令。
强大的视频生成模型直接**“脑补”出未来的视频：不仅生成了机器人移动的画面，还同步生成了那个彩色的“动作热力图”**。
系统把这个热力图里的光点坐标“翻译”回机器人的关节指令。
机器人直接执行，就像看着动画片模仿一样。

4. 为什么这个方法牛？（三大优势）

零样本学习（Zero-shot）能力强：
- 就像你看过很多“抓苹果”的动画片，到了“抓香蕉”的场景，你也能模仿着做。因为模型学的是视觉规律，而不是死记硬背的坐标。论文测试发现，在没见过的物体和环境里，它的成功率远超其他方法。
一个模型，多种技能：
- 这个模型非常全能。它不仅能控制机器人（生成动作视频），还能根据动作生成视频（比如你给它动作，它画出机器人会怎么动），甚至能给视频打标签（看视频就知道机器人做了什么）。就像一个人既能当导演，又能当演员，还能当影评人。
多视角更稳：
- 就像你玩立体电影，单眼看容易晕，双眼看才立体。这个方法用了多视角的“动作视频”，消除了深度歧义，让机器人对空间的理解更准确。

5. 总结

这篇论文把机器人控制从**“解数学题”变成了“看动画片”**。

它不再让机器人去理解抽象的“动作代码”，而是让机器人直接学习**“动作长什么样”。通过把动作变成多视角的彩色热力图视频**，作者利用现有的强大视频生成模型，直接训练出了一个**“看图说话、看图做事”**的通用机器人策略。

一句话概括：
让机器人不再背公式，而是通过“看”彩色的动作演示视频，直接学会在复杂的新环境中灵活干活。

1. 研究背景与问题 (Problem)

核心痛点：
现有的机器人世界模型（World Action Models, WAMs）虽然在预测未来观测方面取得了进展，但将这种预测能力转化为**通用的策略（Policy）**仍面临巨大挑战。

视频泛化与策略泛化的脱节： 强大的视频生成模型可以合成逼真的未来帧，但往往无法在未见过的环境中决定如何行动。
动作表示的局限性： 现有方法通常采用两种路径，都存在缺陷：
1. 分离式架构： 在世界模型之上附加独立的策略头（Policy Head）或动作模块，将视频特征解码为控制信号。这导致预训练的视频知识未能被充分利用，且泛化能力受限于额外的控制模块。
2. 非像素级动作表示： 使用非空间 grounded 的动作表示（如潜在动作码），使得动作与图像空间解耦，难以直接利用视频模型的先验知识。
单视图歧义性： 单一视角的 2D 投影往往无法唯一确定 3D 空间中的 7 自由度（7-DoF）机械臂动作，导致模型难以从像素中一致地推断完整动作。

目标：
构建一个统一的“世界 - 动作”模型，将策略学习直接转化为视频生成问题，消除对独立策略模块的依赖，实现跨视角、跨形态的零样本（Zero-shot）策略泛化。

2. 方法论 (Methodology)

本文提出了 Action Images（动作图像） 框架，其核心思想是将机器人控制信号转化为可解释的、基于像素的多视图动作视频，使其与观测视频在同一个视频空间内统一建模。

2.1 动作图像表示 (Action as Images)

7-DoF 到语义 3D 点的转换： 将每个时间步的 7-DoF 动作 $a_t = [p_t, \theta_t, g_t]$ $a_{t} = [p_{t}, θ_{t}, g_{t}]$ （位置、姿态、夹爪开合度）转换为三个语义 3D 点：
- 位置点 (Position Point)： 机械臂末端执行器的位置 $p_t$ 。
- 法向点 (Normal Point)： 沿末端执行器法线方向延伸的点。
- 向上点 (Up Point)： 沿机械臂平面内特定方向延伸的点。
多视图渲染 (Multi-view Rendering)：
- 将上述 3D 点投影到多个相机视角的图像空间中。
- 使用 2D 高斯热力图 (Gaussian Heatmaps) 进行渲染：
  - 红色通道： 编码位置点。
  - 绿色通道： 编码法向点。
  - 蓝色通道： 编码向上点，并在低响应背景区域注入夹爪开合度 (Gripper Openness) 信号。
统一视频空间： 生成的“动作视频”与机器人观测视频（RGB）具有相同的时空结构，使得视频骨干网络可以直接处理动作，无需额外模块。

2.2 动作解码 (Action Images Decoding)

为了从生成的动作视频中恢复连续控制信号，设计了简单的几何解码流程：

夹爪状态提取： 直接从蓝色通道的低响应区域平均像素值恢复夹爪开合度 $g_t$ 。
3D 点重建：
- 在主视图（Main View）的热力图中加权平均选取 2D 锚点。
- 从主视图相机中心发射射线，采样一系列 3D 候选点。
- 将候选点投影到侧视图（Side View），根据侧视图热力图的响应强度选择最佳匹配点，从而解决深度歧义。
动作恢复： 根据重建的 3D 点反推末端执行器的位置、姿态和夹爪状态，还原为 7-DoF 动作向量。

2.3 统一世界 - 动作模型训练 (Unified World-Action Model)

骨干网络： 基于预训练的大型视频生成模型 Wan 2.2 进行微调。
数据打包： 将多视图的观测视频 ( $V$ ) 和动作视频 ( $A$ ) 在时间维度上拼接，形成统一的输入序列 $[V, A]$ 。
多样化掩码策略 (Multiple Mask Strategies)： 在潜在空间（Latent Space）中随机掩码，支持同一模型完成多种任务：
1. 动作与视频联合生成： 给定文本和初始帧，同时生成未来的观测视频和动作视频。
2. 动作条件视频生成： 给定动作序列，生成对应的未来观测视频。
3. 视频到动作标注： 给定观测视频，推断对应的动作图像。
4. 纯视频生成： 仅使用视频数据进行训练（针对无动作标注数据）。
相机控制： 引入 Plücker 嵌入作为相机条件，保持多视图的一致性。
训练数据： 混合了 RLBench（仿真，高精度动作/相机）、DROID（真实机器人，多视图）和 BridgeV2（真实视频，无动作标注）数据集。

3. 关键贡献 (Key Contributions)

重新定义动作表示： 提出了多视图动作图像，将 7-DoF 控制转化为基于像素的、可解释的视觉信号。这使得动作成为视频模型“原生”的一部分，而非外部附加模块。
零样本策略 (Zero-shot Policy)： 证明了视频骨干网络本身即可作为策略模型。无需独立的策略头或动作解码器，模型直接通过生成动作图像来执行控制，显著提升了跨视角和跨形态的泛化能力。
统一的多任务框架： 在单一模型和共享表示下，实现了视频 - 动作联合生成、动作条件生成和视频动作标注，展示了世界模型不仅能“预测世界”，还能“在视觉空间中行动”。
SOTA 性能： 在 RLBench 仿真和真实世界（xArm 机器人）的零样本评估中，取得了最强的成功率，特别是在分布外（Out-of-Distribution）场景下表现优异。

4. 实验结果 (Results)

零样本策略评估 (Zero-shot Policy)：
- 在 RLBench 和 真实世界（未见过的物体、环境和机械臂）任务中，该方法在成功率上显著优于基线模型（如 MV-Policy, $\pi_0.5$ , MolmoAct, TesserAct, Cosmos-Policy）。
- 例如，在 RLBench 的 "Pick Cup" 任务中，Ours 达到 60% 成功率，而次优的 $\pi_0.5$ 仅为 5%。
联合生成质量 (Joint Generation Quality)：
- 在视频质量指标（PSNR, SSIM, FVD, LPIPS）和动作精度（2D/3D 轨迹误差）上，均优于现有的世界模型基线（如 Cosmos-Policy, TesserAct）。
- 证明了像素级动作表示在保持动作精度的同时，能生成更逼真的视频。
额外能力验证：
- 动作条件视频生成： 优于 Tora 基线。
- 视频到动作标注： 在轨迹误差和 Jaccard 指标上显著优于 TAPIR 和 CoTracker 等点跟踪基线。
推理效率： 通过并行化和缓存优化，在单张 H100 GPU 上实现了约 71 FPS 的推理速度（针对 164 帧序列）。

5. 意义与展望 (Significance)

范式转变： 该工作证明了将机器人控制“视觉化”（Grounding action in pixels）是解决世界模型与策略泛化之间鸿沟的有效途径。它消除了策略头带来的泛化瓶颈，让预训练的视频先验知识直接服务于控制。
通用性： 统一的多视图视频空间表示使得模型能够自然地处理视角变化、遮挡和不同的机器人形态，为构建通用的机器人基础模型（Generalist Robot Models）提供了新方向。
未来工作： 目前系统主要在开环（Open-loop）设置下表现优异。未来的工作将集中在通过蒸馏加速推理，并将其集成到闭环控制（Closed-loop）管道中，以应对实时动态环境。

总结： Action Images 通过将动作转化为多视图像素级图像，成功地将策略学习统一为视频生成问题，实现了无需额外策略模块的强泛化零样本控制，为机器人世界模型的发展开辟了一条极具潜力的新路径。