🤖 人工智能

Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning

Cosmos Policy 引入了一种简单的单阶段微调方法，将大型预训练视频模型适配为一种最先进的机器人策略，能够直接生成用于有效视觉运动控制和测试时规划的动作、未来状态及价值估计，在无需架构修改的情况下，在模拟和真实世界基准测试中均实现了卓越的性能。

原作者： Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Moo Jin Kim, Yihuai Gao, Tsung-Yi Lin, Yen-Chen Lin, Yunhao Ge, Grace Lam, Percy Liang, Shuran Song, Ming-Yu Liu, Chelsea Finn, Jinwei Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个机器人做一道复杂的菜或者折叠一件衬衫。传统上，你可能会尝试一步步地教机器人，比如为每一个动作都准备一张食谱卡。但如果，你给机器人的不是食谱，而是一个包含数百万个视频的图书馆，展示着世界是如何运作的——物体是如何掉落的、液体是如何倾倒的、事物是如何随时间移动的——并要求它通过这些视频学习物理世界的“感觉”呢？

这就是 Cosmos Policy 的核心理念，这是由 NVIDIA 和斯坦福大学的研究人员开发的一种新型机器人大脑。

以下是其工作原理的简单拆解，使用了日常生活的类比：

1. “电影导演”机器人

大多数机器人大脑就像只会背诵剧本的演员。它们知道在特定场景下该做什么，但如果灯光改变或椅子被挪动了位置，它们就会感到困惑。

Cosmos Policy 则不同。它最初是一个视频生成模型（具体来说是一个名为 Cosmos-Predict2 的模型）。你可以把这个模型想象成一位看过数百万部电影的才华横溢的电影导演。这位导演已经理解了：

重力是如何运作的。
杯子掉下去会如何破碎。
一个人的手是如何移动以抓取把手的。

研究人员并没有从头开始构建一个新的机器人大脑，而是直接采用了这个“电影导演”，并给了它少量的特定训练：“这里是我们机器人手臂移动的视频。现在，学习预测接下来会发生什么。”

2. “魔力水晶球”技巧

通常，当你想要机器人移动时，你必须构建一个单独的系统来计算手臂运动的数学逻辑。Cosmos Policy 做了一件聪明的事：它将机器人的运动指令（动作）视为电影中的又一帧画面。

类比： 想象一段电影胶片。通常，这些帧显示的是一个人在行走。Cosmos Policy 在电影中间插入了一个“隐藏帧”，上面写着“将手臂向左移动”。
因为该模型已经是预测视频中下一幕发生的专家，所以它能像预测人走路的下一帧那样，轻松预测出这个“动作帧”。它不需要专门的数学模块；它只需利用现有的“电影预测”技能来搞定机器人的移动方式。

3. “白日梦”规划器

Cosmos Policy 最强大的部分在于它的预判能力。

想象你在玩电子游戏。在跳下悬崖之前，你可能会停顿并思考：“如果我跳这里，我会掉下去。如果我跳那里，我会落在安全的平台上。” 你正在脑海中模拟未来。

Cosmos Policy 也是如此：

生成选项： 它构思出几种不同的移动方式（例如，“在这里抓杯子”或“在那里抓杯子”）。
白日梦未来： 对于每种选项，它都会瞬间“观看”一段关于接下来会发生什么的短片。它会预测机器人和摄像机的未来状态。
为梦想评分： 它会为每一个“未来的电影”分配一个“分数”。机器人掉落了杯子吗？（低分）。它成功倒水了吗？（高分）。
挑选赢家： 它会选择那个能导向最高分未来的动作。

这使得机器人能够处理棘手的任务，比如把糖果放进极小的袋子里，因为它可以在实际移动手臂之前，先在脑海中“尝试”不同的动作。

4. 从错误中学习

研究人员发现，对于最难的任务，仅仅观看成功的视频是不够的。因此，他们让机器人进行实地尝试，即使有时会失败。他们将这些“失败的尝试”反馈回系统中。

这就像一个学生做练习题。如果他们答错了，他们不会直接把试卷扔掉，而是会研究错误，以理解为什么会失败。Cosios Policy 通过这种方式来精炼它的“白日梦”能力。在经历了一些失败之后，它的预测会变得更加精准，从而更好地避免这些错误。

结果

当他们测试这个机器人大脑时：

在模拟环境中： 它在标准基准测试（如 LIBERO 和 RoboCasa 测试）中击败了几乎所有其他机器人系统，在某些任务上的成功率接近 99%。
在现实世界中： 在使用双臂机器人（ALOHA 机器人）时，它折叠衬衫和装糖果的能力优于其他顶尖系统，尽管其训练数据量远少于竞争对手。

局限性

论文指出了一项限制：这种“白日梦”过程需要时间。因为机器人必须模拟多个未来才能选出最好的一个，所以它比那种仅靠本能反应的机器人要慢。这就像是“反射动作”（快但可能不准确）与“国际象棋大师思考招式”（慢但非常精准）之间的区别。

总结： Cosmos Policy 是一个通过看电影来学习移动的机器人，它将机器人指令视为电影帧，并利用其“想象未来”的能力来高精度地规划复杂任务。

技术摘要：Cosmos Policy

问题陈述

视频生成模型的最新进展展示了捕捉复杂物理交互、时间因果关系和场景演化的惊人能力。然而，将这些模型适配于机器人控制传统上需要复杂的、多阶段的训练流水线，并引入新的架构组件（例如，独立的动作扩散器或逆动力学模型）。现有的统一视频-动作模型往往由于采用从头开始训练的定制设计，而无法充分利用大规模预训练视频模型强大的时空先验。此外，虽然视觉-语言-动作（VLA）模型已成为流行的骨干网络，但它们主要是在静态图像-文本对上进行训练的，这可能限制了它们与视频模型相比对时间动态和隐式物理规律的理解能力。

本研究解决的核心挑战在于：如何通过一个简单的单阶段过程，在不进行架构修改的情况下，有效地将大型预训练视频基础模型转化为机器人策略，同时使该策略能够通过学习到的世界模型和价值函数进行基于模型的规划。

方法论

Cosmos Policy 架构

作者引入了 Cosmos Policy，这是一种基于 NVIDIA Cosmos-Predict2-2B 视频基础模型微调而成的机器人策略。该方法的特点在于没有架构上的改变；相反，它利用模型原生的潜空间扩散过程来处理多模态输入和输出。

1. 潜空间帧注入 (Latent Frame Injection)：
为了整合视频模型最初不支持的模态（机器人本体感受、动作、状态值和多视角摄像头），作者提出了潜空间帧注入。

机制： 额外的模态被编码为新的潜空间帧，并直接交织到视频模型的潜空间扩散序列中。
序列结构： 对于具有多个摄像头的机器人设置，潜空间序列被构建为 $(s, a, s', V(s'))$ $(s, a, s^{'}, V (s^{'}))$ ，其中：
- $s$ ：当前状态（机器人本体感受 + 当前摄像头图像）。
- $a$ ：动作块（编码为一个潜空间帧）。
- $s'$ ：未来状态（未来本体感受 + 未来摄像头图像）。
- $V(s')$ ：未来状态值（预期累积奖励，编码为一个潜空间帧）。
灵活性： 该方法允许任意机器人配置（例如，改变摄像头的数量），只需通过在序列中添加或删除潜空间帧即可，无需更改模型权重或结构。

2. 联合训练目标：
该模型使用单阶段目标在机器人演示数据上进行微调，该目标共同学习三个函数：

策略 (Policy)： 在给定当前状态的条件下，预测动作、未来状态和价值 ( $p(a, s', V(s') | s)$ )。
世界模型 (World Model)： 在给定状态和动作的条件下，预测未来状态和价值 ( $p(s', V(s') | s, a)$ )。
价值函数 (Value Function)： 在给定状态、动作和未来状态的条件下，预测未来价值 ( $p(V(s') | s, a, s')$ )$。

训练数据由专家演示（占 Batch 的 50%）和策略展开（Rollout）数据（占 Batch 的 50%）混合组成。展开数据用于训练世界模型和价值函数，使系统能够从成功和失败的轨迹中学习。

3. 基于模型搜索的规划 (Planning with Model-Based Search)：
Cosmos Policy 支持两种部署模式：

直接策略 (Direct Policy)： 使用并行解码，直接从当前状态生成动作。
基于模型的规划 (Model-Based Planning)： 利用学习到的世界模型和价值函数来搜索最优动作。
- 过程： 系统采样多个动作提案，使用“规划模型”（一个在展开数据上经过强化训练的精炼检查点）来预测产生的未来状态和价值，并选择导致最高预测价值的动作。
- 集成策略 (Ensemble Strategy)： 为了处理多模态分布和方差，系统通过多次查询世界模型和价值函数来集成预测结果，并通过“多数平均法 (majority mean)”来确定成功的可能性。

核心贡献

视频模型的简单适配： 本文证明了可以通过单阶段的后训练过程，在无需架构修改的情况下，利用潜空间帧注入来编码动作和价值，从而将大型预训练视频模型适配为最先进的机器人策略。
统一的策略、世界模型与价值函数： 该方法将策略学习、世界建模和价值估计统一在单个潜空间扩散框架内，利用预训练的先验知识来捕捉复杂的动作分布和时间动态。
通过展开细化进行规划： 作者展示了通过收集策略展开数据并微调价值和世界模型组件，系统可以执行有效的基于模型的规划（Best-of-N 采样），以提高在挑战性任务中的成功率。
达到最先进性能 (SOTA)： 该方法在模拟和真实世界操纵任务中均取得了新的基准性能，超越了从头开始训练的策略、基于视频的策略以及微调后的 VLA 模型。

实验结果

作者在三个基准测试中评估了 Cosmos Policy：

LIBERO 模拟环境： 实现了 98.5% 的平均成功率，超越了包括 Diffusion Policy、Dita、 $\pi_0$ 、OpenVLA-OFT 和 CogVLA 在内的强力基线模型。
RoboCasa 模拟环境： 仅使用每个任务 50 个人类演示数据（显著少于许多竞争对手使用的 300 多个）就达到了 67.1% 的平均成功率，超过了 GR00T-N1.5 和 Video Policy 等方法。
真实世界 ALOHA 任务： 在具有挑战性的双臂操纵任务（如折叠衬衫、处理拉链袋）中，Cosmos Policy 取得了最高的平均得分 (93.6%)。
- 它在需要高精度抓取和处理高动作多模态的任务中，明显优于微调后的 VLA 模型 ( $\pi_0.5$ , OpenVLA-OFT+)。
- 规划的影响： 当使用展开数据进行基于模型的规划进行增强时，该策略在最困难的 ALOHA 任务中的任务完成得分平均提升了 12.5%。

消融实验：

去除辅助学习目标（即在预测 $a$ 的同时预测 $s'$ 和 $V$ ）会导致成功率下降 1.5%。
从头开始训练模型（不使用预训练视频权重）会导致成功率下降 3.9%，凸显了视频模型先验的重要性。
使用 $V(s')$ 公式进行基于模型的规划（需要世界模型）优于 $Q(s, a)$ 无模型变体，表明了学习环境动力学的价值。

意义与主张

本文声称 Cosmos Policy 代表了机器人学习领域的重要进步，证明了大规模视频生成模型的时空先验是比基于静态图像的 VLA 模型更优越的底层控制基础。

主要主张包括：

简单高效： 能够在无需架构更改或多阶段训练流水线的情况下，创建强大的机器人策略。
数据效率： 由于强大的视频基础模型初始化，该方法在较少的演示次数下（50 次对比 300+ 次）即可实现高性能。
规划能力： 统一的架构天然支持基于模型的规划，允许机器人“想象”未来的状态和价值，从而选择更好的动作。这种能力在直接策略难以应对的高精度和多模态任务中提升了性能。
泛化性： 该方法在模拟和真实环境的分布内及分布外场景中均表现出强大的泛化能力。

作者也承认了局限性，特别是基于模型规划的推理速度（每个动作块约 5 秒）以及目前仍需大量展开数据来细化世界模型，并将这些视为未来的改进方向。