💻 computer science

ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

本文提出了 ViVa，一种利用预训练视频生成模型时空先验来联合预测未来本体感知与状态价值的新方法，通过引入对动态的预见性显著提升了机器人在长程任务中的强化学习表现。

原作者： Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jindi Lv, Hao Li, Jie Li, Yifei Nie, Fankun Kong, Yang Wang, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ViVa 的新机器人系统。为了让你轻松理解，我们可以把机器人学习做任务的过程，想象成教一个刚学开车的新手司机。

1. 核心问题：机器人为什么“迷路”了？

现在的机器人（比如能叠衣服、装箱子的机器人）通常很聪明，它们看过很多视频，知道“叠衣服”大概长什么样。这就像新手司机背熟了交规和路况图。

但是，当机器人真正动手时，会遇到两个大麻烦：

看不见全貌：就像司机只能看到挡风玻璃前的一小块路，机器人也看不到未来的结果。
反馈太慢：如果司机开错了方向，可能过了半小时才发现车开到了错误的城市。机器人也是，它可能做了一百步动作，最后才发现第一步就错了，这时候再改就太晚了。

在强化学习（RL）中，我们需要一个**“价值模型”（Value Model），它的作用就像车里的导航仪**，实时告诉机器人：“你现在的做法是对的，正在接近成功”或者“你刚才那个动作很危险，正在偏离目标”。

2. 以前的做法：像“看照片”的导航仪

以前的机器人导航仪（基于 VLM 模型）主要靠看静态图片来判断。

比喻：这就像你让导航仪只看一张照片来预测路况。它能看到“现在车在路口”，但它不知道车下一秒会不会撞树，也不知道这条路是不是死胡同。
缺点：它只能看到“现在”，很难理解“未来”。如果机器人正在把箱子往桌边推，照片里箱子还在桌上，导航仪就觉得“一切正常”，直到箱子掉下去它才反应过来。这种“只看眼前”的模型，在长任务中经常失效。

3. ViVa 的突破：像“预知未来”的导航仪

ViVa 的核心创新在于，它不再只看照片，而是像导演一样“脑补”未来的视频。

比喻：ViVa 就像一个拥有“预知能力”的老司机。当你告诉它现在的状态（比如手的位置、箱子的角度），它不仅能告诉你现在的分数，还能在脑海里快速播放一段未来的视频：
- “如果我继续这样推，箱子会在 3 秒后掉下去。” -> 立刻扣分！
- “如果我调整一下角度，箱子会稳稳地滑进盒子里。” -> 立刻加分！

它是如何做到的？
ViVa 利用了一个强大的视频生成模型（就像现在的 Sora 或 Runway 那种能生成视频的大模型）。

输入：现在的画面 + 机器人自己的关节位置（就像现在的车速和方向盘角度）。
思考：模型不只是预测“下一个画面是什么”，而是同时预测两件事：
- 未来的身体动作（机器人关节会怎么动）。
- 当前的任务价值（这件事做得有多好，离成功还有多远）。
输出：它通过“想象”未来的动态过程，来判断现在的动作是否明智。

4. 实际效果：更聪明的“装箱工”

论文在真实的“装箱子”任务中测试了 ViVa：

以前的机器人：经常把箱子推歪了还不知道，直到最后盖子盖不上才失败。
ViVa 机器人：
- 当它发现箱子稍微有点歪（还没掉下去）时，它的“导航仪”立刻发出警报（价值分数骤降），提示它赶紧修正。
- 它不仅能处理训练过的箱子，还能处理没见过的奇怪物体（比如没见过的衣服或盒子），因为它懂的是“物体运动的物理规律”，而不是死记硬背物体的样子。

数据说话：
在真实的装箱任务中，使用 ViVa 的机器人成功率从 58% 提升到了 73%，而且每小时能完成更多任务（效率更高）。

5. 总结：为什么这很重要？

这就好比：

旧方法是教机器人**“背答案”**（看到图 A 就选动作 B）。
ViVa 是教机器人**“懂物理、懂因果”**（通过想象未来的后果，来指导现在的行动）。

ViVa 证明了，让机器人学会**“未雨绸缪”**（通过生成未来的视频来评估现在的价值），是解决复杂机器人任务的关键。它不再是一个只会模仿动作的笨拙学徒，而是一个能预判风险、灵活应变的熟练工。

一句话总结：
ViVa 给机器人装上了一个**“能看见未来”的大脑**，让它在做动作之前，先在脑海里预演一遍后果，从而做出更聪明、更成功的决定。

ViVa：用于机器人强化学习的视频生成价值模型 (ViVa) 技术总结

1. 研究背景与问题定义 (Problem)

核心挑战：
尽管视觉 - 语言 - 动作 (VLA) 模型通过大规模预训练在机器人操作任务中取得了显著进展，但在现实世界的部署中仍面临部分可观测性和延迟反馈的挑战。在长视野 (long-horizon) 任务中，决策的后果往往需要很长时间才能显现，这使得机器人难以将当前行为与未来结果联系起来。

现有方法的局限性：

价值函数 (Value Function) 的重要性： 在强化学习 (RL) 中，价值函数用于评估任务进度并指导策略改进。现有的基于视觉 - 语言模型 (VLM) 的价值模型通常将价值预测视为分类问题或时间排序问题。
静态数据的缺陷： 现有的 VLM 主要基于静态图像 - 文本对进行训练，擅长语义理解但缺乏对时间动态演变的显式建模。它们能捕捉“场景中有什么”，但难以表征“交互如何随时间动态改变环境”。
后果： 这种不匹配导致 VLM 在长视野任务中难以提供可靠的价值估计，无法准确区分有益行为和有害行为，尤其是在面对执行错误或新物体时。

ViVa 的核心洞察：
价值估计本质上是一个预测未来如何展开的问题。视频生成模型被显式优化以捕捉时空演变，能够想象未来的状态，因此比基于静态数据的判别式模型更适合作为价值学习的基础。

2. 方法论 (Methodology)

ViVa (Video-Generative Value Model) 是一种新颖的方法，它重利用 (repurposes) 预训练的视频生成器作为机器人强化学习的价值函数。

2.1 整体架构

ViVa 基于 Wan2.2 (一个预训练的视频扩散 Transformer) 构建，通过潜在注入 (Latent Injection) 技术扩展其输入输出模态，而无需修改核心架构。

输入： 当前的多视角观测图像 ( $o_t$ ) 和机器人本体感知状态 ( $q_t$ , 如关节角度/末端执行器位姿)。
输出：
1. 未来本体感知状态 ( $q_{t+K}$ )：预测 $K$ 步后的机器人状态。
2. 标量价值 ( $v_t$ )：表示当前状态距离任务成功完成的进度（归一化回报）。

2.2 潜在空间编码与序列构建

模态映射： 所有输入输出都被映射为潜在帧 (Latent Frames)。
- 图像通过 VAE 压缩。
- 本体感知状态通过重复填充 (Repeat-padding) 映射。
- 标量价值通过广播 (Broadcast) 映射。
训练序列： 构建一个固定长度的潜在帧序列：
- 干净条件帧 (Clean Conditioning)： 空白帧 + 当前本体感知 + 当前多视角图像。
- 噪声目标帧 (Noisy Targets)： 未来本体感知 + 标量价值（被高斯噪声破坏）。
推理过程： 仅使用条件帧，通过反向扩散过程生成目标帧，从中解码出预测的未来状态和标量价值。

2.3 训练目标与奖励定义

流匹配 (Flow Matching)： 采用与 Wan2.2 相同的流匹配公式，训练模型预测从噪声到干净目标的恒定速度。
联合损失： 损失函数由两部分组成：
1. 未来本体感知预测损失 ( $\lambda_{prop}$ )。
2. 价值预测损失 ( $\lambda_{val}$ )。
- 注：作者尝试过联合预测未来视觉帧，但发现会干扰价值估计的准确性，因此仅预测本体感知。
奖励设计：
- 成功任务：每一步奖励为 $1/T$ ，累积回报随时间线性增加，范围 $[0, 1)$ 。
- 失败任务：在最后一步施加惩罚，使累积回报范围移至 $[1, 2)$ 。
- 这种设计确保了成功与失败在任何时间步都有明显的数值区分，解决了进度与失败之间的模糊性。

2.4 集成应用

ViVa 被集成到 RECAP (Reinforcement Learning with Experience and Corrections via Advantage-conditioned Policies) 管道中，替代原有的 VLM 价值函数，用于优势估计 (Advantage Estimation) 和策略细化。

3. 主要贡献 (Key Contributions)

理论洞察： 指出机器人强化学习中的价值估计本质上是未来预期 (Future Anticipation) 问题。证明了视频生成模型比基于静态数据的判别式 VLM 更适合作为价值学习的基础。
模型创新 (ViVa)： 提出了首个视频生成价值模型，通过将价值与预期具身动态 (Anticipated Embodiment Dynamics) 内在耦合，实现了价值预测与未来状态预测的联合建模。
性能提升： 在真实的盒子组装 (Box Assembly) 任务中，ViVa 显著提高了任务成功率和吞吐量。
泛化能力： 证明了基于视频先验的模型在未见过的物体（如折叠裤子）上具有更强的泛化能力，能够准确捕捉任务进度，而传统 VLM 方法则表现不佳。

4. 实验结果 (Results)

4.1 任务设置

实验在三个现实世界任务上进行：

衬衫折叠 (Shirt Folding)：评估双臂协调和变形物体操作。
盒子包装与组装 (Box Packaging/Assembly)：长视野多阶段操作。
卫生纸整理 (Toilet Paper Organization)：精确的多阶段柔性物体操作。

4.2 定性分析 (Qualitative Analysis)

错误检测能力： 在盒子组装任务中，当机器人出现角对齐错误或悬空风险时，ViVa 的价值曲线会急剧下降，准确反映执行偏差；而基于 VLM 的价值函数对此不敏感，仍单调上升。
进度跟踪： 在衬衫折叠和卫生纸整理任务中，ViVa 的价值曲线平滑且随任务关键里程碑（如折叠、贴标签）稳步上升。相比之下，VLM 基线表现出 erratic (反复无常) 的波动或长时间平坦，无法反映渐进式进展。
泛化性 (Out-of-Domain)： 在未见过的“折叠裤子”任务中，ViVa 能准确识别四个关键执行里程碑，价值曲线平滑上升；VLM 基线则完全错过关键节点，甚至出现反直觉的下降趋势。

4.3 定量结果 (Real-World Experiments)

在最具挑战性的盒子组装任务上，ViVa 集成到 RECAP 管道后表现最佳：

成功率 (Success Rate)：
- 纯模仿学习 ( $\pi_0.5$ ): 42%
- 纯模仿学习 (Gigabrain-0): 53%
- RECAP (VLM 价值): 58%
- RECAP (ViVa): 73% (显著提升)
吞吐量 (Throughput)： ViVa 达到 14 次/小时，优于 VLM 基线的 11 次/小时。

4.4 效率与消融实验

计算成本： ViVa 的训练时间 (4 GPU·天) 比 VLM 基线 (6 GPU·天) 快 1.5 倍，推理延迟也更低 (0.18s vs 0.32s)。
消融研究：
- 视频骨干网络： 仅使用视频生成骨干（即使不预测本体感知）也比 VLM 基线更能捕捉任务阶段变化。
- 未来本体感知预测： 移除未来本体感知预测会导致模型对执行错误（如盖子未对齐、抬起时不稳定）不敏感，证明预测具身动态对价值估计至关重要。
- 预测视野 ( $K$ )： $K=50$ 取得了最佳平衡，过短 ( $K=25$ ) 导致波动，过长 ( $K=75$ ) 导致不确定性增加和关键错误检测失败。

5. 意义与结论 (Significance & Conclusion)

ViVa 提出了一种范式转变，将价值估计从静态的“场景理解”转变为动态的“未来预测”。

核心价值： 通过利用大规模视频语料库中的时空先验 (Spatiotemporal Priors)，ViVa 能够理解物理交互的动态演变，从而在长视野任务中提供比传统 VLM 更可靠的价值信号。
实际应用： 该方法显著提升了机器人在复杂现实任务中的成功率和执行效率，并展现出对未见物体的强泛化能力。
未来方向： 尽管受限于 RECAP 的长推理周期，未能在更多任务上进行大规模实机实验，但 ViVa 为视频生成模型在机器人强化学习中的应用开辟了可扩展的新路径。

总结： ViVa 证明了“想象未来”是评估当前行为价值的最佳方式，通过视频生成模型将价值与具身动态深度耦合，解决了机器人长视野任务中价值估计不可靠的关键瓶颈。