🤖 machine learning

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

RynnValue 是一个开源的机器人价值基础模型，它通过使用时间距离作为监督目标，将规模扩展至数百万个指令调节的视频片段，在评估中超越了基于偏好的方法，并在无需显式奖励或进度标注的情况下，显著提升了现实世界策略的成功率。

原作者： Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人做饭，但你并没有给它食谱，只是对它说：“做得好一点！”并寄希望于它能自行搞定剩下的部分。这就是机器人学习（robot learning）的世界——这是一个研究人员试图教会机器人在物理世界中移动和交互的科学分支。最大的障碍通常不是机器人的“大脑”（它的移动能力），而是奖励（reward）。在人工智能的世界里，“奖励”就像是一个记分卡或是一个击掌，告诉机器人：“做得好！”或者“再试一次。”问题在于，为机器人的每一个动作都给出一个完美的记分卡是极其困难的。如果记分卡太模糊，机器人会感到困惑；如果记分卡过于针对某一项特定任务，机器人就无法学习任何新事物。科学家们一直试图构建一种适用于任何机器人执行任何任务的“通用型”记分卡，但一直卡在如何创造这种记分卡而不必依赖人类手动为每一次尝试打分的问题上。

这就是名为 RynnValue 的新想法出现的地方。把它想象成一种新的评价机器人表现的方式。与其问“你离终点线还有多远？”（如果终点线在每个任务中看起来都不一样，这很难衡量），RynnValue 问的是：“距离你完成还有多少时间？”它将机器人的旅程视为一个倒计时器。如果机器人离目标还很远，计时器就很高；如果接近目标，计时器就很低。这篇论文的魔力在于，它展示了你不需要人类按下按钮说“做得好”来创建这个计时器。你只需要看时钟即可。如果一段机器人烹饪的视频从 10 分钟开始到 0 分钟结束，计算机可以自动计算出在 5 分钟处，机器人还剩 5 分钟。这个简单的技巧让机器人能够从数千小时的视频中学习，而无需任何人手动进行评分。

问题所在：“进度”陷阱

长期以来，科学家们尝试通过测量“进度”来教导机器人。想象一个机器人正在尝试堆叠积木。一个进度模型会试图猜测机器人是完成了 10%、50% 还是 90%。但问题在于：“完成了一半”对于堆叠积木和对于倒水来说，看起来完全不同。一个机器人可能通过高度判断自己完成了进度，而另一个机器人可能通过时间判断。这使得训练一个能做许多不同事情的机器人变得非常困难，因为“进度”的定义随着任务的变化而改变。这就像是在教学生数学时，只说“你已经完成了一半了！”，却从未告诉他们最终答案应该是多少。

本文作者认为这种“进度”方法是一个死胡同。他们认为我们应该停止猜测机器人进展到了多远，而是开始倒计时直到工作完成。他们称之为时间距离（temporal distance）。它是“前往目标的成本”，或者简单来说，就是“我还有多少时间？”

解决方案：RynnValue 与神奇时钟

阿里巴巴达摩院和虎扑实验室（Hupan Lab）的团队构建了一个名为 RynnValue 的模型。RynnValue 不再试图猜测进度的百分比，而是观察一段机器人视频和一段文本指令（例如“把杯子放在桌子上”），并预测距离任务完成精确还有多少秒。

这里最巧妙的部分在于：他们不需要人类为每个视频写下“还剩 5 秒”之类的话。他们直接使用了视频文件自带的时间戳（timestamps）。如果一段视频从 0:00 开始，机器人在 0:10 完成，那么计算机就知道在 0:05 时，机器人还剩 5 秒。这意味着他们可以在一个包含超过 7,000 小时机器人视频（约 300 万个片段）的海量库中训练该模型，而无需任何人工手动评分。这就像是通过让学生观看带有字幕的成千上万部电影来教他们阅读，而不是由老师去评判他们读出的每一个句子。

投机取巧的小把戏（以及如何阻止它们）

你可能会想：“如果机器人只是学会了看时钟，那它是不是在利用捷径？”科学家们也担心过这一点。他们知道，如果只是按顺序向机器人展示视频，机器人可能会学会一种捷径：“哦，视频的第 3 帧总是处于完成了一半的状态！”或者“如果视频长 10 秒，中间位置总是剩 5 秒。”这样机器人就会停止观察实际的机械臂，而仅仅根据视频的位置进行猜测。

为了阻止这种情况，他们在训练中加入了些“混乱”：

随机采样（Random Sampling）： 他们没有按直线向机器人展示视频。他们挑选视频中的随机时刻，这样机器人就无法根据帧的顺序来猜测时间。
洗牌（Shuffling）： 他们有时会倒序或以乱序向机器人展示视频。如果机器人看到了“完成”状态出现在“开始”状态之前，它就必须意识到“完成”状态实际上在时间上更远，从而迫使它真正去观察机器人的图像，而不仅仅是观察图像的顺序。
隔离（Isolation）： 他们确保机器人在猜测当前帧时，无法偷看下一帧的答案。它必须独立解决每一个时刻的问题。

结果：它奏效了吗？

团队在许多它从未见过的不同机器人和任务上测试了 RynnValue。结果令人惊喜。

排序任务： 当被要求将不同的机器人尝试从“最好”到“最差”进行排序时，RynnValue 得到了 0.675 的分数。这优于之前依赖人类手动对视频进行评分的最佳模型（其得分为 0.655）。
现实世界机器人： 他们将该模型用于教导真实的机器人完成棘手的任务，比如把面包放入篮子或用铲子移动牛排。
- 使用 RynnValue 进行在线学习（移动过程中）时，机器人的成功率达到了 72.5%。
- 而使用旧有的最佳方法时，成功率仅为 52.5%。
- 在离线学习（从过去的动作数据库中学习）中，RynnValue 将成功率从 63.8% 提升到了 82.5%。

为什么这很重要

这篇论文最令人兴奋的地方在于，它表明我们不需要在评分机器人方面做到完美才能教导它们。我们只需要知道它们何时完成即可。通过使用简单的、自动化的“时钟”时间，RynnValue 为机器人创造了一种通用的语言。无论是拥有双臂的机器人、带轮子的机器人，还是带手部的机器人，只要我们能判断任务何时结束，它都能适用。

作者谨慎地指出，这并不是一个能瞬间解决所有机器人问题的魔杖。他们发现，对于需要精确对齐的极难任务（如将盒子放入抽屉），由于视觉线索容易产生混淆，模型仍然会遇到一些困难。但总体而言，他们证明了时间距离是一种强大且可扩展的教导机器人的方式。它将“什么是好的动作？”这个混乱且困难的问题，转化为了“还剩多少时间？”这个简单且可解决的问题。

简而言之，RynnValue 就像是给了机器人一个秒表，而不是一份成绩单。它将混乱的机器人学习世界变成了一个简单的倒计时，而且看起来它比旧的方法效果更好。

技术摘要：RynnValue —— 利用时间距离扩展机器人价值基础模型

问题陈述

通用机器人策略正越来越多地通过强化学习（RL）进行训练，但这种循环的规模化受限于奖励监督。手工设计的奖励无法泛化到开放式任务，而稀疏的成功信号则无法为长程行为提供足够的引导。现有的通用奖励模型依赖于任务内部锚点，如人类偏好、参考演示或归一化进度。这些方法将监督与特定的轨迹或比较集绑定在一起，使其难以在异构数据源、具身智能体和视角之间进行迁移。此外，归一化进度（例如 [0, 1] 量程）是轨迹内的坐标，而非目标条件的代价函数（cost-to-go），这会导致在不同任务时长和结构下的不一致性。

方法论：RynnValue

作者引入了 RynnValue，这是一个开源的价值基础模型，它重新定义了奖励建模问题。RynnValue 不再对轨迹层级的锚点进行评分，而是预测时间距离——即从某一观测状态到语言指定的目标的定向、目标条件代价函数。

1. 数据配方与标注

RynnValue 在超过 7,000 小时 的大规模异构机器人数据上进行训练，包含大约 300 万个指令条件下的轨迹片段。该数据集涵盖了多样化的具身智能体（单臂、双臂、移动机器人、灵巧手）、视角以及任务族（真实世界、模拟环境和第一人称视角）。

标签推导： 与基于偏好的方法不同，RynnValue 不需要偏好对或进度标注。标签直接从时间戳中推导而来。通过识别完成截止点（通过子任务分割和重标记），模型学习了任何观测状态到完成任务所需的剩余时间。
监督信号： 模型预测绝对的时间完成距离以及相邻观测之间的有符号相对时间位移。

2. 模型架构

RynnValue 构建在 RynnBrain 之上，是一个以语言为条件的视觉模型，能够处理指令、观测和查询 token 的交错多模态序列。

分组时间查询： 为了克服信息瓶颈，每个时间预测由一组 $N=8$ 个重复的查询 token 表示。这些 token 通过双向注意力机制进行交互，然后拼接以形成鲁棒的表示。
双分布头： 模型采用了两个专门的头部：
- 绝对头（Absolute Head）： 预测剩余的完成时间 ( $v_t$ )。
- 相对头（Relative Head）： 预测相邻观测之间的有符号时间位移 ( $\Delta_t$ )。
- 两者都使用 symlog 分箱（256 个 bin）和两热（two-hot）目标来处理广泛的时间距离动态范围，将回归问题转化为稳定的分类问题。
自然语言分支： 一个辅助分支生成视频描述、指令-视频匹配判断以及成功预测，在不干扰时间价值头的情况下提供语义落地。

3. 捷径抑制策略

为了确保模型将预测建立在视觉证据之上，而非利用数据规律，作者引入了三种关键机制：

随机时间采样： 以不规则的时间戳对观测进行采样，以打破由均匀采样引起的算术数值模式。
时间顺序打乱： 在训练期间打乱采样观测的年代顺序（带有“倒回”概率）。这防止了模型仅根据序列位置来推断进度。
价值隔离注意力（Value-Isolation Attention）： 一种掩码策略，其中与不同观测相关的价值查询组不能相互关注。这防止了模型从之前的查询中外推价值，迫使每个预测都依赖于其特定的视觉上下文。
指令不匹配增强： 10% 的训练样本使用不匹配的指令，以教导模型检测不一致性，并避免假设向错误目标进行平滑进展。

4. 推理与奖励接口

在推理时，RynnValue 输出时间距离估计值 $v_t$ 。为了将其作为奖励信号，通过符号反转将其转换为基于势能的奖励： $\Phi_t = -v_t$ 。这创建了一个稠密奖励接口，其中接近完成的状态具有更高的势能（接近零），在保留时间尺度的同时，无需将其归一化到特定任务的 [0, 1] 区间。

关键结果

基准测试性能 (RBM-EVAL-OOD)

在 RBM-EVAL-OOD 轨迹排序套件（涵盖 6 个 OOD 数据集的 976 条轨迹）上进行评估：

RynnValue-8B 实现了平均 Kendall's $\tau_a$ 为 0.675，超过了完全基于偏好监督的最先进水平（Robometer，0.655），并且是仅基于进度的对应方法（0.292）的两倍多。
即便是 RynnValue-4B 版本（0.670）也优于基于偏好的基准模型，这表明收益源于时间距离的公式化设计，而非单纯的模型规模。
RynnValue 各变体在没有显式轨迹级偏好监督的方法中，在所有六个数据集上均取得了最佳结果。

指令-轨迹对齐

在混淆矩阵分析中，RynnValue 展示了最清晰的对角线结构（归一化对角线裕度为 0.79），显著优于基准模型（0.67）。这表明 RynnValue 有效地区分了匹配的指令-轨迹对与不匹配的对，将奖励落地在语言指定的任务目标上，而非通用的视觉进度上。

真实世界策略学习

RynnValue 被部署为零样本奖励标注器，用于四个具有挑战性的真实世界任务（面包篮放置、牛排服务、抽屉放盒、双手搬运箱子）的在线和离线 RL，且无需目标领域微调。

在线 RL： RмValue 将成功率从 52.5% (Robometer) 提高到 72.5%。
离线 RL： RynnValue 将成功率从 63.8% (Robometer) 提高到 82.5%。
值得注意的是，RynnValue 使某些任务（抽屉放盒、双手搬运箱子）能够实现成功的 RL，而在这些任务中，SFT 基准模型的成功率为 0%。

规模化分析

通过解耦数据量与多样性的实验表明，任务多样性带来的误差减少比情节（episode）数量更为显著。仅仅增加相同任务的数据会导致早期饱和，而增加任务的多样性则能驱动持续的改进和泛化。

意义与主张

本文声称，时间距离是一种可扩展的、无需偏好的监督目标，能够将异构机器人数据统一在单一接口之下。通过直接从时间戳中推导标签，RynnValue 绕过了昂贵的人类偏好标注或特定数据集的进度归一化。

作者断言，RynnValue 为训练通用机器人策略建立了切实可行的路径：

可扩展性： 它利用大规模、异构的数据集，而不受人类偏好标注的瓶颈限制。
鲁棒性： 通过时间顺序打乱和价值隔离注意力，它学习到的价值是基于视觉证据的，使其对失败和退步保持敏感。
实用性： 它作为一个有效的稠密奖励接口，显著提高了真实世界环境中的在线和离线策略学习水平，表现优于经过偏好监督训练的强力基准模型。

该研究得出结论，与传统的基于偏好或基于进度归一化的方法相比，时间距离为实现通用机器人价值学习提供了一条更具扩展性的路径。