🤖 AI

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

本文介绍了 CLIFT，一种非侵入式的闭环迭代微调方法，该方法使使用闭权重基础模型（如 Gemini Robotics On-Device）的人形机器人能够通过将部署时的奖励反馈转化为用于基于 API 的策略改进的监督数据，从而实现近乎完美的任务掌握，进而克服了纯模仿学习的局限性，且无需访问模型的内部结构。

原作者： Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人跳一段复杂的舞蹈。在人工智能的世界里，有两种主要的方法可以做到这一点。第一种是“开源”，你可以获得机器人的整个大脑、它的代码以及它的内部线路，你可以亲手调整每一个螺丝。第二种是“闭源”，机器人就像一个黑匣子。你看不见内部，摸不到线路，也无法更改代码。你所能做的只是给机器人一份指令清单（比如“像这样跳舞”）并要求它学习。这正成为当今最强大的机器人大脑的标准形式：它们极其聪明，但都被锁在了一扇数字门后。

科学家们正在探讨的一个大问题是：如果你无法窥视机器人的大脑内部，你是否仍能教会它掌握困难的现实世界任务？通常情况下，当你看不见内部时，你只能局限于模仿你所看到的东西（即模仿学习）。但现实生活是混乱的。机器人可能会在视频中完美地模仿人类，但当它尝试在不平整的地板或面对一个光滑的杯子时，由于微小的延迟或它未曾考虑到的物理特性，它可能会失败。要变得真正优秀，机器人需要练习、失败、意识到哪里错了，然后再次尝试——这个过程被称为“闭环学习”。挑战在于：当你被禁止触碰其内部的学习机制时，你该如何教会一个机器人从自己的错误中学习？

这篇题为 CLIFT 的论文正是针对这一问题展开研究的。研究人员想要看看，他们能否在不打开“模型盒子”的情况下，将一个强大的、受限的机器人模型——“Gemini Robotics On-Device”——转化为处理复杂、高接触任务（如叠盘子或装箱）的高手。他们发现，仅仅通过复制人类视频（一种称为监督微调的方法）虽然让机器人比其他开源机器人表现得更好，但对于实现现实世界的灵活性来说仍然不够完美。机器人经常会掉落物品或在最后一步时手忙脚乱。

为了解决这个问题，团队发明了一个聪明的技巧，叫做 CLIFT（闭环迭代微调）。你可以把它想象成一个无法修改游戏代码但仍能教导玩家的电子游戏教练。它是这样运作的：

练习赛： 机器人在现实世界中尝试执行一项任务。它可能成功，也可能失败。
计分卡： 并不是简单地说“做得好”或“做得差”，而是一个特殊的 AI 评委（奖励模型）会观察视频，并为动作的每一个微小片段评分。它能识别出哪些部分是流畅且有帮助的，哪些部分是笨拙或危险的。
神奇标签： 团队将这些带有评分的视频转化为新的训练课程。他们在好的部分添加一个特殊的“徽章”（比如金星），并在坏的部分添加一个“警告”。
课程： 他们通过 API（一个数字菜单）将这个带有新标签的课程发送回机器人的锁定大脑。机器人利用这些新数据进行重新训练，学习去寻求“金星”并避开“警告”。

研究人员运行了这个循环两次，就像一个飞轮在不断加速旋转。结果令人印象深刻。到最后，机器人不再仅仅是模仿人类；它开始发明自己的巧妙动作。例如，在装箱时，机器人学会了用手指挤压并旋转箱子，以便在提起之前获得更好的抓握力——这是一个人类老师从未展示过的动作。当尝试把瓶子放入杯中时，如果第一次没成功，它学会了尝试重来，而不是放弃。

论文表明，这种“非侵入式”的方法效果显著。通过这种方法，机器人在处理叠盘子和插入瓶子等困难任务时的成功率从大约 50-70% 跃升至接近 100%。更令人惊讶的是，当他们对另一个开源机器人（一个他们本可以触碰代码的机器人）尝试同样的技巧时，那个受限的机器人表现得更好。这表明，拥有一个非常强大的、预训练好的“大脑”，比拥有对代码的完全访问权更为重要。

简而言之，这篇论文证明了你不需要拆解机器人的大脑也能教会它。通过将现实世界的练习环节转化为智能的、带标签的课程，你可以引导一个受限的机器人成为专家，通过“尝试、评分、再学习”这样一个简单的迭代闭环，掌握复杂的物理任务。作者发现，仅需两个周期，这种方法就能推动机器人达到近乎完美的精通水平，而这一切都无需“打开模型盒子”。

技术摘要：CLIFT —— 通过非侵入式闭环迭代微调，将 Gemini 机器人端侧模型转化为人形机器人专家

1. 问题陈述

机器人领域面临着一个根本性的矛盾：最强大的视觉-语言-动作（VLA）基础模型通常是在专有数据上训练的，并且保持闭源状态，这限制了下游用户对其进行适配的能力。虽然一种新兴的范式提供了托管式监督微调（SFT）API（例如 Gemini Robotics On-Device 或 GROD），允许用户提交数据并在无需访问权重或梯度的情况下获得微调后的策略，但这种机制在处理敏捷且具有丰富接触感的人形机器人操控任务时存在显著局限性。

目前的基于 API 的适配主要依赖于仅演示（demonstration-only）的 SFT。这种方法会遭遇性能天花板，原因如下：

分布不匹配（Distribution Mismatch）： 它是在固定的真人遥操作数据分布上进行训练，而部署过程则发生在策略自身的闭环观测分布之下。
执行质量（Execution Quality）： 仅仅完成任务并不保证成功；平滑度、接触质量和安全性等因素至关重要。
控制器耦合（Controller Coupling）： VLA 策略与下游全身控制器紧密耦合。由于延迟、顺应性和跟踪动力学的存在，相同的动作块（action chunk）可能会产生不同的物理结果，从而在策略输出与部署行为之间造成差距。

现有的闭环改进方法（如 PPO、残差强化学习）需要访问内部信号（如梯度、似然值或评论家网络），而这些在受限访问的 API 机制中是无法获取的。核心问题在于：对于人形机器人的适配，托管式 API 机制的效果究竟如何？如何在这一机制内实现闭环改进以达到任务精通水平？

2. 方法论：CLIFT

作者提出了 CLIFT（闭环迭代微调），这是一个将托管式 SFT 接口与闭环策略改进相结合的非侵入式流水线。CLIFT 作为一个“飞轮”，将部署时的奖励反馈转化为与 API 兼容的监督数据，而无需触碰模型的内部权重或损失函数。

该流水线由三个迭代步骤组成：

A. 基于偏好校准的稠密奖励建模

为了对部署过程中的展开（rollouts）进行评分，CLIFT 采用了两阶段奖励生成过程：

候选生成： 一个零样本（zero-shot）视觉语言模型（VLM）针对给定的展开过程生成多个候选的逐步奖励序列。
人类选择与蒸馏： 人类操作员对展开质量提供成对偏好。那些累积回报排名最符合人类偏好的候选序列被选中。随后，这些选中的序列通过微调被蒸馏到一个生成式奖励模型（ $R_\theta$ ）中。该模型提供稠密的、经过偏好校准的奖励，能够捕捉超越粗略任务进度的执行质量。

B. 基于检索的优势条件化

CLIFT 不仅仅是将失败的展开视为失败，也不仅仅是将回合视为二元的成功或失败，而是执行块级信用分配（chunk-level credit assignment）：

检索： 对于从状态 $o_t$ 开始的每个动作块，系统会从其他起始于视觉相似状态的展开中检索出一组对比动作块。
评分： 该动作块根据其在预见窗口内的折扣回报进行评分，使用的是奖励模型 $R_\theta$ 。
标记： 动作块被标记为一个二元优势标记（Advantage Token）（ $I \in \{positive, negative\}$ ）。如果该块的回报处于检索集的顶端 30%（自动适应状态难度），则获得正向标签；否则为负向标签。
数据转换： 每个展开的动作块都被转换为一个 SFT 元组：(观察, 指令, 动作块, 优势标记)。

C. 迭代自我改进

循环流程如下：

部署： 将当前策略 $\pi_k$ 部署在机器人上以收集闭环展开过程。
重标记： 由 $R_\theta$ 对展开过程进行评分，并为动作块标记优势标记。
数据集构建： 通过结合原始的人类演示（始终标记为正向）和新重标记的展开块，形成累积数据集 $D_k$ 。
微调： 通过托管式 SFT API 在 $D_k$ 上从头开始微调基础模型，以生成 $\pi_{k+1}$ 。
推理： 在部署时，策略以正向优势标记为条件，从而引导行为趋向高质量动作。

3. 实验设置

平台： 带有双臂、灵巧手和头戴式 RGB 相机的 Unitree G1 人形机器人。
控制： 分层全身控制，其中 VLA 输出上肢关节角度和下肢速度，并由学习到的 RL 控制器进行跟踪。
任务： 三个具有丰富接触感的敏捷操控任务：
1. 装箱（Box Packing）： 精确的抓取与放置。
2. 杯子插入（Cup Insertion）： 非对称的双臂协调（在稳定载体的同时插入瓶子）。
3. 双臂托盘交接（Bimanual Plate Handover）： 双手间的协调转移。
对比模型：
- GROD： 通过托管式 SFT API 使用的闭权重模型。
- $\pi_{0.5}$ ： 具有直接权重访问权限的开权重 VLA（Physical Intelligence）。
协议： 两种模型均以 2 小时的遥操作演示作为初始化，并经历了两个周期的 CLIFT 迭代。

4. 关键结果

性能提升

GROD（闭权重）： 尽管仅通过 API 访问，CLIFT 仍成功地在两个飞轮周期后将 GROD 推向了近乎完美的任务精通水平。
- 装箱： 93% $\to$ 100%
- 杯子插入： 70% $\to$ 98%
- 双臂托盘交接： 53% $\to$ 96%
$\pi_{0.5}$ （开权重）： CLIFT 也改进了该开权重模型，但其性能在显著较低的水平处达到了平台期（例如，在双臂托盘交接任务中从 5% $\to$ 30%）。
对比： 直接在 GROD 上进行 SFT 的表现已经优于在相同数据上训练的 $\pi_{0.5}$ 。即使给予 $\pi_{0.5}$ “侵入式”适配（通过 FiLM 式条件化将偏好信号直接注入网络），它仍然落后于经 API 适配的 GROD。

稠密 vs. 回合选择

作者对比了 CLIFT 的两个变体：

稠密优势条件化（Dense Advantage-Conditioned）： 为每个展开中的每个动作块进行标记（正向或负向）。
高回报回合选择（High-Return Episode Selection）： 仅保留前 30% 的成功回合（标准的 DAgger 风格）。

发现： 在简单任务上，两者表现相似。在最难的任务（双臂托盘交接）中，稠密变体显著优于回合选择（96% 对比 ~84%）。这表明，保留失败的展开过程并将执行良好的动作块重新标记为正向示例（以及将糟糕的块标记为负向）对于从失败中学习至关重要。

涌现行为

CLIFT 使策略能够习得原始演示中不存在的行为：

预操作（Pre-manipulation）： 通过手指/手腕重新定向物体，以利于抓取。
恢复（Recovery）： 在第一次尝试失败后尝试第二次插入，而不是停滞不前。

5. 重要性与主张

本文声称 CLIFT 证明了托管式 SFT API 不仅可以作为定制化接口，还可以作为闭环策略改进的实用机制。

非侵入式精通： 即使不“打开模型黑盒”（即不访问权重、梯度或损失函数），也能够将闭权重基础模型推向复杂、具有丰富接触感任务的近乎完美成功。
基础模型的重要性： 基座模型（Base Model）的选择至关重要。通过狭窄 API 接口进行适配的更强的闭权重基础模型（GROD），其表现优于即使获得了完全内部访问权限的较弱开权重模型（ $\pi_{0.5}$ ）。这表明，对于闭环适配而言，预训练先验的强度可能比训练访问权限的程度更为重要。
数据效率： 通过将部署中的失败转化为稠密的、块级的训练信号，CLIFT 提取了来自真实机器人展开过程的最大价值，将失败转化为学习信号而非直接丢弃。

作者总结道，虽然真实机器人的展开过程成本高昂，但这种方法为在专有基础模型时代实现人形机器人的任务精通提供了一条可行的路径。