🤖 AI

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

HIL-UMI 引入了一种无需机器人的、人类在环的后训练视觉-语言-动作模型框架，该框架利用手持式通用操控接口和策略引导的能量评分来高效地收集目标数据并优化优势估计器，从而克服了静态监督微调的局限性，并实现了无需物理机器人部署的可扩展、迭代式改进。

原作者： Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong

发布于 2026-09-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器人正变得越来越能够通过视觉和语言来理解世界，通过学习海量数据来执行复杂的任务。然而，这些人工智能系统在通用学习与在特定厨房、车间或工厂中的实际应用之间，仍然存在着显著的差距。当机器人被部署在真实环境中时，它经常会遇到从未见过的场景，从而导致错误不断累积，直至任务失败。为了解决这个问题，研究人员传统上依赖于“监督式微调”，这是一个人类在机器人身上演示正确动作并让机器模仿的过程。虽然这有所帮助，但过程缓慢且昂贵，并且往往会错过机器人最容易出错的关键时刻，因为机器人只从它被给予的示例中学习，而不是从它在尝试独立解决问题时犯下的错误中学习。

一个研究小组开发了一种名为 HIL-UMI 的新方法，改变了人类教导机器人的方式，消除了训练阶段对机器人的物理依赖。该方法不再是看着机器人挣扎然后进行纠正，而是使用一个看起来像机器人夹爪、由人类操作员持有的便携式手持设备。操作员使用该设备执行任务，同时运行机器人当前“大脑”的计算机程序会观察相同的视频流，并试图预测人类下一步会做什么。该系统并不移动机器人；它只是将人类的实际动作与其自身的预测进行比较。当人类做出计算机未预料到的动作时，系统会将该时刻标记为一个学习机会并将其记录下来。这使得机器人能够在从未实际尝试过该任务并承担失败风险的情况下，从自身的盲点中学习。

这种方法的核心是一个持续的观察与优化循环。当人类演示任务时，计算机不断检查其自身的预测是否与人类的动作相匹配。如果计算机的猜测与人类正在做的动作大相径庭，系统就知道它处于“盲点”——即机器人理解不佳的情况。此时，系统会提示人类继续演示，并将该特定片段的数据保存下来。研究人员还加入了第二层智能：一种判断任务进展情况的方法。如果系统认为任务进展不顺，即使人类的动作是正确的，它也会记录下那一刻，以帮助计算机学习如何更好地判断成功。通过结合这两类数据，机器人不仅学习如何做，还学习哪些动作对于完成工作最为有效。

为了测试这一想法，研究人员利用标准的机械臂将其应用于四个不同的现实世界任务。这些任务涵盖了折叠毛巾、清理桌面、堆叠方块以及高精度盖章纸张。在每种情况下，机器人都从一套基础指令开始，然后通过使用这种新型手持方法进行多轮训练。结果显示，与传统方法相比，该方法有明显的改进。传统的训练技术往往会遇到瓶颈，即增加更多数据也无法带来提升，而这种新方法则让机器人能够随着每一轮训练持续进步。机器人学会了比以前更有效地处理长且复杂的动作序列以及精细、精准的动作。

其中一个最引人注目的发现是这种新方法收集有用信息的效率。要求机器人物理移动并由人类进行纠正的传统方法既缓慢又难以规模化。相比之下，手持式方法在收集必要数据方面的速度快了五倍以上。这是因为人类操作员可以自由移动设备，无需等待机器人重置，也无需等待人类对沉重的机器进行物理干预。该系统成功识别了机器人需要帮助的确切时刻，将训练重点放在任务最困难的部分，而不是在机器人已经掌握的部分上浪费时间。

这项研究表明，这种方法为在不同地点、由不同人员教授机器人新技能提供了一条可扩展的路径。由于训练是在手持设备上进行的，多个操作员可以潜在地在不同地点同时收集数据，并全部汇入同一个机器人的学习过程中。研究人员发现，通过专注于机器人知识的具体空白并使用一个奖励进度的系统，他们可以创造出更加可靠且高效的机器人。这项工作指向了一个未来：机器人可以快速、安全地适应新环境，而无需进行重复、昂贵且耗时的物理试验。

技术摘要：HIL-UMI

问题陈述

大规模视觉-语言-动作（VLA）模型为机器人操控提供了强大的先验知识，但在适应特定部署环境（例如：独特的具身形态、观测设置或动力学特性）时仍面临困难。虽然在特定任务演示数据上进行监督微调（SFT）是标准的适配方法，但它面临两个关键局限性：

对分布外（OOD）状态的覆盖有限： 静态演示主要覆盖专家访问过的状态。因此，SFT 策略在漂移到训练数据未涵盖的状态时，容易产生复合误差。
数据利用效率低下： 标准的模仿学习目标将所有演示样本视为同等重要，未能区分哪些数据驱动了任务进展，哪些是次优或冗余的数据。

现有的交互式后训练方法（如 DAgger 或 RECAP）通过在学习者访问的状态下查询专家来解决这些问题。然而，这些方法通常需要反复执行策略并在物理机器人上进行人工干预。这种依赖关系使得数据收集成本高昂、难以在多个操作员之间并行化，并且难以扩展到长程或高精度任务。

方法论：HIL-UMI

作者提出了 HIL-UMI（人机回环通用操控接口），这是一个用于无需机器人的、由策略引导的 VLA 后训练框架。其核心创新在于，通过使用便携式手持 UMI 设备，同时让当前策略在“影子模式”下运行以检测差异，从而将数据收集与物理机器人部署解耦。

该框架以迭代轮次运行，在两种不同的数据收集流与模型更新阶段之间交替进行：

1. 无机器人数据收集

使用手持式 UMI 设备（一个安装在 VR 控制器上的夹持器，配备腕部和第三人称摄像头），人类操作员演示任务。与此同时，当前策略 $\pi_{\theta}$ 从相同的观测流中推断动作，但不将其执行在机器人上。

策略 OOD 检测（策略数据）：
- 系统将人类动作轨迹块 $H_t$ 与当前策略动作分布中的 $N$ 个随机样本 $A^{(n)}_t$ 进行比较。
- 计算一个能量分数（Energy Score, ES），用于衡量人类动作与策略预测分布之间的差异。该分数综合考虑了人类动作的距离以及策略样本的离散程度。
- 如果 $ES(H_t)$ 超过阈值 $\tau_P$ ，则该状态被标记为 OOD（分布外）。随后，操作员会为该片段记录一段完整的专家演示。这类数据（ $D^P_r$ ）专门针对策略的具体盲点。
优势 OOD 检测（优势数据）：
- 在线优势估计器 $f_\psi$ 预测在时间偏移量为 $K$ 的观测对之间的相对任务进展。
- 如果预测的优势值低于校准阈值 $\tau_A$ （表明估计器可能低估了进展，或者该片段属于“困难案例”），则操作员记录一段新的演示。这类数据（ $D^A_r$ ）用于优化优势估计器本身。

2. 模型更新

优势估计器精炼： 使用历史优势数据与新收集的“困难”片段（ $D^A_r$ ）的平衡混合物来更新优势模型。训练目标是最小化在带符号任务进展目标上的回归误差，这些目标经过归一化处理，以确保全回合（episode）与部分片段之间的一致性。
优势调节行为克隆（ACBC）：
- 更新后的优势估计器会对基础数据集和新收集的策略数据（ $D^P_r$ ）中的所有样本进行评分。
- 样本被分配二元标签：如果样本处于预测优势的前 $\eta$ 分位数内（或属于新收集的策略数据），则标记为“正向”；否则标记为“负向”。
- 策略通过在该优势标签混合数据集上的行为克隆进行更新，使模型能够优先学习促进任务进展的行为，同时仍能从次优数据中学习。

核心贡献

无机器人迭代后训练： 作者引入了一个将 VLA 迭代后训练移出物理机器人的框架。通过利用 UMI 进行可并行化、便携式的数据收集，并利用策略在影子模式下进行选择，他们实现了策略改进与硬件部署成本的解耦。
实时策略调节的 OOD 检测： 提出了一种新方法，通过在收集过程中实时对比人类动作轨迹与策略的轨迹分布，确保数据收集专门针对当前策略的弱点（盲点），而非泛泛的覆盖。
迭代优势精炼与 ACBC： 该框架包含一个工作流，通过迭代更新优势模型来按效用对数据进行标注，随后进行优势调节行为克隆。这使得系统能够在不需要显式奖励信号的情况下，区分进展行为与非进展行为。

实验结果

该框架在 Franka Panda 机器人臂上针对四个真实世界任务进行了评估：折叠毛巾（Fold Towel）和清理桌面（Clean Up Table）（长程任务），以及堆叠方块（Stack Cube）和盖章（Stamp）（精密操控）。

性能对比 SFT： 在所有四个任务中，HIL-UMI 均表现出优于标准 SFT 基线的持续改进。当 SFT 性能随数据增加而趋于平稳甚至下降时，HIL-UMI 实现了稳步增长，并在多个任务上达到了接近完美的任务进展得分（TPS）。
消融实验： 去除优势模型（用简单微调代替 ACBC）会导致性能显著下降，证实了基于效用的数据标注的必要性。敏感性分析表明，适度的 OOD 检测阈值能在覆盖范围与选择性之间取得最佳平衡。
效率对比 HG-DAgger： 在“清理桌面”任务中与 HG-DAgger（一种基于真实机器人的交互式方法）对比时，HIL-UMI 取得了更高的最终性能（TPS 高出约 5 分）。至关重要的是，HIL-UMI 的数据收集速度快了 5.63 倍（73.40 ms/帧 vs. 412.99 ms/帧），因为它避免了物理机器人展开和人工干预带来的延迟。

意义与主张

论文声称，HIL-UMI 为 VLA 后训练提供了一条可扩展的路径，适用于不同的操作员和地点。通过移除数据收集对物理机器人展开的依赖，该方法解决了交互式学习中的高成本和物流障碍。作者认为，这种方法有效地弥合了通用预训练表示与特定现实世界部署中鲁棒闭环行为之间的差距，特别是对于那些微小误差会迅速累积的长程或高精度任务。这项工作表明，未来的分布式后训练系统可以利用这种架构，在多个站点并发地收集受策略引导的数据，而无需重复部署机器人。