💻 computer science

UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data

本文介绍了 UMI-Bench 1.0，这是首个开放且可复现的真实世界基准测试，旨在通过在单一的可审计协议内统一数据采集、场景重置、执行和分析，来标准化通用操控接口（UMI）风格策略的评估。

原作者： Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin W

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin Wang, Chao Yu, Yan Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何叠衣服、堆杯子或倒豆子。你向它展示了成千上万段人类完成这些任务的视频。但当你真正把机器人放入真实的厨房时，它可能会因为一个阴影而绊倒，或者因为光线稍有变化就掉落杯子，或者因为杯子是蓝色的而不是红色的而感到困惑。

长期以来，科学家们一直在视频游戏（模拟器）或非常特定的、完美的设置中测试机器人。但正如这篇论文所解释的，模拟器就像是在电子游戏中开车：你可以学会规则，但你没有感受过风、湿滑的路面，或者突然冲出来的松鼠带来的惊吓。

这篇论文介绍了 UMI-Bench 1.0，它本质上是为现实世界中的机器人制定的一个标准化的“驾驶考试”。

以下是他们所做工作的拆解，使用了简单的类比：

1. 问题所在：“食谱”与“厨房”

作者注意到，许多机器人学习系统都使用一种特定的数据采集方式，称为 UMI（通用操纵接口）。你可以把 UMI 理解为一种特定类型的食谱，其中的指令是从机器人的“眼睛”（安装在手腕上的摄像头）和“手”（抓取器）的角度编写的。

问题在于，虽然大家都在使用这本“食谱”来训练机器人，但他们并没有在同一个“厨房”里进行测试。

一个团队可能在铺着红垫子的桌子上进行测试。
另一个团队可能在蓝垫子和不同的光照条件下进行测试。
第三个团队可能会将物体放在稍微不同的位置。

如果机器人 A 失败了而机器人 B 成功了，是因为机器人 B 更聪明吗？还是仅仅因为机器人 B 运气好，碰到了红垫子？目前还没有公平的方法来对它们进行比较。

2. 解决方案：一个标准化的“驾驶考试”

作者构建了 UMI-Bench 1.0。想象一下，这是一个管理严格的驾驶考试中心，每一辆车（机器人）都面临着完全相同的条件。

相同的赛道： 他们建造了一个特定的桌子，上面有一个网格（就像一个巨大的游戏棋盘）。每个机器人必须从完全相同的位置开始放置物体。
相同的摄像头： 每个机器人必须通过安装在手腕上的摄像头来观察世界，就像训练数据中那样。不允许使用“第三人称”视角（比如从天花顶向下看的监控摄像头视角）。
相同的规则： 他们创建了 10 个特定的任务，难度从简单到复杂不等。
- 简单： 堆叠三个篮子。
- 中等： 用双手将豆子从杯子倒入篮子。
- 困难： 折叠一条裤子或分拣麻将牌。
“惊喜”元素： 为了测试机器人是真的聪明还是仅仅记住了测试内容，他们改变了一些变量。
- 因素 A（“新装扮”）： 他们更换了不同颜色或形状的物体（例如，用绿球代替红球）。
- 因素 B（“新位置”）： 他们将物体移动到了网格上的不同位置。

3. 他们是如何测试的

他们选取了三个不同的“学生”机器人（AI 模型分别命名为 π0、π0.5 和 DreamZero），并让它们针对每个任务进行 50 次标准化测试。

他们不仅仅询问“它是否完成了任务？”（是/否），而是像老师批改数学试卷一样给它们评分：

完全成功： 它拿到 A+ 了吗？（完美堆叠，没有洒出）。
进度得分： 它得到了部分分数吗？（它拿起了杯子，但洒出了一些豆子）。

4. 他们的发现（成绩单）

结果非常具有启发性：

“好消息”： 当机器人面对与其训练时完全相同的设置时，表现得相当不错。它可以处理“已见”（Seen）的情况。
“坏消息”： 当机器人面对新位置（因素 B）时，它比面对新物体（因素 A）时挣扎得更多。
- 类比： 这就像一个学生，如果数字按原样排列，他能完美解决数学题；但如果把数字挪到另一页，他就会彻底陷入混乱。机器人过度依赖于记忆物体的“位置”，而不是理解任务的“几何结构”。
最难的任务： 需要长链条动作的任务（如重新排列整个厨房架子）或需要极精准时机的任务（如在旋转转盘上接住易拉罐）极其困难。所有机器人几乎 100% 都会失败。

5. 为什么这很重要

论文认为，我们不应该再根据“谁在自己的私人实验室里表现最好”来比较机器人。

UMI-Bench 1.0 就像是一场标准化的全国统一考试。它让研究人员能够自信地得出结论，例如：“好吧，机器人 A 更擅长折叠衣服，但机器人 B 更擅长倾倒液体”，并确保这种差异是源于机器人的“大脑”，而不是房间里的光线。

它并不声称机器人已经准备好取代你家中的人类了。相反，它提供了一把尺子，让我们去衡量我们距离那个目标究竟还有多远，从而确保当我们说一个机器人在“学习”时，我们衡量的是真实的技能，而不仅仅是模拟器中的技巧。

技术摘要：UMI-Bench 1.0

问题陈述

尽管视觉-语言-动作（VLA）模型在机器人操控领域取得了快速进展，但在物理机器人上的评估仍然具有挑战性。现有的真实世界基准测试（如 RoboChallenge、RoboArena、ManipArena）往往未能考虑到与通用操控接口（Universal Manipulation Interface, UMI）风格策略所需的特定耦合关系。UMI 策略依赖于腕部视角观测、动作表示、数据采集方法以及物理部署之间的紧密集成。当评估协议在硬件设置、相机位置、场景重置程序或动作接口方面存在差异时，性能差异可能反映的是评估噪声而非模型能力。此外，非正式的场景规范阻碍了可靠的失效分析，使得难以区分是物体级泛化问题、空间推理缺陷还是执行不稳定性。目前缺乏一个能够将 UMI 数据采集与真实世界部署评估对齐的标准且可复现的基准测试。

方法论

UMI-Bench 1.0 通过建立一个专门为 UMI 式腕部视角操控策略设计的“本地优先、端到端”真实机器人基准测试来填补这一空白。该方法围绕一个将数据采集、场景规范和评估执行相链接的统一协议构建。

1. 标准化基础设施

硬件平台： 该基准测试使用一个固定的桌面工作站（1.2m x 1.0m），配备标准化的机械臂、夹爪和腕部安装的 RGB 相机（1280x1280 @ 100 FPS）。一个带有 5cm 网格的透明亚克力网格板为物体重置和元数据记录提供了可重复的参考，该网格对操作员可见，但不假设会被策略解码。
观测接口： 策略严格使用腕部视角 RGB 观测进行评估（可选配合本体感受）。排除第三人称相机输入，以保持与 UMI 训练假设的一致性。
从数据到评估的流水线： 系统将标准化的数据采集工作流（使用 FastUMI Pro）与统一的评估运行器连接起来。这确保了训练分布与测试分布是可比的，并通过明确的元数据将每个回合（episode）与特定的任务因子联系起来。

2. 任务集与泛化设计

该基准测试包含 10 个真实世界桌面任务：4 个单臂任务和 6 个双臂任务。这些任务涵盖了一系列操控技能，包括空间对齐、关节容器操控、工具使用、双臂协作、动态抓取、语义分类、可变形物体折叠以及长程重排。

为了诊断泛化能力，每个任务都在两因子偏移分类法下进行评估：

因子 A（物体/外观偏移）： 引入未见过的物体实例、外观、类别或组合（例如：不同的颜色、材质或物体类型）。
因子 B（布局/动力学偏移）： 引入未见过的位置、布局、姿态或任务动力学（例如：不同的网格位置、转盘速度或物体朝向）。

这为每个任务创建了四个评估单元：已见/已见、已见/未见（因子 A）、未见/已见（因子 B）以及未见/未见。该基准测试包含约 20,000 条演示数据，分布在 10 个任务中，每个任务包含 50 个评估回合。

3. 评估协议与指标

评分： 评估基于 Rollout 结束后的最终稳定物理状态。报告两个主要指标：
- 全成功率 (FSR)： 同时满足所有任务关键子目标的执行回合比例。
- 进度得分 (Progress Score)： 基于特定任务子目标（如抓取、抬起、放置、稳定）的 0–100 分部分得分制。
泛化差距 (Generalization Gap)： 定义为 $\Delta_{gen} = S_{seen} - S_{unseen}$ ，分别针对因子 A 和因子 B 进行计算，以区分物体/外观失败与空间/动力学失败。
可复现性： 协议包含详细的场景重置、日志记录和人工评分清单，以确保可审计性。

核心贡献

首个 UMI 专用基准测试： UMI-Bench 1.0 是第一个致力于 UMI 类操控模型真实世界评估的基准测试，解决了 UMI 数据采集与物理部署之间的失配问题。
统一的评估协议： 它标准化了从数据采集到结果记录的整个流水线，通过减少硬件、观测和场景重置的变异，确保了可复现的比较。
结构化泛化分析： 通过将未见条件组织为物体/外观（因子 A）和空间/动力学（因子 B）偏移，该基准测试实现了可解释的策略失效诊断。
全面的任务集： 它提供了一套多样化的 10 个任务（包括双臂和可变形物体操控），包含约 2 万条演示数据和标准化的评估回合。

实验结果

作者评估了三种最先进的模型： $\pi_0$ 、 $\pi_0.5$ 和 DreamZero。

整体性能： $\pi_0.5$ 获得了最高的平均总进度得分（55.84），优于 $\pi_0$ （48.90）和 DreamZero（40.59）。 $\pi_0.5$ 在十个任务中的六个任务上排名第一，展示了在单臂和双臂设置下的鲁棒性。
特定任务表现：
- $\pi_0$ 在单臂放置任务（T1, T2）中表现最好。
- DreamZero 在工具辅助冲压（T3）和协作运输（T6）方面表现出竞争力，但平均水平较低。
- 所有模型在 T3（工具辅助冲压）和 T9（长程重排）上的全成功率均为 0%，凸显了当前在长程阶段估计和精细最终放置精度方面的局限性。
泛化趋势： 性能下降在 因子 B（空间/动力学）偏移 下比在因子 A（物体/外观）偏移下更为严重。平均得分从 59.62（已见/已见）降至 45.33（因子 B）以及 40.19（组合偏移）。这表明当前的策略过度依赖于与演示对齐的运动先验，并且在任务相关的几何形状或动力学发生变化时表现挣扎。
延迟观察： DreamZero 的推理延迟（1630ms）显著高于 $\pi_0$ 和 $\pi_0.5$ ，这可能导致其在 T7（动态取放）等动态任务中的表现较差。

重要性与主张

本文主张 UMI-Bench 1.0 为测量和诊断真实世界操控策略提供了一个实用的基础设施。通过将数据采集、场景规范和评估视为一个单一的耦合协议，它使训练分布与测试分布之间的关系变得明确且可分析。

作者强调，该基准测试旨在为特定数据和部署范式（本地优先、腕部视角）下的迭代模型开发提供支持，而非取代远程机器人平台。实验结果表明，虽然策略在训练与评估分布对齐时能保持能力，但在处理空间偏移和长程规划方面仍存在显著差距。该基准测试旨在促进对这些特定失效模式的识别，从而指导未来数据采集策略和模型架构的改进，以实现可扩展的机器人学习。