💻 computer science

UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data

Este artículo presenta UMI-Bench 1.0, el primer benchmark de mundo real abierto y reproducible diseñado para estandarizar la evaluación de las políticas de estilo Interfaz de Manipulación Universal (UMI) mediante la unificación de la recolección de datos, el reinicio de la escena, la ejecución y el análisis dentro de un único protocolo auditable.

Autores originales: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin W

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin Wang, Chao Yu, Yan Ding

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a doblar la ropa, apilar tazas o verter granos. Le has mostrado miles de videos de humanos realizando estas tareas. Pero cuando realmente pones al robot en una cocina real, este podría tropezar con una sombra, dejar caer una taza porque la iluminación es ligeramente diferente, o confundirse si la taza es azul en lugar de roja.

Durante mucho tiempo, los científicos probaron estos robots en videojuegos (simulaciones) o con configuraciones muy específicas y perfectas. Pero, como explica el artículo, las simulaciones son como conducir un coche en un videojuego: puedes aprender las reglas, pero no has sentido el viento, el camino resbaladizo o la sorpresa de una ardilla cruzando la calle.

Este artículo presenta UMI-Bench 1.0, que es esencialmente un "examen de conducir" estandarizado para robots del mundo real.

Aquí tienes un desglose de lo que hicieron, utilizando analogías sencillas:

1. El Problema: La "Receta" vs. La "Cocina"

Los autores notaron que muchos sistemas de aprendizaje robótico utilizan una forma específica de recolectar datos llamada UMI (Universal Manipulation Interface). Piensa en UMI como un tipo específico de libro de recetas donde las instrucciones están escritas desde los propios "ojos" del robot (una cámara en su muñeca) y sus "manos" (la pinza).

El problema era que, aunque todos usaban este "libro de recetas" para entrenar a los robots, no los probaban en la misma "cocina".

Un equipo podría probar en una mesa con un tapete rojo.
Otro podría probar con un tapete azul y una iluminación diferente.
Un tercero podría reiniciar los objetos en un lugar ligeramente distinto.

Si el Robot A falla y el Robot B tiene éxito, ¿es porque el Robot B es más inteligente? ¿O es solo porque el Robot B tuvo suerte con el tapete rojo? No había una forma justa de compararlos.

2. La Solución: Un "Examen de Conducir" Estandarizado

Los autores construyeron UMI-Bench 1.0. Imagina esto como un centro de exámenes de conducir estrictamente regulado donde cada coche (robot) enfrenta exactamente las mismas condiciones.

La misma pista: Construyeron una mesa específica con una cuadrícula encima (como un tablero de juego gigante). Cada robot debe comenzar con los objetos en los mismos lugares exactos.
La misma cámara: Cada robot debe mirar el mundo a través de una cámara montada en su muñeca, tal como en los datos de entrenamiento. Sin vistas de "tercera persona" (como una cámara de seguridad mirando desde el techo).
Las mismas reglas: Crearon 10 tareas específicas, que van desde lo simple hasta lo complejo.
- Simple: Apilar tres cestas.
- Medio: Verter granos de una taza en una cesta usando dos manos.
- Difícil: Doblar un pantalón o clasificar fichas de mahjong.
Los elementos de "Sorpresa": Para probar si el robot es realmente inteligente o si solo memorizó el examen, cambiaron las cosas.
- Factor A (El "Nuevo Atuendo"): Intercambiaron los objetos por diferentes colores o formas (por ejemplo, una bola verde en lugar de una roja).
- Factor B (La "Nueva Ubicación"): Movieron los objetos a diferentes lugares en la cuadrícula.

3. Cómo lo Probaron

Tomaron tres robots "estudiantes" (modelos de IA llamados π0, π0.5 y DreamZero) y los sometieron a esta prueba estandarizada 50 veces para cada tarea.

No se limitaron a preguntar: "¿Terminó la tarea?" (Sí/No). Los calificaron como un profesor calificando un examen de matemáticas:

Éxito Total: ¿Obtuvo un A+? (Apilado perfecto, sin derrames).
Puntuación de Progreso: ¿Obtuvo crédito parcial? (Recogió la taza, pero derramó algunos granos).

4. Qué Encontraron (La Boleta de Calificaciones)

Los resultados fueron reveladores:

Las "Buenas" Noticias: Cuando el robot enfrentaba la configuración exacta para la que fue entrenado, lo hacía bastante bien. Podía manejar las condiciones "Vistas" (Seen).
Las "Malas" Noticias: Cuando el robot enfrentaba una nueva ubicación (Factor B), le costaba mucho más que cuando enfrentaba un nuevo objeto (Factor A).
- Analogía: Es como un estudiante que puede resolver un problema de matemáticas perfectamente si los números están en el mismo orden, pero se confunde por completo si mueves los números a otra página. Los robots dependen en gran medida de memorizar dónde están las cosas, en lugar de comprender la geometría de la tarea.
Las Tareas más Difíciles: Las tareas que requerían cadenas largas de acciones (como reorganizar un estante de cocina entero) o una coordinación muy delicada (atrapar una lata en un plato giratorio) fueron extremadamente difíciles. Todos los robots fallaron en estas casi el 100% de las veces.

5. Por qué esto Importa

El artículo argumenta que debemos dejar de comparar robots basándonos en "quién lo hizo mejor en su propio laboratorio privado".

UMI-Bench 1.0 es como un examen nacional estandarizado. Permite a los investigadores decir: "Bien, el Robot A es mejor doblando ropa, pero el Robot B es mejor vertiendo líquidos", con la confianza de que la diferencia se debe al cerebro del robot, no a la iluminación de la habitación.

No pretende afirmar que los robots estén listos para reemplazar a los humanos en tu hogar todavía. En cambio, proporciona la regla que necesitamos para medir qué tan cerca estamos realmente de esa meta, asegurando que cuando decimos que un robot está "aprendiendo", estamos midiendo una habilidad del mundo real, no solo trucos de simulación.

Resumen Técnico: UMI-Bench 1.0

Declaración del Problema

Aunque los modelos de Visión-Lenguaje-Acción (VLA) han avanzado rápidamente en la manipulación robótica, su evaluación en robots físicos sigue siendo un desafío. Los benchmarks existentes en el mundo real (por ejemplo, RoboChallenge, RoboArena, ManipArena) a menudo no tienen en cuenta el acoplamiento específico requerido por las políticas de tipo Universal Manipulation Interface (UMI). Las políticas UMI dependen de una integración estrecha de las observaciones de la vista de la muñeca, las representaciones de acción, los métodos de recolección de datos y el despliegue físico. Cuando los protocolos de evaluación varían en la configuración del hardware, la colocación de la cámara, los procedimientos de reinicio de la escena o las interfaces de acción, las diferencias de rendimiento pueden reflejar ruido de evaluación en lugar de la capacidad del modelo. Además, las especificaciones informales de las escenas dificultan un análisis de fallos fiable, lo que hace difícil distinguir entre la generalización a nivel de objeto, los déficits de razonamiento espacial o la inestabilidad de la ejecución. Existe una falta de un benchmark estandarizado y reproducible que alinee la recolección de datos de UMI con la evaluación de despliegue en el mundo real.

Metodología

UMI-Bench 1.0 aborda esta brecha estableciendo un benchmark de robot real, de enfoque local primero (local-first) y de extremo a extremo, diseñado específicamente para políticas de manipulación de vista de muñeca tipo UMI. La metodología se estructura en torno a un protocolo unificado que vincula la recolección de datos, la especificación de la escena y la ejecución de la evaluación.

1. Infraestructura Estandarizada

Plataforma de Hardware: El benchmark utiliza una estación de trabajo de mesa fija (1.2m x 1.0m) equipada con un brazo robótico estandarizado, una pinza y una cámara RGB montada en la muñeca (1280x1280 a 100 FPS). Una placa de rejilla de acrílico transparente con celdas de 5 cm proporciona una referencia repetible para el reinicio de objetos y el registro de metadatos, visible para los operadores pero que no se asume que sea decodificada por la política.
Interfaz de Observación: Las políticas se evalúan estrictamente utilizando observaciones RGB de la vista de la muñeca (opcionalmente con propiocepción). Se excluyen las cámaras de tercera persona de las entradas de la política para mantener la alineación con los supuestos de entrenamiento de UMI.
Pipeline de Datos-a-Evaluación: El sistema conecta un flujo de trabajo de recolección de datos estandarizado (usando FastUMI Pro) con un ejecutor de evaluación unificado. Esto asegura que la distribución de entrenamiento y la distribución de prueba sean comparables, con metadatos explícitos que vinculan los episodios con factores de tarea específicos.

2. Suite de Tareas y Diseño de Generalización

El benchmark consta de 10 tareas de mesa en el mundo real: 4 de un solo brazo y 6 bimanuales. Estas tareas cubren una gama de habilidades de manipulación que incluyen alineación espacial, manipulación de contenedores articulados, uso de herramientas, coordinación bimanual, agarre dinámico, clasificación semántica, plegado de objetos deformables y reordenamiento de largo horizonte.

Para diagnosticar la generalización, cada tarea se evalúa bajo una taxonomía de desplazamiento de dos factores:

Factor A (Desplazamientos de Objeto/Apariencia): Introduce instancias de objetos, apariencias, categorías o combinaciones no vistas anteriormente (por ejemplo, diferentes colores, materiales o tipos de objetos).
Factor B (Desplazamientos de Layout/Dinámica): Introduce posiciones, diseños (layouts), poses o dinámicas de tarea no vistas (por ejemplo, diferentes ubicaciones de la rejilla, velocidades del plato giratorio o orientaciones de objetos).

Esto crea cuatro celdas de evaluación por tarea: Visto/Visto, Visto/No Visto (Factor A), No Visto/Visto (Factor B) y No Visto/No Visto. El benchmark incluye aproximadamente 20,000 demostraciones a través de 10 tareas y 50 episodios de evaluación por tarea.

3. Protocolo de Evaluación y Métricas

Puntuación: La evaluación se basa en el estado físico estable final de la ejecución (rollout). Se reportan dos métricas principales:
- Tasa de Éxito Total (FSR): La fracción de episodios que satisfacen todos los subobjetivos críticos de la tarea simultáneamente.
- Puntuación de Progreso: Una puntuación de crédito parcial de 0 a 100 basada en subobjetivos específicos de la tarea (por ejemplo, agarrar, levantar, colocar, estabilizar).
Brecha de Generalización: Definida como $\Delta_{gen} = S_{visto} - S_{no\ visto}$ , computada por separado para el Factor A y el Factor B para distinguir entre fallos de objeto/apariencia y fallos espaciales/dinámicos.
Reproducibilidad: El protocolo incluye listas de verificación detalladas para el reinicio de la escena, el registro de datos (logging) y la puntuación humana para asegurar la auditabilidad.

Contribuciones Clave

Primer Benchmark Dedicado a UMI: UMI-Bench 1.0 es el primer benchmark dedicado a la evaluación en el mundo real de modelos de manipulación basados en UMI, abordando la desalineación entre la recolección de datos de UMI y el despliegue físico.
Protocolo de Evaluación Unificado: Estandariza todo el pipeline desde la recolección de datos hasta el registro de resultados, reduciendo la variación en el hardware, las observaciones y el reinicio de la escena para asegurar comparaciones reproducibles.
Análisis de Generalización Estructurado: Al organizar las condiciones no vistas en desplazamientos de objeto/apariencia (Factor A) y de espacio/dinámica (Factor B), el benchmark permite un diagnóstico interpretable de los fallos de la política.
Suite de Tareas Exhaustiva: Proporciona un conjunto diverso de 10 tareas (incluyendo manipulación bimanual y de objetos deformables) con ~20k demostraciones y episodios de evaluación estandarizados.

Resultados Experimentales

Los autores evaluaron tres modelos de última generación: $\pi_0$ , $\pi_0.5$ y DreamZero.

Rendimiento General: $\pi_0.5$ logró el mayor promedio de Puntuación de Progreso General (55.84), superando a $\pi_0$ (48.90) y a DreamZero (40.59). $\pi_0.5$ ocupó el primer lugar en seis de las diez tareas, demostrando robustez tanto en configuraciones de un solo brazo como bimanuales.
Fortalezas Específicas de la Tarea:
- $\pi_0$ funcionó mejor en tareas de colocación de un solo brazo (T1, T2).
- DreamZero mostró un rendimiento competitivo en el estampado mediado por herramientas (T3) y transporte cooperativo (T6), pero quedó rezagado en el promedio.
- Todos los modelos alcanzaron un 0% de Tasa de Éxito Total en T3 (Estampado Mediado por Herramientas) y T9 (Reordenamiento de Largo Horizonte), lo que resalta las limitaciones actuales en la estimación de etapas de largo horizonte y la precisión de colocación final.
Tendencias de Generalización: La degradación del rendimiento fue significativamente más severa bajo los desplazamientos del Factor B (espaciales/dinámicos) que bajo los del Factor A (objeto/apariencia). La puntuación media cayó de 59.62 (Visto/Visto) a 45.33 (Factor B) y 40.19 (Desplazamientos combinados). Esto sugiere que las políticas actuales dependen fuertemente de los priors de movimiento alineados con la demostración y tienen dificultades cuando la geometría o la dinámica relevantes para la tarea cambian.
Observaciones de Latencia: DreamZero exhibió una latencia de inferencia significativamente mayor (1630ms) en comparación con $\pi_0$ y $\pi_0.5$ , lo que puede contribuir a su bajo rendimiento en tareas dinámicas como T7 (Recogida y Colocación Dinámica).

Significado y Reivindicaciones

El artículo afirma que UMI-Bench 1.0 proporciona una infraestructura práctica para medir y diagnosticar políticas de manipulación en el mundo real. Al tratar la recolección de datos, la especificación de la escena y la evaluación como un único protocolo acoplado, hace que la relación entre las distribuciones de entrenamiento y de prueba sea explícita y analizable.

Los autores enfatizan que el benchmark está diseñado para el desarrollo iterativo de modelos dentro de un paradigma de datos y despliegue específico (local-first, vista de muñeca), en lugar de reemplazar las plataformas de robots remotos. Los resultados indican que, si bien las políticas mantienen su capacidad cuando las distribuciones de entrenamiento y evaluación están alineadas, persisten brechas significativas en el manejo de desplazamientos espaciales y planificación de largo horizonte. El benchmark tiene como objetivo facilitar la identificación de estos modos de fallo específicos, guiando futuras mejoras en las estrategias de recolección de datos y arquitecturas de modelos para el aprendizaje robótico escalable.