💻 computer science

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

SEED-UMI es un novedoso marco de aprendizaje por imitación que permite un entrenamiento eficiente de robótica diestra al hacer que tanto el humano como el robot utilicen el mismo exoesqueleto, creando así mediciones articulares y vistas de la cámara de la muñeca compartidas que eliminan la necesidad de una transferencia de movimiento propensa a errores y permiten que las políticas aprendan directamente de demostraciones directas y ricas en contactos.

Autores originales: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Publicado 2026-09-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Enseñar a un robot a usar sus manos como un humano es uno de los rompecabezas más difíciles en la robótica moderna. Si bien las máquinas se han convertido en maestras al caminar o mover sus brazos, el trabajo delicado y con mucho contacto de los dedos sigue siendo esquivo. La dificultad central no radica solo en la complejidad de la mano en sí, sino en cómo se le enseña. Para aprender, un robot necesita observar a un humano realizar una tarea y luego intentar copiar ese movimiento. Sin embargo, las manos humanas y las manos robóticas están construidas de forma diferente; tienen distintos números de articulaciones, diferentes tamaños y se mueven de formas distintas. Cuando un humano toca un objeto, su piel se comprime y sus articulaciones se doblan de una manera específica que una mano de metal rígido no puede imitar perfectamente. Los métodos actuales intentan cerrar esta brecha utilizando cámaras para observar al humano o guantes para registrar sus movimientos, pero estos enfoques suelen fallar cuando la mano realmente toca algo. Los datos se vuelven desordenados, la traducción del humano al robot se rompe y el robot tiene dificultades para replicar la presión sutil y el tiempo requeridos para tareas como atornillar un perno o lanzar una pelota.

Un equipo de investigadores ha propuesto una solución diferente que evita la necesidad de una traducción compleja por completo. En lugar de intentar convertir matemáticamente los movimientos humanos en comandos robóticos, construyeron un sistema donde el humano y el robot usan exactamente el mismo dispositivo mecánico. Este dispositivo es un exoesqueleto especializado, una estructura ligera que se ajusta a la mano y los dedos. Los investigadores diseñaron este armazón para que coincida perfectamente en tamaño y colocación de articulaciones con la mano del robot. Cuando un humano se lo pone, el armazón se mueve con sus dedos. Cuando el robot se lo pone, el armazón se mueve con sus motores. Debido a que la estructura física es idéntica, los sensores dentro del dispositivo registran exactamente los mismos datos, ya sea que lo lleve un humano o un robot. Este cambio simple convierte un difícil problema de traducción en un problema de observación directa.

Los investigadores, liderados por Tengbo Yu y colegas, desarrollaron un marco que llaman SEED-UMI para poner esta idea en práctica. El sistema se basa en una medición física compartida. El exoesqueleto está equipado con sensores en cada articulación que miden cuánto se dobla cada dedo. También lleva una cámara montada en la muñeca, apuntando hacia la mano y los objetos que esta toca. Cuando un operador humano usa el dispositivo para realizar una tarea, los sensores registan los ángulos de las articulaciones y la cámara registra la vista. Debido a que el robot usa el mismo dispositivo, ve la misma vista y mide los mismos ángulos de articulación cuando realiza la misma acción. Esto significa que el robot no necesita adivinar cómo traducir un gesto humano; simplemente aprende a mover sus propias articulaciones para coincidir con las lecturas de los sensores que ve, utilizando el desempeño del humano como una guía directa.

Para que esto funcionara, el equipo utilizó un proceso de aprendizaje de dos pasos. Primero, hicieron que el robot usara el exoesqueleto y moviera sus articulaciones de forma aleatoria, un proceso que llaman "balbuceo motor" (motor babbling). Esto ayudó al robot a comprender la relación básica entre sus propios comandos de motor y las lectas de los sensores que producía. A continuación, introdujeron los datos emparejados. Un humano usaría el dispositivo y realizaría una tarea, como tomar un estuche de AirPods o atornillar un tornillo. Luego, el robot reproduciría ese movimiento usando el mapeo inicial. Crucialmente, el sistema comparaba las lecturas de los sensores del intento del humano con las lecturas de los sensores del intento del robot. Si los dedos del robot se movían de forma diferente a los del humano, el sistema utilizaba esa diferencia para ajustar el mapeo. Esto permitió al robot aprender cómo manejar la fricción y la resistencia adicionales que ocurren cuando los dedos presionan contra objetos reales, una situación en la que los métodos anteriores solían fallar.

El equipo probó este enfoque en cinco tareas desafiantes que requerían un contacto y una sincronización precisos. Estas incluían atornillar un tornillo en una tabla, insertar un AirPod en su estuche de carga, lanzar una pelota a una cesta, limpiar una mesa con un paño y rociar un ambientador. En estas pruebas, los investigadores compararon su nuevo método contra la teleoperación tradicional, donde un humano controla al robot en tiempo real, y contra métodos que no utilizan el paso de ajuste fino emparejado. Los resultados mostraron que el enfoque SEED-UMI fue altamente efectivo. Los robots entrenados con este método alcanzaron una tasa de éxito del 70.0% en todas las tareas. Este desempeño fue casi idéntico a la tasa de éxito del 71.7% alcanzada por los robots entrenados con datos recolectados a través de la teleoperación directa, pero con una ventaja significativa en velocidad.

El hallazgo más sorprendente fue la eficiencia en la recolección de datos. Debido a que el operador humano no necesita controlar al robot en tiempo real, puede realizar las tareas de forma natural y rápida. Los investigadores descubrieron que podían recolectar datos tres veces más rápido con SEED-UMI que con la teleoperación tradicional. En una ventana de treinta minutos, un solo operador recolectó 52 demostraciones exitosas usando el nuevo sistema, comparado con solo 18 usando el método antiguo. Esta ganancia de velocidad no se produjo a costa de la calidad. Los robots entrenados con estos datos más rápidos fueron capaces de manejar tareas delicadas, como la precisión temporal necesaria para lanzar una pelota o la presión constante requerida para limpiar una mesa, tan bien como aquellos entrenados con los datos más lentos en tiempo real. El sistema demostró ser particularmente fuerte en tareas donde el robot tenía que reaccionar a la resistencia física de un objeto, un escenario en el que los métodos previos de lazo abierto solían tener dificultades.

El éxito de este trabajo sugiere que el cuello de botella para enseñar habilidades diestras a los robots puede no ser mejores algoritmos, sino la interfaz entre el humano y la máquina. Al hacer que el humano y el robot compartan la misma herramienta de medición física, los investigadores eliminaron la necesidad de un software complejo para traducir movimientos. El robot aprende directamente de la experiencia compartida del dispositivo, observando el mismo mundo y sintiendo las mismas restricciones mecánicas que el humano. Aunque el sistema actualmente requiere un exoesqueleto construido a medida para cada mano robótica específica, los resultados indican un camino prometedor. Ofrece una forma de reunir grandes cantidades de datos de alta calidad y ricos en contacto, sin los retrasos y errores del control en tiempo real, acelerando potencialmente el desarrollo de robots que puedan verdaderamente dominar las habilidades finas y táctiles de la mano humana.

Resumen Técnico: SEED-UMI

Planteamiento del Problema

La manipulación diestra con manos robóticas sigue siendo un cuello de botella significativo en el aprendizaje robótico, debido principalmente a la dificultad de recolectar demostraciones de alta calidad y ricas en contacto que se transfieran fielmente del humano al robot. Los enfoques existentes enfrentan compromisos inherentes:

El seguimiento basado en visión permite un movimiento sin restricciones, pero sufre de oclusión y vibración (jitter) durante el contacto.
Los sistemas basados en guantes (sensores inerciales/de flexión) proporcionan datos de movimiento fiables, pero introducen artefactos de movimiento de la piel y requieren un mapeo de correspondencia complejo y a menudo inexacto entre las articulaciones humanas y las robóticas.
Los sistemas basados en exoesqueletos ofrecen mediciones mecánicas consistentes, pero típicamente sacrifican la comodidad y el rendimiento del operador debido al hardware voluminoso.

Crucialmente, los procesos actuales tratan la demostración humana y la ejecución robótica como dominios separados conectados por modelos de retargeting de bucle abierto. Estos modelos suelen calibrarse en espacio libre y se degradan significativamente bajo interacciones ricas en contacto debido a la fricción, las cargas externas y los efectos de acoplamiento de las articulaciones. Además, las discrepancias visuales entre las observaciones humanas y robóticas a menudo requieren traducción de imágenes generativa o segmentación, lo que puede oscurecer píxeles de contacto críticos.

Metodología: SEED-UMI

Los autores proponen SEED-UMI (Compartir el exoesqueleto entre el humano y el robot para una demostración diestra de uno a uno), un marco construido sobre el concepto de medición física compartida. En lugar de aprender un mapeo entre distintos embodiments humanos y robóticos, SEED-UMI utiliza un único exoesqueleto cinemáticamente isomórfico usado tanto por el operador humano como por la mano robótica objetivo.

1. Hardware: El Exoesqueleto Compartido

La innovación central es un exoesqueleto diseñado a medida y co-diseñado con una mano diestra totalmente actuada específica (mano Wuji).

Isomorfismo Cinemático: La longitud de los eslabones, los ejes de las articulaciones y los límites del rango de movimiento del exoesqueleto son mecánicamente idénticos a la estructura cinemática del robot. Esto asegura una correspondencia de articulaciones estricta de 1:1 (20 grados de libertad) y una geometría de contacto idéntica tanto en el lado humano como en el robótico.
Diseño del Mecanismo: Para evitar la oclusión de la superficie de contacto palmar y ajustarse dentro de los envolventes de claridad lateral, el diseño emplea un mecanismo de cuatro barras en paralelo. Esto redirige la rotación desde el eje de la articulación hacia un codificador magnético sin contacto montado dorsalmente, preservando la superficie de contacto despejada necesaria para la manipulación fina.
Integración de Sensores: El armazón del exoesqueleto monta rígidamente:
- Codificadores rotativos magnéticos sin contacto en cada articulación (proporcionando un vector de codificador compartido $e_t \in \mathbb{R}^{20}$ ).
- Una cámara Intel RealSense T265 dorsal para el seguimiento de la muñeca en 6 DoF.
- Una cámara ojo de pez ventral (FoV de 150°) para la observación del espacio de trabajo.
  Debido a que los sensores están montados en el exoesqueleto, las intrínsecas y extrínsecas de la cámara respecto al marco del codificador permanecen idénticas independientemente de si el humano o el robot lleva el dispositivo.

2. Software: Mapeo de Cross-Embodiment en Dos Etapas

El marco desacopla la recolección de datos de la teleoperación en tiempo real, utilizando un proceso de dos etapas para aprender el mapeo de codificador a comando ( $e_t \to q_t$ ):

Etapa 1: Babbling de Motores (Espacio Libre): El robot viste el exoesqueleto y ejecuta una exploración estructurada (barridos de articulación única, movimientos acoplados). Esto entrena un mapeo inicial $f_{\theta_0}$ de las lecturas del codificador a los comandos de las articulaciones del robot. Aunque esto captura la cinemática básica, es propenso al drift bajo cargas de contacto.
Etapa 2: Replay Emparejado y Ajuste Fino:
1. Un operador humano realiza demostraciones usando el exoesqueleto, registrando trayectorias de codificador ricas en contacto $\{e^{(h)}_t\}$ .
2. Estas trayectorias se reproducen en el robot utilizando el mapeo inicial $f_{\theta_0}$ .
3. El sistema registra las respuestas del codificador del lado del robot resultantes $\{e^{(r)}_t\}$ y los comandos de articulación $\{q^{(r)}_t\}$ .
4. Se forma un conjunto de datos emparejado donde la discrepancia entre la traza del codificador del lado humano y la respuesta del codificador del lado del robot sirve como señal de supervisión.
5. El mapeo se ajusta mediante la minimización de una función de pérdida que alinea los codificadores predichos del lado del robot con la traza humana, regulariza los comandos hacia el replay emparejado y penaliza los saltos temporales. Esto corrige el mapeo para los efectos dependientes del contacto (fricción, cumplimiento) sin requerir un reajuste manual o simulación.

3. Aprendizaje de Políticas

Las políticas se entrenan directamente sobre imágenes de la muñeca crudas y centradas en el exoesqueleto y el vector de codificador compartido. Debido a que la observación visual (cámara montada en el exoesqueleto compartido) y la interfaz física son idénticas durante tanto la recolección de datos humanos como la ejecución del robot, el marco elimina la necesidad de:

Segmentación de la mano.
Traducción de imagen generativa (inpainting).
Simulación o Aprendizaje por Refuerzo (RL).
Los autores utilizan arquitecturas estándar como ACT, Diffusion Policy y $\pi0.5$ , tomando observaciones crudas y entradas de codificador para predecir fragmentos de acción (action chunks).

Contribuciones Clave

Interfaz de Medición Física Compartida: Un diseño de hardware novedoso donde el mismo exoesqueleto es usado tanto por el humano como por el robot, convirtiendo el retargeting en un problema de supervisión emparejada de cross-embodiment en lugar de un mapeo de bucle abierto.
Recolección de Datos Ricos en Contacto: El sistema permite la recolección de demostraciones naturales y ricas en contacto que son directamente transferibles al robot, evitando la degradación de los mapeos de bucle abierto bajo carga.
Pipeline de Aprendizaje Eficiente: Al eliminar la necesidad de alineación visual generativa y simulación, el marco permite que las políticas se entrenen con datos crudos con aumentos estándar, simplificando significamente el pipeline de aprendizaje.
Ajuste Fino Emparejado: Un método basado en datos para refinar los mapeos de codificador a comando utilizando trazas emparejadas de humano-robot, corrigiendo efectivamente la dinámica de contacto sin intervención manual.

Resultados Experimentales

El marco fue evaluado en cinco tareas de manipulación diestra ricas en contacto: Atornillado, Inserción de Estuche de AirPods, Lanzamiento de Canasta de Pelotas, Limpieza de Mesa y Spray de Ambientador.

Tasas de Éxito:
- SEED-UMI con ajuste fino emparejado ( $P+$ ): Logró una tasa de éxito promedio del 70.0% en todas las tareas.
- Línea Base de Teleoperación ( $T$ ): Logró un 71.7%.
- SEED-UMI sin ajuste fino ( $P-$ ): Logró un 57.3%.
- Notablemente, $P+$ superó a la teleoperación en tareas altamente precisas y dinámicas como la Inserción de Estuche de AirPods (73.3% vs. 65.0%) y el Lanzamiento de Canasta de Pelotas (68.3% vs. 60.0%), donde los bucles de teleoperación en tiempo real luchan con la latencia y el tiempo.
Eficiencia en la Recolección de Datos:
- SEED-UMI demostró una mejora de 3.0× en el rendimiento de la recolección de datos en comparación con la teleoperación basada en exoesqueleto.
- En una ventana de 30 minutos, un operador recolectó 52 demostraciones exitosas vía SEED-UMI frente a 18 vía teleoperación.
- La ganancia de datos útiles por minuto normalizada por el éxito se mantuvo aproximadamente en 2.9×.

Significado y Reivindicaciones

El artículo argumenta que superar el cuello de botella en la manipulación diestra requiere repensar la interfaz entre los embodiments humano y robótico en lugar de mejorar únicamente los algoritmos de retargeting. Al transformar el retargeting y el aprendizaje de políticas visuomotoras en una forma de supervisión emparejada de cross-embodiment, SEED-UMI ofrece un camino escalable y eficiente hacia el aprendizaje robótico diestro.

Los autores afirman que su enfoque:

Desacopla la recolección de demostraciones humanas de la teleoperación robótica en tiempo real, la simulación o el RL.
Preserva la naturalidad de las interacciones humanas ricas en contacto mientras asegura una transferencia fiel al robot.
Proporciona una dirección prometedora para la recolección de datos de manos diestras en el mundo real a una escala previamente inalcanzable con la teleoperación tradicional, sin sacrificar la calidad de los datos.

El trabajo reconoce limitaciones, señalando que el sistema actual requiere elecciones de ingeniería para diferentes geometrías de mano y que la usabilidad del operador sigue siendo un factor para tareas de largo horizonte. El trabajo futuro se dirige hacia la automatización del diseño de cross-hand y la mejora de la experiencia de uso.