EgoMI: Learning Active Vision and Whole-Body Manipulation from Egocentric Human Demonstrations

El artículo presenta EgoMI, un marco que supera la brecha de encarnación en el aprendizaje por imitación al capturar trayectorias sincronizadas de manos y cabeza activa de demostraciones humanas, permitiendo a robots semihumanoides replicar estrategias de fijación visual dinámica mediante una política aumentada con memoria para lograr una manipulación robusta.

Lo esencial

¡Claro que sí! Imagina que quieres enseñle a un robot a hacer tareas domésticas, como ordenar la cocina o buscar objetos en un estante alto. Tradicionalmente, los robots son un poco "torpes" en esto porque tienen una visión estática: sus cámaras están fijas en el techo o en una pared, como un security guard que nunca mueve la cabeza.

Los humanos, en cambio, somos muy dinámicos: movemos la cabeza, miramos a un lado para ver qué hay detrás de una caja, nos inclinamos para ver el fondo de un armario y usamos ambas manos coordinadamente.

Aquí es donde entra EgoMI (la "Interfaz de Manipulación Egocéntrica"). Es un sistema nuevo que permite a los robots aprender directamente de nosotros, imitando no solo lo que hacemos con las manos, sino también cómo movemos la cabeza para ver.

Aquí te lo explico con analogías sencillas:

1. El Problema: El "Robot con Cuello Rígido"

Imagina que intentas enseñarle a un robot a buscar un juguete perdido bajo una mesa.

• El robot antiguo: Tiene una cámara fija en el techo. Si el juguete está oculto, el robot no sabe que existe. Se queda quieto y espera instrucciones.
• El humano: Si no ves el juguete, mueves la cabeza, te agachas o miras desde otro ángulo. Tu cerebro usa esa información para decidir qué hacer.

El problema es que los robots no pueden "copiar" este movimiento de cabeza porque sus cámaras no se mueven. Esto crea una brecha gigante entre lo que el humano hace y lo que el robot puede entender.

2. La Solución: El "Cascado Mágico" (EgoMI)

Los investigadores crearon un sistema llamado EgoMI. Imagina que es como un cascado de realidad virtual (tipo Meta Quest) que lleva un robot "fantasma" dentro.

• Cómo funciona: Cuando un humano se pone el casco para demostrar una tarea (como poner latas en una caja), el sistema graba dos cosas a la vez:
  1. Lo que hacen las manos (moviendo los objetos).
  2. Lo que ve la cabeza (moviendo la cámara como si fuera el cuello del robot).
• La analogía: Es como si el robot pudiera "ponerse en la piel" del humano. No solo copia los movimientos de las manos, sino que también "siente" cómo el humano gira la cabeza para buscar.

3. El Reto: La "Amnesia" por Movimiento Rápido

Hay un problema: cuando giramos la cabeza muy rápido, perdemos de vista lo que había antes. Si el robot solo mira lo que ve ahora, olvidará que vio el objeto hace un segundo cuando giró la cabeza.

Para solucionar esto, crearon SPARKS (una especie de "memoria fotográfica inteligente").

• La analogía: Imagina que estás buscando una llave en un cajón desordenado. Giras la cabeza rápido. Tu cerebro no borra la imagen de la llave que viste hace un segundo; la guarda en una "bolsa mental" para recordarla cuando la llave ya no está en tu campo de visión.
• SPARKS hace lo mismo: selecciona automáticamente las mejores fotos del pasado (cuando la cabeza estaba en una posición útil) y se las muestra al robot para que no olvide dónde estaba el objeto.

4. El Entrenamiento: "Ajuste Fino" sin tocar el robot

Lo más increíble de este paper es que no necesitan poner al robot en la cocina para entrenarlo.

1. Entrenamiento: Un humano usa el casco y hace la tarea en su casa (o en un laboratorio). El robot "aprende" viendo esas grabaciones.
2. Transferencia: Luego, le dicen al robot real: "Haz lo mismo". El robot, que tiene una cabeza con cámara que puede moverse (como un cuello humano), ejecuta la tarea perfectamente, incluso si nunca ha visto esa cocina antes.

5. Los Resultados: ¿Funciona?

Lo probaron en dos situaciones difíciles:

• Buscar en una mesa grande: El robot tenía que encontrar una lata entre muchas otras. El robot que no movía la cabeza fallaba mucho porque no podía ver todo el espacio. El robot con EgoMI (que mueve la cabeza) tenía mucho más éxito.
• Buscar en estantes altos: El robot tenía que mirar arriba y abajo. Sin mover la cabeza, el robot no veía nada. Con EgoMI, el robot escaneaba el estante como lo haría un humano.
• La prueba de memoria: Poner un objeto en una mesa lateral que estaba oculta. El robot con "memoria" (SPARKS) recordaba dónde estaba el objeto y lo buscaba. El robot sin memoria se confundía y fallaba.

En Resumen

EgoMI es como darle a un robot "ojos humanos" y "cuello humano".

• Antes: Los robots eran como estatuas con cámaras fijas.
• Ahora: Con EgoMI, los robots aprenden a mirar activamente (mover la cabeza para buscar) y a recordar lo que vieron hace un momento.

Esto significa que podemos enseñarles a los robots tareas complejas simplemente mostrándoles cómo lo hacemos nosotros, sin necesidad de programarlos manualmente ni entrenarlos con miles de horas de datos robóticos. ¡Es un paso gigante para que los robots sean verdaderos ayudantes en nuestras casas!

Resumen técnico

Resumen Técnico: EgoMI

1. El Problema: La Brecha de Encarnación (Embodiment Gap)

El aprendizaje por imitación a partir de demostraciones humanas es una vía prometedora para la adquisición de habilidades robóticas. Sin embargo, existe una brecha fundamental de encarnación entre los demostradores humanos y las plataformas robóticas:

• Percepción Activa vs. Estática: Los humanos coordinan activamente el movimiento de la cabeza y los ojos con las acciones de las manos para reorientar su punto de vista, resolver oclusiones y buscar objetos. Los sistemas robóticos actuales suelen depender de cámaras externas estáticas o montadas en la muñeca, lo que impide replicar este comportamiento visual dinámico.
• Pérdida de Contexto: Las políticas de aprendizaje estándar a menudo fallan cuando se entrenan con datos egocéntricos (desde la perspectiva del humano) porque no pueden replicar los cambios de perspectiva rápidos y amplios. Esto genera un desplazamiento de distribución (distribution shift) severo y una pérdida de memoria espacial durante movimientos rápidos de la cabeza.
• Limitaciones de Métodos Previos: Soluciones anteriores (como restringir cámaras a la muñeca o proyectar vistas superiores) no logran manejar tareas complejas que requieren búsqueda activa o coordinación de cuerpo completo.

2. Metodología: El Marco EgoMI

EgoMI (Egocentric Manipulation Interface) es un marco integral diseñado para capturar y transferir demostraciones humanas completas (cabeza y manos) a robots semihumanoides.

A. Hardware y Recolección de Datos:

• Dispositivo: Utiliza un casco de realidad virtual Meta Quest 3S equipado con un seguimiento de 6 grados de libertad (DoF) para la cabeza y las manos.
• Sensores: Se monta una cámara ZED 2i rígida sobre el casco para grabar video en primera persona alineado con el movimiento de la cabeza. Los controladores de VR se modifican con soportes para cámaras de muñeca y una interfaz mecánica para acoplar pinzas reales (Robotiq 2F-85).
• Sincronización: Captura flujos sincronizados de pose de la cabeza, trayectorias de las manos, acciones de la pinza, propiocepción y video egocéntrico y de muñeca.
• Visión Activa: Para simular la fijación de la mirada (gaze), se superpone un retículo visual fijo en el centro de la vista de paso, instruyendo a los operadores a alinear el objetivo con él. Esto centra las características visuales relevantes en el centro del espacio de observación.

B. Procesamiento de Datos y Retargeting:

• Reformateo: Se aplica un pipeline de conversión que transforma las poses del marco de referencia arbitrario de la VR al sistema de coordenadas canónico del robot, minimizando la brecha propioceptiva.
• Representación de Acción: Se utiliza un vector de acción de 29 dimensiones que incluye:
  • Posición y rotación (6D) de la mano izquierda, derecha y cabeza.
  • Señales continuas de apertura/cierre de las pinzas.
  • Se entrena en un espacio relativo (respecto a la mano derecha) para mejorar la generalización, pero se despliega en coordenadas absolutas del mundo.

C. Aprendizaje y Memoria (SPARKS):

• Modelo Base: Se parte de un modelo fundacional preentrenado ($\pi_0$) y se realiza un ajuste fino (fine-tuning) en dos etapas: primero en un espacio de acción de 29D multi-tarea, y luego específico para la tarea.
• SPARKS (Spatial-Aware Robust Keyframe Selection): Para abordar la pérdida de contexto debido a los movimientos rápidos de la cabeza, EgoMI introduce un algoritmo ligero que selecciona un conjunto compacto de keyframes (fotogramas clave) del pasado.
  • Criterios de Selección: Puntúa los fotogramas pasados basándose en la novedad del punto de vista, la recencia temporal y la suavidad del movimiento.
  • Funcionamiento: Solo se añaden al buffer de memoria los fotogramas que superan umbrales de diversidad angular o de traslación. Esto permite al robot mantener una memoria espacial sin necesidad de módulos recurrentes costosos o aprendizaje de memoria complejo.

D. Despliegue en Robot:

• Plataforma: Se utiliza un robot Rainbow RBY1 modificado (semihumanoide con ruedas) equipado con un brazo de 6 DoF y un "cuello" activo (un robot I2RT YAM con cámara ZED2i) para replicar el movimiento de la cabeza humana.
• Control: Se emplea un solucionador de cinemática inversa diferenciable (Pyroki) para mapear las trayectorias de las extremidades y la cabeza a las configuraciones de las articulaciones del robot, permitiendo una degradación elegante (graceful degradation) ante poses inalcanzables.

3. Contribuciones Clave

1. Marco EgoMI: Un sistema completo que captura demostraciones humanas sincronizadas de cabeza y manos, permitiendo el retargeting (redirección) de cuerpo completo a robots semihumanoides.
2. SPARKS: Un mecanismo de selección de keyframes espacialmente consciente que dota a las políticas de memoria robusta sin requerir arquitecturas de red complejas, resolviendo el problema de la pérdida de contexto en visión activa.
3. Transferencia Zero-Shot: Demostración de que es posible transferir políticas entrenadas exclusivamente con datos humanos egocéntricos a robots reales sin necesidad de datos adicionales del robot, aumentos visuales o alineación explícita.
4. Validación de la Cabeza Activa: Evidencia empírica de que modelar explícitamente el movimiento de la cabeza es crucial para tareas de manipulación a gran escala y búsqueda.

4. Resultados Experimentales

Los experimentos se realizaron en un entorno real con tareas de manipulación bimanual y búsqueda:

• Tareas de Búsqueda (Mesa y Estantería):

  • Política 29D (Cabeza + Manos): Logró tasas de éxito significativas (36/40 en mesa, 35/40 en estantería). El robot pudo localizar objetos fuera del campo de visión inicial y coordinar transferencias de objetos entre manos.
  • Política 20D (Solo Muñeca): Falló catastróficamente en la estantería (0/40) y tuvo un rendimiento inferior en la mesa (29/40). Sin el movimiento de la cabeza, el robot no pudo razonar sobre objetos fuera de su vista inicial ni coordinar movimientos a larga distancia.
  • Cabeza Fija: Incluso con imágenes de la cámara de la cabeza, si la cabeza no se podía mover activamente, el éxito cayó drásticamente (2/20), demostrando que la acción de mirar es tan importante como la observación.

• Tareas de Memoria:

  • Se evaluó la capacidad de recordar la ubicación de un objeto visto previamente en una mesa lateral fuera de la vista.
  • Política Sin Memoria: Tasa de éxito ~50% (casi aleatoria), fallando al no buscar el objeto.
  • Política con SPARKS: Tasa de éxito del 77.5% (31/40). El robot logró mirar a la mesa lateral, recordar el objeto, volver a la mesa principal y seleccionar el ítem correcto, demostrando la eficacia de la memoria espacial.

5. Significado e Impacto

El trabajo de EgoMI es significativo porque:

• Cierra la Brecha de Encarnación: Demuestra que la percepción activa (movimiento de la cabeza) es un componente esencial para la manipulación robótica robusta, no solo un añadido opcional.
• Escalabilidad: Al eliminar la necesidad de recolectar datos en el robot o realizar aumentos visuales complejos, EgoMI ofrece una ruta escalable para entrenar robots en el mundo real utilizando datos humanos abundantes.
• Generalización: Las políticas aprendidas con EgoMI muestran una capacidad de generalización cero-shot a hardware heterogéneo, sugiriendo que la representación egocéntrica activa es más universal que las representaciones basadas en cámaras estáticas.

En conclusión, EgoMI establece que para lograr una manipulación robótica robusta y general, es imperativo capturar y replicar tanto la acción motora como la percepción activa (movimiento de la cabeza) de los humanos, apoyada por mecanismos de memoria espacial eficientes.