Resumen Técnico: Imitación a partir de Demostraciones Heterogéneas mediante Modelos de Mundo de Acciones Latentes Ancladas

Declaración del Problema

El aprendizaje por imitación ha logrado un éxito significativo en la manipulación visuomotriz, pero su escalabilidad se ve limitada por el alto costo y la escasez de demostraciones de alta calidad con etiquetas de acción para robots específicos. Sin embargo, existen abundantes fuentes de datos heterogéneos (por ejemplo, simulaciones, dispositivos portátiles manuales, videos humanos), las cuales presentan tres desafíos críticos:

1. Desajuste del Espacio de Acciones: Diferentes fuentes suelen poseer espacios de acciones incompatibles o carecen totalmente de etiquetas de acción.
2. Variación Visual y de la Encarnación (Embodiment): Las fuentes de datos exhiben diferencias sustanciales en los puntos de vista de la cámara, la morfología del robot y el contexto de la escena, que no reflejan la física subyacente de la tarea.
3. Limitaciones de las Soluciones Existentes: Los enfoques actuales para el entrenamiento conjunto con datos heterogéneos dependen de técnicas de alineación heurísticas y diseñadas manualmente (por ejemplo, pérdidas de transporte óptimo, ratios de mezcla ajustados empíricamente o tokenizadores específicos) en lugar de un aprendizaje de representación basado en principios.

El artículo postula que se requiere un enfoque más fundamentado: las acciones deben representarse basándose en su efecto físico en el entorno en lugar de en su origen. Dos acciones que dirigen un objeto a lo largo de la misma trayectoria deben compartir una representación, independientemente de si se originan en un robot real, una simulación o un dispositivo manual.

Metodología: Modelos de Mundo de Acciones Latentes Ancladas (GLAM)

Los autores proponen GLAM, un marco que unifica datos heterogéneos en un espacio de acción latente compartido e invariante a la fuente mediante un par de modelos generativos acoplados. El proceso opera en dos etapas:

Etapa 1: Preentrenamiento de GLAM (Modelo de Mundo)

La innovación central es el aprendizaje de un espacio de acción latente compartido ($z_t$) anclado en la dinámica del entorno. Esto se logra mediante dos modelos generativos entrenados conjuntamente:

1. Modelo Heterogéneo ($p(X, O, Z)$): Entrenado en la mezcla de datos objetivo ($D_{tar}$) y datos auxiliares ($D_{aux}$). Dado que $D_{aux}$ carece de etiquetas de acción, este modelo trata las acciones como variables latentes inferidas únicamente a partir de las transiciones de estado.

   • Utiliza un Modelo de Dinámica Inversa (IDM), $q_\phi(z_t | x_t, x_{t+1})$, para inferir acciones latentes directamente de las transiciones observadas (donde $x_t$ es un estado latente codificado a partir de las observaciones).
   • Utiliza un modelo de dinámica directa compartido, $p_\theta(x_{t+1} | x_t, z_t)$, para predecir observaciones futuras.
   • Principio: Al compartir el IDM y la dinámica directa entre todas las fuentes de datos, el modelo impone que las acciones latentes se definan por cómo afectan al entorno, asegurando la invariancia de la fuente.

2. Modelo Objetivo ($p(S, A, Z)$): Entrenado únicamente con los datos etiquetados de la tarea objetivo ($D_{tar}$).

   • Incluye un Codificador de Acción, $q_\eta(z_t | s_t, a_t)$, que infiere acciones latentes a partir de las acciones ejecutables del robot y los estados propioceptivos.
   • Incluye un término de reconstrucción de acción, $\log p_\theta(a_t | z_t)$, asegurando que el espacio latente permanezca anclado en la semántica de control específica del robot objetivo.

Mecanismo de Alineación:
Para vincular estos dos modelos, los autores introducen una restricción de divergencia KL asimétrica ($C_{KL}$). Esta restricción alinea la posterior del IDM (del modelo heterogéneo) con la posterior del Codificador de Acción (del modelo objetivo) específicamente en el conjunto de datos objetivo.

• La asimetría (utilizando un stop-gradient en el codificador de la tarea objetivo) asegura que el IDM absorba la semántica de control "privilegiada" de los datos objetivo sin ser distorsionado por las señales ambiguas de los datos auxiliares.
• El objetivo combinado minimiza los límites inferiores de evidencia negativos (ELBOs) de ambos modelos más la restricción de alineación, creando un espacio latente unificado donde cualquier transición puede ser reetiquetada con una acción latente compartida y consciente del control.

Nota: Los autores también investigan una variante que utiliza máscaras de segmentación de objetos como observaciones en lugar de fotogramas RGB brutos para agudizar el enfoque en la dinámica de los objetos manipulados.

Etapa 2: Clonación de Comportamiento (BC) Alineada con el Modelo de Mundo

Una vez que el modelo GLAM ha sido preentrenado y congelado, sirve como un ancla de acción latente:

1. Reetiquetado: Cada transición en tanto $D_{tar}$ como $D_{aux}$ es reetiquetada con la acción latente $z_t$ utilizando la media de la posterior del IDM.
2. Entrenamiento de la Política: Una política de Clonación de Comportamiento (específicamente MIP, una política de regresión ligera) se entrena para mapear las observaciones a estos fragmentos (chunks) de acciones latentes.
3. Ejecución: La salida de la política (acciones latentes) se decodifica de nuevo en acciones ejecutables del robot utilizando el decodificador de acciones del modelo objetivo.

Este enfoque permite que los datos auxiliares no etiquetados sirvan como supervisión directa para la política de BC, sustituyendo efectivamente la costosa teleoperación del robot objetivo.

Contribuciones Clave

1. Aprendizaje de Representación Basado en Principios: El artículo cambia el paradigma de la alineación heurística hacia el aprendizaje de representaciones de acción ancladas en la predicción física. Las acciones se alinean si producen la misma transición ambiental, independientemente de su origen.
2. Arquitectura GLAM: La introducción de un marco generativo de doble modelo (Heterogéneo + Objetivo) vinculado por una alineación KL asimétrica y una dinámica directa compartida. Esto crea un espacio latente que es tanto invariante a la fuente (aprendido de datos mixtos) como consciente del control (anclado en las acciones del robot objetivo).
3. Eficiencia de Datos: El método demuestra que los datos heterogéneos y no etiquetados pueden sustituir eficazmente a las demostraciones del robot objetivo, reduciendo significamente los requisitos de datos para un despliegue fiable.
4. Anclaje Centrado en Objetos: La exploración del uso de máscaras de objetos como entradas para mejorar aún más la transferibilidad al centrarse en la física del objeto manipulado.

Resultados Experimentales

Los autores evaluaron GLAM en cinco tareas de manipulación: tres en el mundo real (levantar, recoger y colocar, derribar) y dos en simulación (apilamiento de 2 cubos y 3 cubos).

• Ganancias de Rendimiento: Las políticas alineadas con GLAM superaron significativamente a las líneas base de Clonación de Comportamiento (MIP) y a los métodos previos de acción latente (CLAM, LAPA).
  • Lograron una mejora promedio del +48% en la tasa de éxito de la tarea en entornos con escasez de datos.
  • En la compleja tarea bimanual de "apilar tres" (que típicamente requiere cientos de demostraciones), GLAM logró una tasa de éxito del 72.7%, mientras que todas las líneas base fallaron (≤4%).
• Transferencia entre Fuentes: Los experimentos cualitativos confirmaron que las acciones latentes inferidas de fuentes no etiquetadas (por ejemplo, simulaciones de dispositivos manuales UMI) podían ser decodificadas y ejecutadas con éxito en el robot objetivo (Kinova) sin ninguna etiqueta de acción, validando la alineación del espacio latente.
• Eficiencia de Datos: En los experimentos de escalabilidad, GLAM-O (usando máscaras de objetos) igualó el rendimiento de una política de BC estándar entrenada con 500 trayectorias objetivo utilizando solo 100 trayectorias objetivo aumentadas con 400 trayectorias auxiliares. Esto sugiere que los datos auxiliares pueden sustituir a los datos objetivo en una base casi 1:1 en términos de ganancia de rendimiento.
• Máscaras de Objetos: El uso de máscaras de objetos como observaciones mejoró consistentemente el rendimiento, particularmente en tareas complejas como "derribar" (+25%) y "apilar tres" (+16%), respaldando la hipótesis de que el anclaje centrado en el objeto mejora la transferencia.

Significado y Reivindicaciones

El artículo afirma que GLAM proporciona un paradigma para aprender de datos heterogéneos que supera el cuello de botella de los datos en el aprendizaje por imitación. Al tratar las acciones como variables latentes ancladas en las transiciones del entorno, el método elimina la necesidad de recetas de alineación diseñadas a mano.

Los autores enfatizan que GLAM:

• Unifica datos etiquetados y no etiquetados en un único espacio latente invariante a la fuente.
• Permite el uso directo de datos auxiliares abundantes y económicos (como simulaciones o datos de dispositivos manuales) como supervisión para robots objetivo.
• Logra un rendimiento de vanguardia en entornos de escasez de datos sin requerir un preentrenamiento a gran escala o una interacción en línea masiva.

El trabajo se presenta como un paso hacia la escala de políticas capaces para la "larga cola" de tareas del mundo real, aprovechando diversas fuentes de datos imperfectas a través de un marco de aprendizaje de representación basado en principios y en la física.