Resumen Técnico: CLAM - Modelos de Acción Latente Continua para el Aprendizaje Robótico a partir de Demostraciones sin Etiquetas

Declaración del Problema

El aprendizaje de políticas de control robótico a partir de demostraciones depende típicamente de datos de expertos donde las acciones están explícitamente etiquetadas (por ejemplo, mediante teleoperación). La recolección de tales datos es costosa, lenta y difícil de escalar, particularmente para el ajuste fino de modelos en diversos entornos del mundo real. Si bien las demostraciones de video humano son abundantes y más fáciles de recolectar, carecen de las señales de control robótico con etiquetas de verdad fundamental (ground-truth) requeridas para el aprendizaje por imitación (IL) estándar. Además, la conversión de videos humanos a observaciones compatibles con robots no proporciona inherentemente las etiquetas de acción faltantes.

El artículo aborda un escenario práctico donde:

1. Datos Expertos sin Etiquetas: Existe un gran corpus de demostraciones de video de robots (ya sea convertido de video humano o registros existentes) pero carece de etiquetas de acción.
2. Datos de Juego Agnósticos a la Tarea: Se dispone de un pequeño conjunto de datos de transiciones robóticas con etiquetas de acción, pero estos son datos de "juego" (no dirigidos, no expertos) en lugar de demostraciones expertas específicas de una tarea.
3. Objetivo: Aprender una política de alto rendimiento para una tarea específica utilizando los videos de expertos sin etiquetas y la pequeña cantidad de datos de juego agnósticos a la tarea, sin recolectar nunca nuevas demostraciones expertas con etiquetas de acción.

Metodología: Modelos de Acción Latente Continua (CLAM)

CLAM es un marco de dos etapas diseñado para inferir acciones latentes continuas a partir de secuencias de observaciones y fundamentarlas en comandos motores ejecutables.

1. Entrenamiento del Modelo de Acción Latente (LAM) (Etapa 1)

El núcleo de CLAM es un modelo de acción latente autosupervisado que aprende a inferir acciones entre observaciones consecutivas sin etiquetas de verdad fundamental.

• Componentes:
  • Modelo de Dinámica Inversa Latente (IDM): $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ infiere una acción latente continua $z_t$ entre las observaciones.
  • Modelo de Dinámica Directa Latente (FDM): $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ predice la siguiente observación condicionada por el historial actual y la acción latente inferida $z_t$.
• Objetivo Autosupervisado: El modelo se entrena para minimizar el error de reconstrucción de la observación futura ($L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$). Este bucle obliga a la acción latente $z_t$ a codificar la información de transición necesaria dependiente del estado.
• Espacio Latente Continuo: A diferencia de trabajos previos que utilizan Cuantización de Vectores (VQ) para discretizar las acciones, CLAM utiliza un espacio de acción latente continuo. Esto es crítico para tareas de control continuo de alta dimensión donde las aproximaciones discretas fallan.
• Entrenamiento Conjunto con el Decodificador de Acción: Para asegurar que las acciones latentes sean ejecutables, CLAM entrena conjuntamente un decodificador de acción latente $p_\omega(a_t | z_t)$ utilizando el pequeño conjunto de datos de juego agnóstico a la tarea ($D_{labeled}$).
  • El decodificador mapea las acciones latentes $z_t$ a comandos motores reales $a_t$.
  • El objetivo de entrenamiento combina la pérdida de reconstrucción y la pérdida del decodificador de acción: $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$.
  • Perspectiva Crucial: El entrenamiento conjunto regulariza el espacio latente, asegurando que sea decodificable. El decodificador no está condicionado por las observaciones, lo que obliga a la acción latente a ser un código de acción de bajo nivel.

2. Entrenamiento de la Política de Acción Latente (Etapa 2)

Una vez que el LAM ha sido preentrenado:

• Relabelado: El IDM entrenado etiqueta las demostraciones expertas sin etiquetas ($D_{unlabeled-expert}$) con pseudo-acciones latentes, creando un conjunto de datos de pares $(o_t, z_t)$.
• Aprendizaje de la Política: Una política de acción latente $\pi_\theta(z_t | o_t)$ se entrena mediante el aprendizaje por imitación estándar (clonación de comportamiento) en este conjunto de datos relabelado.
• Inferencia: Durante la ejecución, la política predice una acción latente $z_t$ dada una observación, y el decodificador de acción preentrenado $p_\omega$ convierte $z_t$ en un comando motor físico.

Contribuciones Clave

1. Relabelado de Acción Latente Continua: Los autores demuestran que el relabelado de acciones latentes se vuelve práctico para el control robótico continuo solo cuando se utilizan espacios latentes continuos combinados con un entrenamiento conjunto (entrenar el decodificador simultáneamente con el LAM).
2. Utilización Eficiente de Datos: El marco demuestra que los datos de juego agnósticos a la tarea son suficientes para fundamentar las acciones latentes. Esto reduce drásticamente el costo de la recolección de datos, ya que elimina la necesidad de una costosa teleoperación experta específica de la tarea para la fase de etiquetado de acciones.
3. Despliegue en el Mundo Real: CLAM se despliega con éxito en un brazo robótico WidowX físico a través de cuatro tareas de manipulación, logrando un rendimiento competitivo con las políticas entrenadas con etiquetas de acción expertas privilegiadas, a pesar de no haber visto tales etiquetas durante el entrenamiento.

Resultados Experimentales

El artículo evalúa CLAM en DMControl (locomoción), MetaWorld (manipulación) y un robot real WidowX.

• Ganancias de Rendimiento:
  • En DMControl (basado en estados), CLAM mejora el retorno normalizado promedio en más de 2× en comparación con la mejor línea base (VPT).
    la tasa de éxito de la tarea de 2 a 3 veces mayor que las líneas base como LAPO, LAPA y DynaMo.
  • CLAM se acerca o incluso supera el rendimiento de BC-Expert (clonación de comportamiento entrenada con acciones expertas de verdad fundamental), a pesar de que BC-Expert tiene acceso a etiquetas privilegiadas mientras que CLAM no.
• Estudios de Ablación:
  • Continuo vs. Discreto: Las acciones latentes discretas (usando VQ) funcionan mal en tareas de control continuo. Las acciones latentes continuas por sí solas proporcionan una mejora de aproximadamente ~1.5×.
  • Entrenamiento Conjunto: Entrenar conjuntamente el decodificador de acción con el LAM es esencial. Aumenta el rendimiento aproximadamente 3× cuando se combina con acciones latentes continuas.
  • Escalabilidad de Datos: El rendimiento escala con la cantidad de datos de expertos sin etiquetas ($|D_{unlabeled}|$). El método también escala con la cantidad de datos de juego ($|D_{labeled}|$) utilizados para la fundamentación, superando al BC estándar que se estanca rápidamente con datos no expertos.
• Resultos de Robot Real: En el WidowX, CLAM resuelve tareas de manipulación (por ejemplo, ensamblaje, recogida de contenedores) con tasas de éxito significativamente más altas que las líneas base, a menudo igualando el rendimiento de la línea base privilegiada BC-Expert.

Significado y Reivindicaciones

El artículo afirma que CLAM representa una solución escalable para aprender políticas robóticas a partir de datos sin acción. Su principal significado radica en:

• Eliminar el Cuello de Botella del Etiquetado Experto: Demuestra que se pueden aprender políticas robóticas efectivas sin recolectar demostraciones expertas costosas y específicas de la tarea con etiquetas de acción.
• Aprovechar Datos Baratos: Al utilizar abundantes videos de robots sin etiquetas y datos de juego agnósticos a la tarea que son económicos, CLAM reduce la barrera de entrada para el aprendizaje robótico.
• Necesidad Arquitectónica: El trabajo establece que para el control continuo de alta dimensión, la combinación de espacios latentes continuos y el entrenamiento conjunto del decodificador de acción no es solo beneficiosa, sino esencial para el éxito, distinguiendo a CLAM de los modelos de acción latente previos diseñados para dominios discretos.

Los autores señalan que, si bien CLAM es efectivo en entornos de un solo robot y una sola tarea, se necesita trabajo futuro para abordar los desafíos de generalización a videos de internet "en el mundo real" (manejo de artefactos, brechas de encarnación) y escalar al aprendizaje de múltiples encarnaciones (cross-embodiment).