Reinforcement Learning from Cross-domain Videos with Video Prediction Model

Resumen Técnico: XIPER – Aprendizaje por Refuerzo a partir de Videos de Dominios Cruzados con un Modelo de Predicción de Video

1. Planteamiento del Problema

El artículo aborda el desafío de entrenar agentes de Aprendizaje por Refuerzo (RL) para aprender de demostraciones visuales de expertos cuando el agente y el demostrador existen en dominios visualmente distintos. Este entorno de "dominios cruzados" se caracteriza por brechas de dominio significativas, como diferencias en el color del agente, la morfología (por ejemplo, la forma del cuerpo) o la brecha sim-to-real (simulación a realidad), donde la apariencia del agente difiere fundamentalmente de la del experto.

Crucialmente, el agente no tiene acceso a:

• Señales de recompensa de verdad fundamental (ground-truth).
• Información de estado de baja dimensión.
• Etiquetas de acción del experto.
• Datos emparejados entre los dominios del agente y del experto.

El agente solo recibe observaciones visuales puras de su propio dominio y un conjunto de videos de expertos no etiquetados de un dominio diferente. La dificultad central radica en derivar una señal de recompensa significativa que guíe al agente para reproducir comportaciones similares a las del experto a pesar de estas discrepancias visuales y dinámicas, sin depender de un entrenamiento adversarial inestable o de representaciones invariantes de dominio que a menudo fallan en escalar.

2. Metodología: XIPER

Los autores proponen XIPER (Cross-domain Video Prediction Reward), un marco que evita el entrenamiento adversarial utilizando la verosimilitud de la predicción de video de dominio cruzado como una señal de recompensa. El sistema opera bajo la premisa de que si el comportamiento de un agente es consistente con las demostraciones del experto, las observaciones del agente (una vez traducidas al estilo visual del experto) deberían ser altamente predictibles por un modelo entrenado con videos de expertos.

La metodología consta de dos componentes principales, ambos preentrenados en modo offline y congelados durante la fase de RL:

1. Modelo de Traducción de Dominio ($T_\phi$):

   • Este componente mapea las observaciones del agente desde el dominio del agente ($A$) al dominio del experto ($E$).
   • Dado que no hay datos emparejados disponibles, se entrena como un problema de traducción de imagen a imagen no emparejada utilizando el objetivo de Transporte Óptimo Neuronal (NOT). Esto minimiza la distancia entre la distribución de las imágenes traducidas del agente y la distribución de las imágenes del experto, preservando el contenido.
   • Se entrena sobre observaciones aleatorias pre-recolectadas de ambos dominios.

2. Modelo de Predicción de Video del Dominio del Experto ($p_\theta$):

   • Basado en VideoGPT, este modelo generativo aprende la distribución de los comportamientos del experto prediciendo el siguiente cuadro (frame) del experto dado una secuencia de cuadros previos del experto.
   • Se entrena en trayectorias de expertos utilizando un objetivo de máxima verosimilitud sobre una ventana de contexto de $k=16$ cuadros.

La Señal de Recompensa:
Durante el entrenamiento de RL, la secuencia reciente de observaciones del agente se traduce primero al dominio del experto utilizando $T_\phi$. El modelo de predicción de video calcula entonces la log-verosimilitud de la observación traducida actual dado el contexto traducido. Esta verosimilitud sirve como la recompensa ($r_t^{xiper}$):
$$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$$
Verosimilitudes más altas indican que el comportamiento del agente se alinea con la distribución del experto. Para fomentar la exploración, se añade un bono de exploración basado en la incertidumbre.

El agente de RL (utilizando DreamerV3 como base) optimiza esta señal de recompensa para maximizar el retorno acumulado, aprendiendo efectivamente a actuar de una manera que haga que sus observaciones traducidas sean predecibles por el modelo de video del experto.

3. Contribuciones Clave

• Formulación de Recompensa Novedosa: Introducción de XIPER, un modelo de recompensa de dominio cruzado que permite a los agentes de RL aprender de videos de expertos no etiquetados a través de diferentes dominios visuales utilizando solo observaciones de píxeles, eliminando la necesidad de recompensas de verdad fundamental, información de estado o entrenamiento adversarial.
• Superioridad Empírica: Demostración de que XIPER supera consistentemente a las líneas base competitivas (incluyendo la predicción de video de mismo dominio, el aprendizaje de imitación adversarial y los métodos de confusión de dominio) a través de DMC Color Suite (8 tareas con brechas de color) y DMC Body Suite (3 tareas con brechas morfológicas).
• Aplicabilidad Sim-to-Real: Análisis que muestra que XIPER puede generar señales de recompensa significativas para observaciones de robots reales utilizando únicamente videos de expertos simulados, cerrando con éxito la brecha sim-to-real en la generación de recompensas sin anotación manual.
• Estudios de Ablación: Análisis sistemático de las elecciones de diseño, confirmando que una traducción de alta calidad (bajo FID) es crítica para tareas de precisión y que un coeficiente de exploración específico ($\beta=1$) produce el rendimiento más robusto.

4. Resultados Experimentales

Los autores evaluaron XIPER en 11 tareas de la suite DeepMind Control (DMC) y un conjunto de datos Sim-to-Real (Robot Lynx).

• Rendimiento: XIPER logró retornos más altos que todas las líneas base en 9 de las 12 tareas de DMC.
  • En la Color Suite, XIPER superó a las líneas base, mientras que la línea base de mismo dominio (VIPER) mostró cierta generalización pero fue menos robusta.
  • En la Body Suite (cambios morfológicos), XIPE superó significativamente a todas las líneas base. Notablemente, las líneas base adversariales (XAIL, TPIL-Dv3) sufrieron curvas de aprendizaje inestables y un rendimiento pobre, resaltando la inestabilidad de los métodos adversariales incluso con bases de RL fuertes.
• Calidad de la Recompensa: Las recompensas basadas en la verosimilitud se correlacionaron fuertemente con las recompensas de la tarea de verdad fundamental tanto en trayectorias aleatorias como de expertos.
• Generalización de la Traducción: El modelo de traducción de dominio, entrenado únicamente con datos aleatorios, logró generalizarse a trayectorias de expertos fuera de la distribución, traduciendo con precisión los colores y las morfologías del agente para que coincidan con el dominio del experto.
• Sim-to-Real: En el experimento del Robot Lynx, el modelo de traducción filtró con éxito el ruido visual del mundo real (cableado, hardware) para producir imágenes de estilo simulación. Las recompensas resultantes de XIPER en episodios de robots reales se correlacionaron bien con las recompensas de la tarea de verdad fundamental, validando el potencial de transferencia sim-to-real.

5. Significado y Afirmaciones

El artículo afirma que XIPER ofrece una alternativa escalable y estable al aprendizaje de imitación adversarial para el RL visual de dominio cruzado. Al aprovechar la predicación de video generativa y la traducción no emparejada, elimina la necesidad de representaciones invariantes de dominio y la inestabilidad asociada con el entrenamiento basado en GAN.

Los autores enfatizan que su enfoque desbloquea el vasto depósito de videos en línea como una fuente de demostraciones de expertos, eliminando la necesidad de una laboriosa ingeniería de recompensas y la costosa recolección de datos específicos de dominio. Aunque el trabajo actual valida la calidad de la señal de recompensa y la capacidad del agente para aprender en simulación, los autores señalan modestamente que cerrar el ciclo con el entrenamiento de RL en línea en robots físicos sigue siendo un paso futuro necesario. También reconocen que entrenar el modelo de traducción únicamente con datos aleatorios puede ser un cuello de botella para tareas que requieren comportamientos precisos de largo horizonte, sugiriendo que trabajos futuros podrían explorar estrategias de exploración avanzadas o la optimización conjunta.