Resumen Técnico: Superar Brechas de Dominio con Generación Alineada al Objetivo para Aprendizaje por Refuerzo Offline

Enunciado del Problema

El aprendizaje por refuerzo (RL) offline entre dominios busca transferir una política desde un dominio fuente a un dominio objetivo utilizando únicamente conjuntos de datos pre-recopilados, sin ninguna interacción en línea. Este escenario es crítico para aplicaciones como el control de robots heterogéneos y la transferencia de simulación a realidad, donde la recopilación de datos en línea es prohibitivamente costosa o insegura.

Un desafío principal en este régimen es la discrepancia distribucional entre los dominios fuente y objetivo, particularmente cuando el conjunto de datos objetivo es extremadamente limitado ($|D_{tar}| \ll |D_{src}|$). Los métodos existentes a menudo intentan cerrar esta brecha filtrando datos fuente para encontrar transiciones "cerca" de la distribución objetivo. Sin embargo, los autores demuestran que, cuando la brecha de dinámicas es grande, incorporar directamente incluso transiciones fuente de "vecino más cercano" puede inducir una discrepancia distribucional sustancial, degradando el rendimiento en comparación con entrenar únicamente con datos objetivo. Por el contrario, depender exclusivamente de datos objetivo limitados a menudo falla al proporcionar una cobertura de estados suficiente para un aprendizaje de políticas efectivo.

Metodología: Expansión de Cobertura Alineada al Objetivo (TCE)

Para abordar la compensación entre aprovechar los datos fuente y evitar la discrepancia distribucional, los autores proponen la Expansión de Cobertura Alineada al Objetivo (TCE). TCE es un marco que guía teóricamente cómo deben utilizarse los datos fuente: ya sea mediante la incorporación directa de transiciones cercanas al objetivo o utilizando datos fuente para expandir la cobertura de estados mediante generación alineada al objetivo.

Fundamento Teórico

El método se basa en un análisis teórico de la brecha de rendimiento entre un Proceso de Decisión de Markov (MDP) objetivo y un MDP de mezcla (que combina dinámicas fuente y objetivo). Los autores derivan un límite (Teorema 4.1) que muestra que la brecha de rendimiento está gobernada por dos componentes:

1. Brecha de Dinámicas: La distancia de variación total entre las dinámicas de transición fuente ($P_{src}$) y las dinámicas objetivo ($P_{tar}$).
2. Error de Generación: La distancia entre una transición objetivo aproximada generada ($\hat{P}_{tar}$) y las dinámicas objetivo reales.

TCE controla estas dos fuentes de error ajustando dos coeficientes:

• $\lambda_{mix}$: Controla la fracción de datos fuente incorporados directamente (minimizando el error de generación pero potencialmente aumentando la brecha de dinámicas).
• $\lambda_{cov}$: Controla la extensión de la expansión de cobertura de estados mediante generación (minimizando la brecha de dinámicas pero potencialmente aumentando el error de generación).

Marco Algorítmico

TCE emplea un modelo generativo dual basado en puntuaciones construido sobre Ecuaciones Diferenciales Estocásticas (SDE) para sintetizar transiciones que sean consistentes con las dinámicas objetivo pero que cubran un espacio de estados expandido.

1. Redes de Puntuación Dual:

   • Red de Puntuación de Estado de Mezcla ($q^{mix}_\theta$): Entrenada sobre una mezcla controlable de estados objetivo y estados fuente que están "cerca" del objetivo (seleccionados mediante un criterio de vecino más cercano). Esta red modela la distribución de estados expandida.
   • Red de Puntuación de Transición Objetivo ($q^{tran}_\theta$): Entrenada únicamente sobre transiciones objetivo. Genera el siguiente estado condicionado al estado actual, asegurando que las dinámicas de transición se alineen con el dominio objetivo.

2. Procedimiento de Muestreo en Dos Etapas:

   • Etapa 1 (Muestreo de Estados): Muestrea un estado $\hat{s}_t$ desde la distribución de estado de mezcla utilizando la SDE inversa guiada por $q^{mix}_\theta$.
   • Etapa 2 (Muestreo de Transiciones): Genera el siguiente estado $\hat{s}_{t+1}$ condicionado a $\hat{s}_t$ utilizando la SDE inversa guiada por $q^{tran}_\theta$.
   • Modelos Auxiliares: Un modelo de dinámicas inversas (entrenado con datos objetivo) y un modelo de recompensa (entrenado con ambos dominios) se utilizan para recuperar la acción $\hat{a}_t$ y la recompensa $\hat{r}_t$, completando la tupla de transición.

3. Aprendizaje de Políticas:
   El conjunto de datos final de entrenamiento ($D_{train}$) se construye combinando el conjunto de datos objetivo ($D_{tar}$), las transiciones generadas alineadas al objetivo ($D^{gen}_{\lambda_{cov}}$) y, opcionalmente, un subconjunto filtrado de transiciones fuente ($D^{src}_{\lambda_{mix}}$). Un algoritmo de RL offline (Implicit Q-Learning, IQL) se entrena sobre este conjunto de datos aumentado con un término de regularización KL para penalizar la desviación de la política de comportamiento objetivo.

Contribuciones Clave

• Expansión de Cobertura Alineada al Objetivo (TCE): Un marco novedoso que va más allá del simple filtrado de datos fuente. Decide explícitamente si usar datos fuente directamente o aprovecharlos para generar transiciones consistentes con el objetivo basándose en la magnitud de la brecha de dominio.
• Análisis Teórico: Una descomposición formal de la brecha de rendimiento entre dominios en discrepancia de dinámicas y error de generación, proporcionando una base teórica para equilibrar la mezcla de datos y la generación.
• Arquitectura Dual Basada en Puntuaciones: Un enfoque generativo en dos etapas que desacopla la expansión de cobertura de estados del modelado de transiciones. Este diseño previene el sobreajuste a datos objetivo limitados, que es un modo de fallo común al aprender directamente mapeos estado-acción-siguiente-estado en regímenes de pocos datos.
• Validación Empírica: Experimentos extensos que demuestran que TCE supera consistentemente a las líneas base del estado del arte en diversos escenarios entre dominios.

Resultados Experimentales

Los autores evaluaron TCE en tareas de control continuo MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) y tareas de manipulación hábil Adroit, cubriendo cambios de morfología, cinemática y gravedad.

• Rendimiento: TCE logró el rendimiento promedio más alto en 33 de 36 tareas con cambios de morfología en MuJoCo y superó a todas las líneas base en las tareas de Adroit.
• Robustez ante Grandes Brechas: En escenarios con grandes brechas de dinámicas (por ejemplo, cambios significativos de morfología o cambios extremos de gravedad), la variante TCE(OG) (utilizando únicamente transiciones generadas, $\lambda_{mix}=0$) superó significativamente a los métodos que mezclaron directamente datos fuente. Esto confirma que la incorporación ingenua de datos fuente puede ser perjudicial bajo grandes brechas.
• Pequeñas Brechas: En configuraciones más suaves (por ejemplo, cambios de gravedad), la variante TCE(SM) (incorporando datos fuente, $\lambda_{mix} > 0$) mostró un rendimiento superior, validando la adaptabilidad del marco.
• Estudios de Ablación:
  • Coeficiente de Cobertura ($\lambda_{cov}$): El rendimiento sigue una curva de compensación; expandir la cobertura demasiado agresivamente aumenta el error de generación y degrada el rendimiento. Se encontró que un valor moderado (por ejemplo, 0.2) era óptimo.
  • Diseño en Dos Etapas: Se demostró que el diseño desacoplado en dos etapas es crítico. Una línea base de "una etapa" que estimaba directamente los siguientes estados a partir de pares estado-acción sufrió errores significativamente más altos y un rendimiento inferior debido al sobreajuste en datos objetivo limitados.

Significado y Afirmaciones

El artículo afirma que TCE proporciona una solución simple y práctica para el RL offline entre dominios, particularmente en dominios críticos para la seguridad o sensibles a los costos donde la interacción en línea es imposible. Al fundamentar teóricamente la decisión de mezclar o generar datos, TCE mitiga la discrepancia distribucional que afecta a los métodos existentes.

Los autores enfatizan que su enfoque no es una panacea universal; asume espacios de estado y acción compartidos y depende del conjunto de datos objetivo, por pequeño que sea, para guiar la generación. Reconocen limitaciones en escenarios con discrepancias extremas donde fuente y objetivo comparten poco soporte. No obstante, los resultados sugieren que la generación alineada al objetivo es una estrategia más robusta que la mezcla directa de datos cuando la brecha de dominio es sustancial, permitiendo un aprendizaje de políticas efectivo con datos objetivo limitados.