MOBODY: Model Based Off-Dynamics Offline Reinforcement Learning

Aquí presento un resumen técnico detallado del artículo "MOBODY: MODEL-BASED OFF-DYNAMICS OFFLINE REINFORCEMENT LEARNING", publicado en ICLR 2026.

1. Planteamiento del Problema

El trabajo aborda el problema del Aprendizaje por Refuerzo Offline Fuera de la Dinámica (Off-Dynamics Offline RL). En este escenario, el objetivo es aprender una política óptima para un entorno objetivo (real o desplegado) utilizando datos offline pre-recopilados de dos dominios:

1. Dominio Fuente: Un entorno (ej. simulador) con una gran cantidad de datos pero dinámicas diferentes.
2. Dominio Objetivo: Un entorno real con dinámicas distintas (desplazamiento de dinámica o dynamics shift) y una cantidad de datos muy limitada ($|D_{trg}| \ll |D_{src}|$).

Limitaciones de los métodos existentes:
Las técnicas actuales se dividen principalmente en dos categorías que presentan fallos críticos:

• Regularización de Recompensa: Penalizan las recompensas de los datos fuente basándose en la frecuencia de visita de estados o la estimación de la brecha de dinámica.
• Filtrado de Datos: Descartan las transiciones de la fuente que ocurren en regiones con alto desplazamiento de dinámica.

El problema central: Ambos enfoques optimizan la política utilizando principalmente datos de regiones de "bajo desplazamiento". Esto limita severamente la exploración de estados de alta recompensa en el dominio objetivo que no se encuentran en esas regiones de bajo desplazamiento, provocando fallos cuando el desplazamiento es significativo o las trayectorias óptimas están fuera de esas regiones.

2. Metodología: MOBODY

Los autores proponen MOBODY, un algoritmo de RL Offline basado en modelos diseñado para aprender las dinámicas del dominio objetivo y utilizarlas para explorar, en lugar de depender solo de los datos de bajo desplazamiento.

A. Aprendizaje de Dinámicas (Dynamics Learning)

MOBODY se basa en la observación de que, para alcanzar el mismo estado siguiente ($s'$) desde el mismo estado actual ($s$), se requieren acciones diferentes en dominios con dinámicas distintas. La arquitectura propuesta utiliza:

1. Codificadores de Acción Separados: Se emplean dos codificadores de acción distintos ($\psi_{src}$ y $\psi_{trg}$) para los dominios fuente y objetivo, respectivamente. Estos mapean las acciones específicas de cada dominio a un espacio latente unificado.
2. Representación de Estado Compartida: Un codificador de estado único ($\phi_E$) genera una representación latente del estado ($z_s$) compartida entre ambos dominios.
3. Función de Transición Unificada: Una función de transición común ($\phi_T$) toma la representación latente del estado y la acción codificada para predecir el siguiente estado ($s'$).

Funciones de Pérdida:
Para entrenar este modelo con datos limitados del objetivo y abundantes de la fuente, se utilizan tres pérdidas clave:

• Pérdida de Transición ($L_{dyn}$): Minimiza el error cuadrático medio entre el estado siguiente real y el predicho, utilizando datos de ambos dominios.
• Pérdida del Codificador ($L_{rep}$): Asegura que la representación de la acción-estado latente ($z_{sa}$) sea consistente con la representación del siguiente estado ($z_{s'}$), forzando a los codificadores de acción a capturar las diferencias dinámicas específicas.
• Pérdida de Transición Cíclica (Cycle Transition Loss): Inspirada en VAEs (Autoencoders Variacionales), esta pérdida entrena el codificador de estado y la transición para reconstruir el estado actual cuando la acción es cero. Esto mejora la calidad de la representación del estado y evita el colapso de modos, permitiendo que el modelo aprenda la estructura compartida subyacente.

B. Aprendizaje de la Política (Policy Learning)

Una vez aprendidas las dinámicas objetivo, MOBODY realiza un entrenamiento basado en modelos:

1. Rollouts Sintéticos: Se generan nuevas trayectorias en el dominio objetivo utilizando el modelo de dinámicas aprendido, combinando datos reales del objetivo, datos fuente regularizados (usando el método DARA) y datos generados por el modelo.
2. Pérdida de Clonación de Comportamiento Ponderada por Q del Objetivo (Target Q-weighted BC Loss):
   • En lugar de clonar ciegamente las acciones del conjunto de datos offline (lo cual podría ser subóptimo debido al desplazamiento de dinámica), se introduce una regularización que pondera las acciones según su valor Q en el dominio objetivo.
   • La política se inclina hacia acciones que tienen altos valores Q en el dominio objetivo, evitando acciones fuera de distribución (OOD) o acciones que funcionan bien en la fuente pero mal en el objetivo.
   • La función de pérdida combina la maximización del valor Q esperado con una regularización de clonación de comportamiento ponderada exponencialmente por el valor Q objetivo.

3. Contribuciones Clave

1. Nuevo Paradigma: Introduce el primer enfoque basado en modelos para RL Offline Fuera de la Dinámica, permitiendo la exploración activa del dominio objetivo mediante dinámicas aprendidas en lugar de restringirse a regiones de bajo desplazamiento.
2. Arquitectura de Aprendizaje de Dinámicas: Propone un marco novedoso que aprende dinámicas objetivo utilizando datos fuente y objetivo mediante codificadores de acción separados y una representación latente compartida, superando las limitaciones de los métodos de pre-entrenamiento/ajuste fino o entrenamiento combinado directo.
3. Regularización Eficiente: Desarrolla una pérdida de clonación de comportamiento ponderada por el valor Q objetivo, que es simple, eficiente y empíricamente superior a métodos basados en ventajas (como IQL) en este contexto específico.

4. Resultados Experimentales

El método se evaluó en una amplia gama de entornos MuJoCo (HalfCheetah, Ant, Walker2d, Hopper) y Adroit (Pen, Door) bajo el benchmark ODRL, con desplazamientos de dinámica en gravedad, fricción, cinemática y morfología.

• Rendimiento General: MOBODY superó consistentemente a los métodos más avanzados (SOTA) como DARA, MOPO, BOSA, SRPO y REAG.
• Mejoras Cuantitativas:
  • Logró una mejora promedio del 44% sobre los mejores métodos base en configuraciones de gravedad y fricción.
  • Logró una mejora del 25% en configuraciones de desplazamiento cinemático y morfológico.
• Escenarios de Alto Desplazamiento: La ventaja de MOBODY fue más pronunciada en escenarios de desplazamiento grande (ej. gravedad x0.1 o x5.0), donde los métodos basados en filtrado o regularización de recompensa fallaron completamente debido a la falta de exploración en el dominio objetivo.
• Análisis de Ablación: Los experimentos demostraron que tanto el aprendizaje de dinámicas (con pérdidas cíclicas y codificadores separados) como la pérdida de clonación ponderada por Q son componentes esenciales para el éxito del algoritmo.

5. Significado e Impacto

MOBODY representa un avance significativo en la transferencia de políticas en RL offline. Al demostrar que es posible aprender dinámicas objetivo precisas utilizando datos fuente masivos y datos objetivo limitados mediante una representación latente compartida, el método resuelve el dilema de la exploración en dominios con dinámicas muy diferentes.

Su capacidad para generar trayectorias sintéticas de alta calidad en el dominio objetivo permite a la agente descubrir estados de alta recompensa que serían inaccesibles con métodos puramente basados en datos o filtrados conservadores. Esto tiene implicaciones directas para aplicaciones del mundo real donde la simulación (fuente) nunca coincide perfectamente con la realidad (objetivo), como en robótica, conducción autónoma y control médico, permitiendo un despliegue más seguro y eficiente de políticas aprendidas offline.