A Forensic Analysis of Synthetic Data in RL: Diagnosing and Solving Algorithmic Failures in Model-Based Policy Optimization

Resumen Técnico: Un Análisis Forense de Datos Sintéticos en RL

Enunciado del Problema
Los datos sintéticos son una piedra angular del aprendizaje por refuerzo basado en modelos (MBRL) al estilo Dyna, destinados a mejorar la eficiencia de las muestras mediante el entrenamiento de políticas en transiciones generadas por el modelo. Sin embargo, trabajos recientes (específicamente Stealing That Free Lunch [Barkley y Fridovich-Keil, 2025]) revelaron un modo de fallo crítico: mientras que la Optimización de Políticas Basada en Modelos (MBPO) [Janner et al., 2019] destaca en los benchmarks de OpenAI Gym, a menudo colapsa en el DeepMind Control Suite (DMC). En estas tareas de DMC, MBPO a menudo no rinde mejor que una política inicializada aleatoriamente, a pesar de que ambas suites utilizan el motor de física MuJoCo y estructuras de control continuo similares. Este fallo persiste incluso al compararlo con su línea base libre de modelos, Soft Actor-Critic (SAC) [Haarnoja et al., 2019], que supera a MBPO en estos entornos. El problema central es identificar por qué los datos sintéticos, que ayudan al aprendizaje en Gym, degradan activamente el rendimiento en DMC.

Metodología y Diagnóstico
Los autores realizaron un análisis forense de la dinámica de entrenamiento de MBPO para aislar los mecanismos que causan este colapso. Utilizaron una configuración de entrenamiento pseudo en línea para desacoplar el aprendizaje del modelo de la inestabilidad del actor-crítico, permitiendo un examen controlado de los modelos de dinámica y recompensa aprendidos. A través de este análisis, identificaron dos mecanismos de fallo acoplados específicos del entorno DMC:

1. Desajuste de Escala entre Dinámicas y Recompensas: MBPO entrena un único modelo para predecir tanto los siguientes estados como las recompensas. En DMC, la magnitud de los cambios de estado (dinámicas) difiere vastamente de la magnitud de las recompensas (a menudo acotadas entre 0 y 1). Sin una normalización independiente, la pérdida de regresión está dominada por los objetivos de estado de mayor escala. Esto suprime el aprendizaje del modelo de recompensa, provocando que colapse hacia cero. En consecuencia, el crítico recibe transiciones sintéticas con recompensas cercanas a cero o negativas, lo que lleva a una subestimación severa del valor y a una ruptura en el equilibrio de exploración-explotación.
2. Inflación de la Varianza por Predicción de Residuos: Las implementaciones estándar de MBPO predicen residuos de estado ($s' - s$) en lugar de los siguientes estados absolutos ($s'$). Aunque los residuos ofrecen un sesgo inductivo para sistemas suaves, los autores encontraron que en tareas específicas de DMC (por ejemplo, humanoid-stand), este enfoque infla la varianza de las dinámicas aprendidas. El modelo produce transiciones sintéticas altamente inciertas que, a pesar de un bajo error de predicción de un solo paso, son poco fiables para la mejora de la política. Esta incertidumbre desestabiliza el bucle de entrenamiento.

Solución Propuesta: Arreglando Esa Comida Gratis (FTFL)
Para abordar estos problemas, los autores proponen Fixing That Free Lunch (FTFL), un conjunto mínimo de modificaciones al núcleo de MBPO:

1. Normalización Independiente de Objetivos: Aplicar una normalización de media-varianza en ejecución por separado a los objetivos de siguiente estado y recompensa. Esto equilibra las escalas relativas en la pérdida de regresión, evitando que la señal de recompensa sea suprimida por las dinámicas.
2. Predicción Directa del Siguiente Estado: Reemplazar la predicción de residuos con la predicción directa del siguiente estado ($s'$). Esto reduce la inflación de la varianza observada en regímenes inestables, produciendo una representación más estable y confiable de las dinámicas.

Resultados
Los autores evaluaron FTFL en siete tareas de DMC donde MBPO estándar había fallado previamente:

• Recuperación del Rendimiento: FTFL permite una mejora estable de la política en cinco de las siete tareas de DMC fallidas (humanoid-stand, humanoid-walk, humanoid-run, quadruped-walk, quadruped-run). En estas tareas, FTFL supera consistentemente a SAC, a menudo con márgenes significativos.
• Generalización: Las modificaciones no sacrifican el rendimiento en OpenAI Gym. FTFL iguala el fuerte rendimiento de MBPO estándar en tareas de Gym, demostrando que las correcciones son robustas a través de las suites de benchmarks en lugar de sobreajustarse a DMC.
• Generalización de Linaje: Los autores probaron dos algoritmos de la línea MBPO conscientes de la incertidumbre, M2AC [Pan et al., 2020] y MACURA [Frauenknecht et al., 2024]. A pesar de sus mecanismos para filtrar o penalizar datos sintéticos inciertos, ambos algoritmos fallaron en DMC sin FTFL. Aplicar FTFL a su núcleo compartido de modelo aprendido restauró el rendimiento, indicando que el fallo proviene de la arquitectura central del modelo en lugar de la estrategia de admisión de datos.
• Limitaciones Remanentes: FTFL no resolvió completamente los fallos en hopper-hop y hopper-stand. Los autores atribuyen esto a un desafío específico de modalidad: las señales discontinuas de fuerza de contacto en Hopper son capturadas pobremente por la cabeza de siguiente estado gaussiana unimodal, un desajuste que requiere un modelado más rico más allá del alcance de FTFL.

Significado y Afirmaciones
El artículo afirma que el éxito algorítmico en RL no es universal, sino que depende profundamente de la interacción entre las características del entorno (por ejemplo, escala de recompensa, suavidad del estado) y las decisiones de diseño algorítmico.

• Diagnóstico de Modos de Fallo: El trabajo proporciona un mapeo específico de cómo los desajustes de escala y las elecciones de predicción de residuos pueden llevar a un fallo catastrófico en MBRL, incluso en entornos aparentemente similares.
• Crítica a la Evaluación por Benchmarks: Los autores argumentan que depender del rendimiento promedio a través de benchmarks puede ocultar fallos críticos. La divergencia entre los resultados de Gym y DMC para MBPO ilustra cómo las suposiciones específicas de un benchmark pueden codificarse inadvertidamente en el diseño del algoritmo.
• Llamada a una Taxonomía: El artículo aboga por una taxonomía principista de modos de fallo en RL organizada por dimensiones como la suavidad del estado, la escala de recompensa y la modalidad de datos. Un marco de este tipo permitiría a los practicantes anticipar cuándo es probable que un algoritmo falle y guiar el diseño de métodos más robustos y desplegables.
• Utilidad Práctica: FTFL sirve como una reparación práctica para MBPO, restaurando la promesa del aprendizaje eficiente en muestras en tareas de control continuo desafiantes sin requerir revisiones arquitectónicas complejas ni ajuste de hiperparámetros.