Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

Resumen Técnico: Modelado de Recompensa de Nivel Superior Evolutivo para la Generalización en el Aprendizaje por Refuerzo

Formulación del Problema
Este artículo aborda la brecha de generalización en el Aprendizaje por Refuerzo Profundo (RL), donde las políticas entrenadas en entornos limitados fallan al desempeñarse en entornos de prueba no vistos con dinámicas diferentes (por ejemplo, variaciones en las probabilidades de transición). Los autores se centran en un escenario específico y restringido, común en entornos de preservación de la privacidad o restringidos:

• Entornos de Entrenamiento ($M_{train}$): Un conjunto pequeño y fijo de entornos donde se observan las trayectorias completas de estado-acción.
• Entornos de Validación ($M_{val}$): Un conjunto más grande de entornos donde solo están disponibles métricas de rendimiento escalares (recompensas acumuladas no descontadas). Las trayectorias completas son inaccesibles, lo que impide el cálculo de gradientes de política o las técnicas estándar de Randomización de Dominio (DR) que dependen de datos de trayectoria diversos.
• Objetivo: Maximizar el rendimiento de generalización ($J_{gen}$) en entornos de prueba no vistos utilizando el feedback escalar limitado de los entornos de validación para guiar el entrenamiento en los entornos accesibles de entrenamiento.

Metodología: Generalización mediante Modelado de Recompensa Evolutivo (GERS)
Los autores proponen GERS, un marco de optimización de nivel doble diseñado para modelar automáticamente la función de recompensa para mejorar la generalización sin acceso a las trayectorias de validación.

1. Formulación de Nivel Doble:

   • Nivel Inferior (Optimización de la Política): Un agente de RL (utilizando Proximal Policy Optimization, PPO) aprende una política $\pi_\theta$ en los entornos de entrenamiento ($M_{train}$) utilizando una función de recompensa modelada $\hat{r}_\nu$. El objetivo es maximizar el retorno descontado en los datos de entrenamiento: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$.
   • Nivel Superior (Optimización del Modelado de Recompensa): Una estrategia evolutiva (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) optimiza los parámetros de modelado de la recompensa $\nu$. El objetivo es maximizar la recompensa no modelada obtenida por la política de nivel inferior en los entornos de validación: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$.
   • La recompensa modelada se define linealmente: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$, donde $\phi(s, a)$ concatena los vectores de estado y acción.

2. Implementación Algorítmica:

   • Preentrenamiento: Primero, un agente PPO es preentrenado en la función de recompensa original para proporcionar una inicialización robusta.
   • Búsqueda Evolutiva: CMA-ES muestrea candidatos de parámetros de recompensa $\nu$. Para cada candidato, el agente PPO es ajustado (usando la política preentrenada como punto de partida) en los entornos de entrenamiento con la recompensa modelada.
   • Evaluación: Las políticas resultantes se evalúan en los entornos de validación para obtener puntuaciones escalares. Estas puntuaciones guían la actualización de CMA-ES.
   • Eficiencia: Para reducir el costo computacional, el método emplea el intercambio de parámetros (heredando tanto las redes Actor como Critic) del modelo preentrenado y utiliza la evaluación paralela de los candidatos de CMA-ES.

Contribuciones Clave

• Escenario Novedoso: El artículo formaliza y aborda el desafío de la generalización en RL donde los entornos de validación son "cajas negras" que proporcionan solo retornos escalares, una restricción que suele ignorar los métodos estándar de Randomización de Dominio (DR) o Generación de Contenido Procedural (PCG).
• Marco de Nivel Doble: Introduce un enfoque de optimización de nivel doble que desacopla el aprendizaje de la política (nivel inferior) del diseño de la función de recompensa (nivel superior), utilizando estrategias evolutivas para cerrar la brecha entre el rendimiento de entrenamiento y el de validación.
• Eficiencia de Datos: El método demuestra que se puede lograr una alta generalización sin acceder a las trayectorias en los entornos de validación, basándose únicamente en el feedback escalar para dirigir el modelado de la recompensa.

Resultados Experimentales
Los autores evaluaron GERS en cuatro tareas de control continuo de MuJoCo (InvertedPendulum, Hopper, HalfCheetah, Ant) con parámetros físicos variables (por ejemplo, masa, fricción, gravedad).

• Comparación con Líneas Base: El PPO estándar entrenado en un solo entorno mostró un sobreajuste significativo, logrando altas recompensas de entrenamiento pero un desempeño pobre en entornos de prueba no vistos.
• Desempeño de GERS: GERS superó significativamente a la línea base de PPO estándar en todas las tareas, logrando un desempeño de generalización comparable al de entrenamiento en varios casos (por ejemplo, InvertedPendulum).
• Comparación con la Randomización de Dominio (DR):
  • GERS se comparó contra una línea base de DR que utilizaba el mismo conjunto de entornos como datos de entrenamiento (con acceso a la trayectoria completa).
  • Mientras que DR funcionó mejor en tareas complejas (HalfCheetah, Ant), GERS superó a DR en tareas más simples (InvertedPendulum, Hopper).
  • Crucialmente, GERS logró una robustez competitiva frente a DR a pesar de operar bajo restricciones de información mucho más estrictas (sin acceso a trayectorias en los entornos de validación).
• Análisis de Fuera de la Distribución (OOD): Las evaluaciones mediante mapas de calor mostraron que GERS mantuvo una fuerte robustez cuando un parámetro físico era llevado a regiones extremas OOD, aunque el desempeño cayó cuando múltiples parámetros eran extremos simultáneamente.

Significancia y Reivindicaciones
El artículo afirma que GERS mejora eficazmente la generalización de RL bajo restricciones de acceso a datos. Su principal significancia radica en demostrar que el modelado de recompensa optimizado mediante estrategias evolutivas sobre el feedback escalar de validación puede servir como una alternativa viable a la Randomización de Dominio cuando los datos de trayectoria no están disponibles. Los autores postulan que este enfoque es particularmente relevante para aplicaciones del mundo real como el red teaming automatizado o despliegues sensibles a la privacidad, donde los desarrolladores pueden observar los resultados del rendimiento pero no pueden acceder a las transiciones de estado internas de los sistemas objetivo.

Limitaciones Reconocidas
Los autores señalan modestamente algunas limitaciones:

• La evaluación se restringió a tareas de control continuo de recompensa densa; la aplicabilidad a problemas de recompensa dispersa no ha sido verificada.
• Los altos costos computacionales limitaron el número de ensayos independientes, afectando el poder estadístico.
• La ganancia de desempeño es una combinación de modelado de recompensa y la selección de la mejor política de entre muchos ejecuciones estocásticas; se requiere un estudio de ablación para aislar la contribución específica del modelado de la recompensa.
• El CMA-ES de nivel superior no convergió completamente en todos los experimentos, lo que sugiere la necesidad de variantes conscientes del ruido en trabajos futuros.