Resumen Técnico: Estabilización de Métodos de Gradiente de Política mediante el Perfilado de Recompensas

Planteamiento del Problema

Los métodos de Gradiente de Política (PG) son una piedra angular en el aprendizaje por refuerzo (RL), ofreciendo un marco directo para optimizar políticas parametrizadas en entornos de control continuo y de alta dimensión. Sin embargo, estos métodos sufren frecuentemente de una alta varianza en las estimaciones del gradiente. Las pequeñas fluctuaciones estocásticas en las recompensas de los episodios iniciales pueden propagarse a través de los estimadores de Monte Carlo (por ejemplo, en REINFORCE), lo que conduce a actualizaciones erráticas, convergencia lenta y colapsos de rendimiento catastróficos ocasionales.

Las técnicas de reducción de varianza existentes suelen introducir desventajas significativas:

• Ajuste específico del algoritmo: Métodos como las líneas de base (baselines) o la normalización de la ventaja requieren ajustes específicos para cada problema.
• Sobrecarga computacional: Los métodos de región de confianza (como TRPO) dependen de resolvedores de segundo orden costosos o de cálculos de la Hessiana.
• Complejidad: Los algoritmos de actor-crítico fuera de la política (off-policy) (como DDPG, TD3) a menudo requieren una regularización cuidadosa para evitar actualizaciones divergentes o estimaciones de valores Q con picos.

Los autores plantean una pregunta central: ¿Es posible reducir la varianza de PG y estabilizar el aprendizaje en arbitrios métodos de gradiente de política sin depender de un ajuste especializado o de maquinaria pesada de segundo orden?

Metodología: El Marco de Perfilado de Recompensas

El artículo propone un marco de perfilado de recompensas universal que actúa como un "envoltorio" (wrapper) alrededor de cualquier algoritmo de PG existente. La filosofía central es sencilla: actualizar la política selectivamente solo si la versión actualizada implica un mejor rendimiento.

Dado que la función de valor verdadera $J(\theta)$ es desconocida, el marco se basa en comparaciones de alta confianza utilizando estimaciones empíricas de retorno. El marco opera muestreando un pequeño número de ejecuciones (rollouts) adicionales ($E$) para evaluar las políticas candidatas antes de comprometerse con una actualización. Introduce tres variantes específicas:

1. Lookback (LB - Mirada hacia atrás):

   • Compara la política actual $\pi_{old}$ con la nueva política propuesta $\pi_{new}$.
   • Actualiza la política solo si el retorno empírico $\hat{J}(\pi_{new}) \geq \hat{J}(\pi_{old})$.
   • De lo contrario, la actualización es rechazada y el agente conserva la política antigua. Esto actúa como una búsqueda de línea de retroceso (backtracking line search) en el espacio de la política.

2. Mix-up (MU - Mezcla):

   • Aborda el riesgo de quedarse estancado debido a estimaciones ruidosas que enmascaran mejoras genuinas.
   • Introduce una política intermedia $\pi_{mix}$ definida por una combinación convexa de parámetros: $\theta_{mix} = \lambda \theta_{new} + (1-\lambda) \theta_{old}$.
   • Selecciona la política con mejor desempeño entre $\pi_{old}$ y $\pi_{mix}$. Esto funciona como una "región de confianza barata" sin requerir cálculos de la Hessiana o restricciones de KL.

3. Three-Points (TP - Tres puntos):

   • Unifica los enfoques anteriores evaluando tres candidatos: $\theta_{old}$, $\theta_{new}$ y $\theta_{mix}$.
   • Selecciona el conjunto de parámetros que genera el mayor retorno empírico.
   • Está diseñado para acelerar la convergencia manteniendo la estabilidad y proporcionando margen para la exploración.

Integración Algorítmica:
El marco (Algoritmo 1) envuelve cualquier método de PG de primer orden. Requiere $O(\epsilon^{-2} \ln(T/\delta))$ ejecuciones adicionales por iteración para asegurar comparaciones de alta confianza, pero no altera la lógica de actualización central del optimizador subyacente (por ejemplo, DDPG, TRPO, PPO).

Contribuciones Teóricas

Los autores proporcionan garantías teóricas respecto a la convergencia y estabilidad del marco:

• Monotonicidad: Bajo la regla de Lookback, con un número suficiente de muestras de evaluación ($E$), el marco asegura que las actualizaciones aceptadas produzcan mejoras reales de rendimiento con alta probabilidad ($1-\delta$). Específicamente, $J(\pi_{t+1}) \geq J(\pi_t) - 2\epsilon$.
• Tasa de Convergencia: Al aplicarse a REINFORCE, el marco converge a una política casi óptima a una tasa de $O(T^{-1/4})$. Esta tasa es comparable a la de los algoritmos de actor-crítico estocásticos, demostrando que la sobrecarga de perfilado no ralentiza significativamente la convergencia.
• Optimalidad Global: Bajo supuestos estándar de suavidad y propiedades de dominancia de gradiente, el marco converge a un punto estacionario, lo que implica la optimalidad global para la política aprendida.
• Manejo de Sesgo: El análisis se extiende a casos sesgados (comunes en métodos actor-crítico donde los críticos son aproximados), mostrando convergencia siempre que el sesgo en la estimación del valor sea acotado y disminuya suficientemente con el tiempo.

Resultados Empíricos

El marco fue evaluado en ocho entornos de control continuo (suites Box2D y MuJoCo/PyBullet) utilizando tres algoritmos representativos: DDPG, TRPO y PPO.

• Velocidad de Convergencia: El enfoque de perfilado produjo hasta 1.5× más rápida la convergencia hacia retornos casi óptimos en varios escenarios.
• Reducción de Varianza: Logró una reducción de hasta 1.75× en la varianza del retorno en configuraciones específicas, estabilizando significativamente las curvas de entrenamiento.
• Rendimiento en Entornos Específicos:
  • CarRacing: Transformó fallos catastróficos (retornos negativos debido a choques) en políticas viables con retornos positivos tanto para TRPO como para PPO.
  • BipedalWalker: Mejoró el rendimiento de DDPG de $-116.1$a$-47.0$ (retorno promedio).
  • Ant: DDPG con Mix-up mostró una convergencia más temprana, mientras que la variante de Three-Points redujo la varianza en un 11%.
  • Unity ML-Agents (Reacher): En una tarea de multi-robot con 20 brazos paralelos, la variante Three-Points demostró un aprendizaje sustancialmente más estable y una convergencia más rápida en comparación con el DDPG vanilla, validando el enfoque en una simulación realista y compleja.

Significación y Reivindicaciones

El artículo afirma que el Perfilado de Recompensas ofrece un camino general y teóricamente fundamentado para un aprendizaje de políticas más fiable y eficiente. Su principal significación radica en:

1. Universalidad: Es un envoltorio (wrapper) aplicable a cualquier método de PG (on-policy o off-policy) sin requerir baselines específicos del problema o ajuste de hiperparámetros.
2. Simplicidad vs. Estabilidad: Logra una estabilidad comparable a los complejos métodos de región de confianza (como TRPO), pero utiliza únicamente actualizaciones de primer orden y una sobrecarga computacional mínima (reutilizando muestras para la evaluación).
3. Robustez: Mitiga eficazmente el "colapso catastrófico" que se observa frecuentemente en los métodos de PG vanilla, particularmente en entornos de alta dimensión o de recompensa dispersa.

Los autores concluyen que, si bien el marco incurre en un costo computacional modesto (aproximadamente un aumento del 20% en el tiempo de ejecución real en sus experimentos), la compensación es favorable para lograr mejoras monótonas y estables, lo que lo hace adecuado para el despliegue físico donde un comportamiento de aprendizaje predecible es crítico.