Proximal Policy Optimization with Evolutionary Mutations

Resumen Técnico: Optimización de Política Próxima con Mutaciones Evolutivas (POEM)

Planteamiento del Problema
Los algoritmos de Aprendizaje por Refuerzo (RL), particularmente la Optimización de Política Próxima (PPO), a menudo enfrentan un desafío crítico al equilibrar la exploración y la explotación. Aunque el PPO es reconocido por su estabilidad y eficiencia de muestreo, su dependencia de actualizaciones de política pequeñas e incrementales puede conducir a una convergencia prematura en óptimos locales. Este problema se ve exacerbado en entornos con estructuras de recompensa ineficaces, donde el mecanismo estándar de PPO —que utiliza la divergencia de Kullback–Leibler (KL) para limitar los cambios en la política— puede suprimir inadvertidamente la exploración necesaria. El resultado es un "estancamiento de la política", donde el modelo se establece en una política suboptimal en lugar de descubrir activamente comportamientos mejores.

Metodología
Para abordar esto, los autores proponen POEM (Optimización de Política Próxima con Mutaciones Evolutivas), una modificación novedosa que integra un mecanismo de exploración adaptativa inspirado en algoritmos evolutivos. La innovación central radica en el monitoreo de la diversidad de la política a lo largo del tiempo para activar la exploración cuando la política se vuelve demasiado predecible.

El algoritmo POEM opera a través de los siguientes mecanismos:

1. Monitoreo de Diversidad: POEM mantiene un promedio móvil exponencial de los parámetros de la política pasados ($\hat{\theta}$). Calcula la divergencia KL entre la política actual ($\pi_\theta$) y esta política de referencia de promedio móvil ($\pi_{\hat{\theta}}$).
2. Disparador Adaptativo: El algoritmo rastrea esta divergencia ($d_{post}$) después de las actualizaciones estándar de PPO. Si la divergencia cae por debajo de un umbral predefinido ($\delta$), indica que la política se ha estancado o se ha vuelto demasiado similar a su historia reciente.
3. Mutación Evolutiva: Al activarse, POEM realiza una mutación adaptativa de los parámetros de la política. El ruido de la mutación se muestrea de una distribución Gaussiana con una desviación estándar ($\sigma$) que escala inversamente con la métrica de diversidad (es decir, una menor diversidad resulta en una mayor varianza de la mutación).
   • La política mutada candidata ($\theta'$) se evalúa frente a la función de pérdida total, que incluye la pérdida de sustitución recortada estándar de PPO, la pérdida de la función de valor, el bono de entropía y un término de bono de diversidad ponderado por $\lambda_{div}$.
   • La mutación solo se acepta si produce una pérdida total menor que la política actual.
4. Implementación: El sistema se implementó utilizando el framework Stable-Baselines3 y PyTorch. Los hiperparámetros se ajustaron mediante Optuna (Estimador de Parzen Dirigido por Árbol) para asegurar una comparación justa con el PPO estándar en todos los entornos.

Configuración Experimental
Los autores evaluaron POEM frente al PPO estándar en cuatro entornos de OpenAI Gym:

• CarRacing (v0): Una tarea de control continuo utilizando fotogramas en escala de grises apilados.
• MountainCar (v0): Un entorno de recompensa dispersa que requiere acumulación de momento.
• BipedalWalker (v3): Una tarea de locomoción compleja con recompensas de progreso frontal continuo.
• LunarLander (v2): Modificado para incluir una mecánica de combustible (600 unidades) para imponer una toma de decisiones consciente de los recursos.

La evaluación involucró 10 ejecuciones de entrenamiento independientes para cada algoritmo por entorno, seguidas de 15 episodios de evaluación deterministas. La significancia estadística se evaluó mediante la prueba t de Welch.

Resultados Clave
POEM demostró mejoras estadísticamente significativas sobre el PPO estándar en tres de los cuatro entornos:

• CarRacing: POEM logró una recompensa media de 640.01 frente a los -610.83 de PPO. La diferencia fue altamente significativa ($t = -6.3987, p = 0.0002$). POEM navegó la pista de manera confiable, mientras que PPO falló frecuentemente en completar los episodios.
• MountainCar: POEM logró una recompensa media de 93.52 frente a los -311.75 de PPO ($t = -6.2431, p < 0.0001$). POEM escapó con éxito del valle y alcanzó la meta, mientras que PPO a menudo se estancó o agotó el tiempo.
• BipedalWalker: POEM superó a PPO con una recompensa media de 180.58 frente a 62.43 ($t = -2.0642, p = 0.0495$). POEM produjo trayectorias más suaves y una mayor tasa de éxito (12/15 completaciones frente a 7/15 para PPO).
• LunarLander: Aunque POEM logró una recompensa promedio más alta (242.10 frente a 210.94), la diferencia no fue estadísticamente significativa ($t = -1.8707, p = 0.0778$). Los autores señalan que POEM adoptó una estrategia de descenso rápido temprano seguido de un ajuste fino, mientras que PPO se mantuvo a altas altitudes, una estrategia que ocasionalmente llevó al agotamiento catastrófico del combustible.

Significancia y Reivindicaciones
El artículo afirma que la integración de principios evolutivos en los métodos de gradiente de política ofrece una solución viable al dilema entre exploración y explotación. Al utilizar la divergencia KL como una métrica de "novedad" para activar mutaciones adaptativas, POEM escapa eficazmente de los óptimos locales sin sacrificar la estabilidad inherente de PPO. Los resultados sugieren que este enfoque impulsado por la diversidad permite a los agentes aprender políticas más robustas en entornos caracterizados tanto por recompensas dispersas como densas.

Los autores concluyen que, si bien POEM iguala al PPO en LunarLander, su capacidad para superar significativamente al PPO en CarRacing, MountainCar y BipedalWalker valida la hipótesis de que las mutaciones adaptativas, disparadas por la diversidad, pueden desbloquear una exploración adicional. El trabajo futuro propuesto por los autores incluye probar POEM en entornos con espacios de acción discretos, escalar a aplicaciones del mundo real de alta dimensión y realizar comparativas contra otras variantes contemporáneas de PPO, tales como aquellas mejoradas con módulos de curiosidad intrínseca.