EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games

Resumen Técnico: EMAgnet

Planteamiento del Problema

Los avances recientes en la resolución de juegos de información imperfecta de dos jugadores (IIG, por sus siglas en inglés) han demostrado que los métodos de gradiente de política regularizados, como Proximal Policy Optimization (PPO), pueden igualar o incluso superar a los algoritmos especializados en teoría de juegos cuando se utilizan en el autoaprendizaje (self-play). Una decisión de diseño crítica en este marco es la elección del objetivo de regularización. La distribución uniforme ha emergido como un objetivo estándar, implementado mediante un bono de entropía. Sin embargo, el objetivo uniforme es estratégicamente agnóstico; regulariza la política de manera igual hacia todas las acciones, independientemente de su viabilidad.

En juegos con espacios de estrategia de gran tamaño que contienen muchas estrategias estrictamente dominadas (opciones subóptimas), el objetivo uniforme desperdicia el presupuesto de regularización en estrategias irrelevantes. Esta limitación se vuelve cada vez más trascendental a medida que la complejidad del juego crece y la fracción de estrategias estratégicamente relevantes disminuye. Además, los enfoques existentes que utilizan la regularización uniforme con atenuación (annealing) enfrentan un dilema: una regularización fuerte al inicio obliga a la política a explorar estrategias dominadas, mientras que una regularización débil en las etapas finales no proporciona la presión suficiente para fomentar la mezcla estratégica, lo que a menudo conduce a la convergencia en estrategias puras en lugar de equilibrios de Nash.

Metodología

Los autores presentan EMAgnet, un método que extiende el concepto de un objetivo de regularización de "imán móvil" (moving magnet) de entornos tabulares al aprendizaje por refuerzo profundo. En lugar de regularizar hacia una distribución uniforme fija, EMAgnet regulariza hacia un Promedio Móvil Exponencial (EMA) de los propios parámetros de la red de la política.

Mecanismo Central

El método se basa en PPO en autoaprendizaje simétrico. El objetivo estándar de PPO se aumenta con un término de divergencia de Kullback-Leibler (KL) que atrae los parámetros de la política actual ($\theta$) hacia una política "imán" ($\theta_{mag}$):

$$L_{PPO-EMAg}(\theta) = L_{PPO}(\theta) + \lambda_{KL} \mathbb{E}_{z \sim \mathcal{T}} \left[ D_{KL}(\pi_{\theta_{mag}}(\cdot | z) \parallel \pi_{\theta}(\cdot | z)) \right]$$

Los parámetros del imán se actualizan después de cada paso de PPO utilizando un promedio aritmético en el espacio de parámetros:
$$\theta_{mag} \leftarrow (1 - \tau) \theta_{mag} + \tau \theta$$
donde $\tau \in (0, 1]$ es el tamaño del paso. El imán se inicializa con los mismos pesos aleatorios que la política.

Propiedades Adaptativas

La innovación clave es la naturaleza adaptativa del objetivo:

1. Olvido de Estrategias Malas: A medida que la política aprende a evitar las estrategias estrictamente dominadas, el imán EMA deja de regularizar gradualmente hacia ellas porque los pesos de la política ya no sustentan esas acciones.
2. Memoria de Estrategias Buenas: El EMA acumula naturalmente una mezcla suavizada sobre las estrategias encontradas durante los ciclos de autoaprendizaje. Esto fomenta que la política mantenga la cobertura sobre las opciones estratégicamente relevantes.
3. Fuerza Constante: A diferencia de la regularización uniforme con atenuación, la fuerza de la regularización KL ($\lambda_{KL}$) permanece constante, pero el objetivo evoluciona. Esto evita el "dilema" donde una regularización fuerte fuerza la exploración de estrategias malas o una regularización débil no logra prevenir el colapso hacia estrategias puras.

Contribuciones Clave

1. Extensión Algorítmica: El artículo extiende el concepto tabular de imán móvil (previamente explorado por Sokota et al.) al aprendizaje por refuerzo profundo mediante la implementación de un EMA en el espacio de parámetros de los pesos de la política como objetivo de regularización.
2. Regularización Adaptativa: El método proporciona un objetivo de regularización adaptativo que evoluciona con la estrategia mejorada del agente, distinguiéndose de los objetivos fijos como la distribución uniforme.
3. Evaluación Empírica: Los autores evalúan PPO-EMAg frente a PPO de autoaprendizaje con regularización de imán uniforme (usando esquemas de atenuación lineal y de ley de potencia) a través de tres categorías de juegos:
   • Benchmarks estándar (Biased RPS, Goofspiel-4, Kuhn Poker).
   • Benchmarks modificados con una única acción de abandono (forfeit) estrictamente dominada (variantes FF).
   • Benchmarks modificados donde la gran mayoría del espacio de estrategia está dominada mediante tareas de navegación en un mundo de rejilla (variantes de Control).

Resultados

La evaluación demuestra que PPO-EMAg logra una explotabilidad menor que los baselines uniformes en entornos que contienen estrategias estrictamente dominadas, manteniéndose competitivo en los benchmarks estándar.

• Juegos Estándar: En Biased RPS, Goofspiel-4 y Kuhn Poker, PPO-EMAg es competitivo con los baselines, con la política del imán EMA logrando a menudo la menor explotabilidad final.
• Juegos de Forfeit (FF): En juegos aumentados con una acción de abandono estrictamente dominada, PPO-EMAg supera significativamente a los baselines uniformes. El imán uniforme continúa regularizando hacia la acción de abandono durante todo el entrenamiento, mientras que el imán EMA se adapta para reducir la regularización hacia ella a medida que la política aprende a evitarla.
• Juegos de Control: En entornos donde la mayoría de las estrategias están estrictamente dominadas (debido a fallos de navegación), PPO-Eamg muestra un rendimiento superior y una convergencia significativamente más rápida.
  • En Control Biased RPS, la atenuación lineal uniforme falla en aprender durante aproximadamente 7 millones de pasos antes de caer tarde en el entrenamiento, mientras que PPO-EMAg converge en 2 millones de pasos.
  • En Control Goofspiel, la atenuación lineal uniforme apenas mejora tras 6 millones de pasos, mientras que PPO-EMAg alcanza una baja explotabilidad mucho antes.
• Análisis de Trayectorias: Las visualizaciones de las trayectorias de la política en el simplex de estrategia revelan que la atenuación uniforme causa que las políticas se queden estancadas en estrategias dominadas temprano o colapsen a estrategias puras más tarde. PPO-EMAg evita esto reduciendo gradualmente la masa en acciones dominadas mientras mantiene la presión de mezcla, permitiendo que la política circule cerca del equilibrio de Nash.

Significado y Reivindicaciones

El artículo sostiene que EMAgnet ofrece un mecanismo simple pero efectivo para adaptar los objetivos de regularización a la estrategia evolutiva de un agente en juegos grandes. Al regularizar hacia un EMA en el espacio de parámetros de los propios pesos de la política, el método evita los problemas de la regularización uniforme en juegos con un gran número de estrategias estrictamente dominadas.

Los autores postulan que a medida que los juegos crecen en complejidad, la fracción del espacio de estrategia que es estratégicamente relevante tiende a disminuir. En tales escenarios, asignar el presupuesto de regularización a opciones subóptimas incurre en un costo creciente. EMAgnet aborda esto al "olvidar" las estrategias malas mientras "recuerda" las buenas, requiriendo solo una actualización de EMA por paso de entrenamiento más allá del bucle estándar de PPO. El artículo concluye que, si bien PPO-EMAg es competitivo en benchmarks estándar, su principal ventaja reside en juegos con altas densidades de estrategias dominadas, donde permite una convergencia más rápida y una menor explotabilidad final en comparación con la regularización uniforme con atenuación.