Resumen Técnico: GARIP – Un promedio móvil de referencia para el auto-juego de última iteración

1. Planteamiento del problema

En juegos de suma cero de dos jugadores, el auto-juego estándar utilizando el ascenso de gradiente ingenuo (SGA) no logra converger en la última iteración; en su lugar, la trayectoria orbita el equilibrio de Nash en un campo conservativo cerrado. Mientras que las políticas de promedio temporal convergen, el aprendizaje por refuerzo (RL) profundo multi-agente moderno depende de los parámetros finales de la red, lo que hace que el comportamiento de la última iteración sea crítico.

Los métodos existentes intentan restaurar la convergencia de la última iteración regularizando la política hacia una referencia ("imán") para romper las rotaciones conservativas:

• MMD: Utiliza una referencia fija (por ejemplo, uniforme). Converge a un equilibrio regularizado (Equilibrio de Respuesta Cuántica), lo que requiere el desvanecimiento (annealing) de la regularización para alcanzar el verdadero Nash.
• R-NaD: Utiliza una instantánea (snapshot) periódica de la política actual (reiniciada cada $K$ pasos). Alcanza el Nash sin necesidad de annealing y potencia sistemas como DeepNash.
• Juego Ficticio (Fictitious Play): Responde de la mejor manera al oponente promedio, pero carece de un anclaje propio.

El artículo identifica una brecha en el espacio de diseño: un método que se ancle al promedio móvil de la propia política (actualizado continuamente) en lugar de a un punto fijo o instantáneas discretas, con el objetivo de lograr la convergencia de la última iteración sin annealing y mejorando la robustez de los hiperparámetros.

2. Metodología: GARIP

GARIP (Generative Adversarial Reciprocal Iterative Play) es una regla de actualización que combina un paso de gradiente optimista con un anclaje de Halpern dirigido hacia el promedio móvil de la política.

Mecánica de actualización

Para un jugador de fila con política $x$ y oponente $y$ en un juego con matriz de pagos $A$:

1. Paso Optimista: La política realiza un paso de ascenso entrópico optimista (similar al Ascenso de Espejo Optimista) utilizando el gradiente actual y el gradiente anterior para anticipar el movimiento del oponente.
2. Anclaje de Halpern: La política actualizada es una combinación convexa del paso optimista y el promedio móvil $\bar{x}$:
   $$x_{t+1} = (1 - \beta) x_{t+1/2} + \beta \bar{x}_t$$
   donde $\beta \in (0, 1)$ es una fuerza de anclaje constante (sin annealing).
3. Actualización del Promedio Móvil: El ancla $\bar{x}$ se actualiza continuamente (media acumulativa en juegos de matriz, o media móvil exponencial de Polyak en RL profundo).

Motivación Teórica

El método está motivado por una visión de "consistencia de ciclo" de los juegos de suma cero como un CycleGAN, donde el equilibrio es el punto fijo del recorrido de ida y vuelta $F \circ G$. Anclarse al promedio móvil impone consistencia con este punto fijo autorreferencial. Mecánicamente, sin embargo, GARIP es un ascenso de espejo optimista compuesto con un anclaje de Halpern móvil; no optimiza una pérdida de consistencia de ciclo.

3. Contribuciones Clave y Resultados Teóricos

A. El mecanismo de "Lag de Pico" del colapso

El artículo identifica que el modo de falla (colapso) de los métodos de referencia móvil es impulsado por el lag de pico (peak lag) de la referencia respecto a la política actual.

• Obsolescencia (Staleness): Una referencia tiene un retraso respecto a la política actual de $\ell$ pasos. Bajo un peso de regularización $\lambda$, esto ejerce una fuerza de restauración proporcional a $\lambda \cdot \ell$. Si esta fuerza supera el gradiente del juego, la política colapsa hacia un estado obsoleto y explotable.
• Diente de sierra vs. Plano:
  • R-NaD (Instantánea): Mantiene la referencia fija durante $K$ pasos, creando un perfil de lag de diente de sierra. El lag de pico es $K$, mientras que el lag medio es $K/2$. Por lo tanto, Pico = 2 × Media.
  • GARIP (Promedio Móvil): El perfil de lag es plano (estacionario). El lag de pico es igual al lag medio.
• Proposición 1: Entre todos los promedios convexos causales con un lag medio fijo, el promedio móvil minimiza de forma única el lag de pico. El pico de una instantánea está estrictamente dominado por un factor de 2.

B. Propiedades de Convergencia

• Convergencia Local de la Última Iteración (Proposición 3): El artículo demuestra que para una fuerza de anclaje $\beta$ pequeña, el ancla escala los autovalores de rotación del mapa base por $(1-\beta)$. Esto cruza el límite de estabilidad, convirtiendo un mapa base recurrente (orbital) en una contracción, asegurando la estabilidad asintótica local en el equilibrio de Nash sin necesidad de annealing.
• Puntos Fijos Sin Sesgo (Proposición 2): A diferencia de MMD, que converge a un equilibrio regularizado por imán, el ancla autorreferencial de GARIP se anula en cualquier punto fijo. Por lo tanto, cada punto fijo interior es un verdadero equilibrio de Nash.
• Convergencia Global: Se conjetura la convergencia global para un $\beta$ pequeño. El artículo señala un modo de falla de "consenso prematuro" con un $\beta$ grande, donde el ancla fuerza a la política y al promedio a estar de acuerdo demasiado rápido en un punto subóptimo, estancando el progreso.

C. Reclamación de Robustez

La ventaja principal de GARIP es la robustez de los hiperparámetros, no el rendimiento máximo.

• Debido a que el lag de pico de R-NaD es el doble de su lag medio, un periodo de reinicio convencional $K$ (elegido basado en la intuición del lag medio) establece inadvertidamente el lag de pico a un nivel peligroso.
• El perfil plano de GARIP asegura que, bajo parametrizaciones convencionales, el lag de pico permanezca bajo.
• El artículo afirma que GARIP iguala el rendimiento máximo de R-NaD cuando ambos se ajustan a su mejor nivel, pero GARIP es el método superior por defecto porque su "cuenca de seguridad" es más amplia.

4. Resultados Experimentales

Juegos de Matriz y Póker

• Juegos de Matriz: GARIP logra una explotabilidad cercana al Nash en juegos aleatorios de $10\times10$ y $12\times6$ con configuraciones por defecto, mientras que el valor por defecto de R-NaD queda significativamente rezagado (requiriendo ajuste para igualarlo). MMD se estanca en el equilibrio regularizado.
• Póker (Kuhn/Leduc): GARIP supera a R-NaD y MMD con el ajuste por defecto, alcanzando una explotabilidad cercana al juego ficticio de mejor respuesta exacto.

RL Profundo (Juego de la Moneda & Juegos de Tablero)

• Juego de la Moneda (Coin Game): GARIP y R-NaD empatan en rendimiento máximo (ambos muy superiores a las líneas base sin imán fijo o sin imán).
• Juegos de Tablero (Conecta 4, Othello, Animal Shogi, Hex):
  • Juegos de Ciclo (Conecta 4, Othello): Las referencias móviles (GARIP/R-NaD) son significativamente más robustas que las líneas base. GARIP supera ligeramente a R-NaD en Othello.
  • Juego No Cíclico (Animal Shogi): El auto-juego ingenuo converge naturalmente. Aquí, la regularización es innecesaria y penaliza ligeramente el rendimiento, aunque GARIP sigue siendo el mejor regularizador entre los métodos probados.
  • Juego Inaprendible (Hex): Todos los métodos fallan en aprender estrategias robustas debido a la complejidad del tablero de $11\times11$, confirmando los límites del aprendiz sin búsqueda (search-free).

Robustez de Hiperparámetros (El Hallazgo Central)

El artículo realiza un barrido sobre los hiperparámetros para medir las "tasas de colapso" (falla al converger a una política robusta).

• Cuadrícula Completa: Sobre todo el espacio de parámetros, las tasas de colapso agregado de GARIP y R-NaD son estadísticamente indistinguibles (aprox. 25% vs 32%). Ambos pueden fallar si se llevan a un estado de obsolescencia extrema.
• Parametrización Convencional: La diferencia crítica reside en la ubicación del límite de colapso respecto al uso estándar.
  • GARIP: Colapsa solo con tasas de promediado muy lentas ($\rho \le 0.005$). Para el $\rho$ estándar de $0.01$, la tasa de colapso es de 0/40 semillas.
  • R-NaD: Colapsa con los periodos de reinicio estándar. Para $K=200$, la tasa de colapso es de 10/40 semillas.
• Conclusión: El $K$ convencional de R-NaD subestima su lag de pico por un factor de 2, situándolo en la zona de peligro. GARIP proporciona una parametrización "segura por defecto".

5. Significado y Reclamaciones

El artículo posiciona a GARIP no como un método que logre un mayor rendimiento máximo que R-NaD, sino como un modelo por defecto estructuralmente superior para el auto-juego sin annealing.

• Ventaja Estructural: El promedio móvil es la forma de referencia óptima para minimizar el lag de pico entre los promedios causales. Esto lo hace inherentemente más robusto al modo de falla de "obsolescencia" que afecta a las instantáneas periódicas.
• Impacto Práctico: Los usuarios no necesitan saber que deben acortar el periodo de reinicio $K$ para R-NaD para evitar el colapso; GARIP logra esta seguridad automáticamente con parámetros estándar.
• Limitaciones:
  • El artículo establece explícitamente que no reclama superioridad en el rendimiento máximo sobre un R-NaD ajustado.
  • La convergencia global es una conjetura; un $\beta$ grande puede causar un consenso prematuro.
  • La ventaja solo se manifiesta en juegos donde el auto-juego ingenuo cicla; no ofrece beneficios (y supone un ligero costo) en juegos que convergen naturalmente.
  • El método no es inmune al colapso; simplemente desplaza el límite de colapso hacia regímenes de parámetros menos comunes.

El artículo concluye que para el auto-juego profundo en juegos de suma cero cíclicos, el promedio móvil es la referencia preferida, ofreciando un margen de seguridad "gratuito" sobre el enfoque de instantáneas.