Resumen Técnico: FootsiesGym

Planteamiento del Problema

El progreso en el aprendizaje por refuerzo (RL) multiagente y de teoría de juegos se ve actualmente obstaculizado por la falta de entornos de referencia que equilibren la complejidad estructural con la tractabilidad computacional. Los entornos existentes tienden a caer en dos extremos:

1. Benchmarks teóricos de pequeña escala (p. ej., Kuhn Poker, Goofspiel): Estos capturan estructuras de estrategias mixtas y cíclicas y permiten cálculos exactos de explotabilidad, pero carecen de los largos horizontes, la dinámica espacial y los requisitos de exploración de los juegos más ricos.
2. Entornos de tiempo real a gran escala (p. ej., StarCraft II, Dota 2): Poseen una complejidad profunda y horizontes temporales largos, pero requieren recursos computacionales sustanciales y mucho tiempo para el entrenamiento, lo que dificulta la iteración rápida y el análisis.

Los juegos de lucha representan un potencial "punto medio" debido a su naturaleza espacial y de tiempo real, así como a su dependencia de interacciones estratégicas no transitivas (a menudo descritas como una dinámica de "piedra-papel-tijeras"). Sin embargo, los juegos de lucha estándar introducen una complejidad excesiva, como secuencias largas de combos, que desplazan el enfoque estratégico del juego de neutral cíclico hacia concursos de ejecución transitiva. Existe la necesidad de un entorno que aísle el juego neutral —la fase en la que ningún jugador tiene ventaja y ocurre el maniobreo estratégico— mientras permanezca lo suficientemente simple para un análisis eficiente y un entrenamiento en hardware estándar.

Metodología

Los autores presentan FootsiesGym, un entorno de código abierto construido sobre el juego de lucha 2D minimalista de HiFight, Footsies. El entorno está diseñado para aislar las interacciones estratégicas cíclicas y no transitivas del juego neutral de los juegos de lucha.

Diseño del Entorno

• Mecánicas Centrales: El juego elimina las barras de salud y los combos. Una ronda se pierde solo cuando un jugador es golpeado por un ataque especial. Los jugadores pueden bloquear hasta tres veces antes de sufrir un "guard break" (ruptura de guardia).
• Espacio de Acciones: El espacio de acciones por defecto tiene un tamaño $|A|=6$ (NONE, BACK, FORWARD, ATTACK, BACK+ATTACK, FORWARD+ATTACK). Un modo de "carga especial" expande esto a $|A|=9$ añadiendo acciones discretas para alternar el estado de carga requerido para los movimientos especiales, abordando la dificultad de descubrir estos movimientos mediante la exploración aleatoria.
• Observaciones: Los agentes reciben una observación vectorizada de 85 dimensiones (u 88 dimensiones con carga especial) que describe el estado de ambos jugadores. Crucialmente, los agentes observan características privilegiadas propias (p. ej., disponibilidad de dash, progreso de carga) que no se exponen al oponente, reflejando una asimetría de información.
• Recompensas: El juego es de suma cero ($r_i = -r_{-i}$). Una victoria/derrota terminal genera una recompensa de $\pm 10$; los tiempos agotados generan 0. Las recompensas densas son opcionales.
• Retraso de Acción (Action Delay): El entorno soporta retrasos de acción configurables (frames entre la selección y la ejecución). Este parámetro controla el equilibrio entre el juego reactivo (bajo retraso) y el juego predictivo (alto retraso), evitando estrategias puramente reactivas degeneradas.

Implementación

FootsiesGym utiliza un simulador vectorizado construido en C# dentro del motor Unity, desacoplado del bucle de renderizado para el entrenamiento sin interfaz gráfica (headless).

• Vectorización: Un único proceso sin interfaz realiza los pasos de $K$ instancias de juego independientes en paralelo, expuestas a través de un puerto gRPC.
• Rendimiento (Throughput): En una estación de trabajo estándar de 24 núcleos, el sistema alcanza hasta ~52,500 pasos de entorno por segundo (con 4 procesos concurrentes y 128 entornos en el mismo proceso), permitiendo un entrenamiento de alto rendimiento accesible en hardware estándar.
• API: Los clientes de Python interactúan a través de la API de PettingZoo.

Baselines Experimentales

Los autores entrenaron varios algoritmos para evaluar el entorno, señalando que estos están ajustados de forma ingenua y no son implementaciones definitivas:

1. PPO (Proximal Policy Optimization): Se probaron dos variantes: una con un coeficiente de entropía fijo y otra con un esquema de atenuación (PPO Sched.).
2. EMAgnet: Un método de gradiente de política que se regulariza hacia una media móvil exponencial de sus propios pesos.
3. PFSP (Prioritized Fictitious Self-Play): Un enfoque basado en poblaciones que mantiene un reservorio de checkpoints pasados y muestrea preferencialmente a los oponentes contra los que la política actual pierde.

Todos los agentes utilizaron un MLP de 2 capas sobre el espacio de observación y fueron entrenados durante $2.5 \times 10^7$ pasos a través de cinco semillas aleatorias.

Resultados Clave

Rendimiento Contra Heurísticas

Contra oponentes uniformemente aleatorios y de "no-acción" (no atacantes), todas las políticas lograron tasas de victoria del 85–95%. Sin embargo, a medida que las políticas mejoraron, se volvieron cada vez más reactivas, rara vez iniciando el combate con oponentes estacionarios. Esto sugiere un posible desalineamiento entre maximizar las tasas de victoria y crear un comportamiento de IA atractivo.

Explotabilidad Aproximada

Dado que la explotabilidad exacta es intratable, los autores entrenaron mejores respuestas aproximadas (usando PPO) contra los checkpoints fijos de las políticas de referencia.

• PFSP demostró la mayor robustez, logrando un retorno positivo contra todos los demás algoritmos y la menor tasa de pérdida contra las mejores respuestas.
• EMAgnet mostró una desconexión: logró retornos positivos de enfrentamiento directo contra las variantes de PPO, pero fue el más consistentemente explotado por las mejores respuestas dedicadas.
• Variantes de PPO: Funcionaron aproximadamente de manera equivalente entre sí en términos de explotabilidad.

Descubrimiento de Ataques Especiales

Un hallazgo crítico fue la dificultad de descubrir ataques especiales mediante la exploración aleatoria. En la configuración estándar, ejecutar un ataque especial direccional requiere una secuencia específica de 15 pasos consecutivos, una secuencia con una probabilidad de $\approx 0.001\%$ bajo una política aleatoria uniforme.

• En todos los algoritmos, el uso promedio de ataques especiales se mantuvo cerca de cero durante todo el entrenamiento.
• La política PPO de entropía fija aprendió brevemente el movimiento antes de abandonarlo, lo que sugiere que la regularización de alta entropía (a menudo beneficiosa en benchmarks pequeños) puede impedir el descubrimiento de estrategias complejas y de alto valor en este entorno.

Significación y Contribuciones

El artículo posiciona a FootsiesGym como un punto medio productivo para la investigación en RL multiagente y teoría de juegos. Su significación radica en varias áreas:

1. Aislamiento del Juego Neutral: Al eliminar combos y barras de salud, el entorno aísla las dinámicas cíclicas y de estrategia mixta inherentes al juego neutral de los juegos de lucha, haciéndolo adecuado para estudiar interacciones no transitivas.
2. Accesibilidad y Reproducibilidad: A diferencia de las plataformas que envuelven juegos propietarios (p. ej., FightingICE, DIAMDA), FootsiesGym es totalmente de código abierto con un simulador vectorizado, lo que permite un entrenamiento de alto rendimiento en estaciones de trabajo estándar sin fricciones de licencias.
3. Nuevas Direcciones de Investigación:
   • Entrenamiento de Teoría de Juegos: El entorno sirve como banco de pruebas para el entrenamiento basado en poblaciones (PSRO, PFSP) y métodos de regularización, desafiándolos específicamente a retener estrategias valiosas pero difíciles de descubrir (como los ataques especiales) que la regularización estándar podría suprimir.
   • Estilo de Juego vs. Habilidad: Los resultados resaltan una brecha entre la habilidad bruta (minimización de la explotabilidad) y el juego "atractivo". Las políticas que maximizan las tasas de victoria pueden volverse excesivamente pasivas, fallando en utilizar mecánicas centrales o en comprometerse proactivamente con los oponentes.
   • Explotabilidad Aproximada: El entorno ofrece una complejidad equilibrada para probar métodos aproximados (como el entrenamiento de mejor respuesta) donde el cálculo exacto es imposible pero la escala es manejable.
   • Evaluación Humana: La capacidad de exportar a WebGL facilita los experimentos de humano contra IA y la recolección de datos de aprendizaje por imitación para evaluar si el comportamiento de la IA es percibido como divertido o atractivo.

Los autores concluyen que, si bien FootsiesGym es más complejo que los benchmarks de pequeña escala y menos complejo que los luchadores comerciales, proporciona una plataforma única y eficiente en recursos para abordar preguntas abiertas sobre el descubrimiento de estrategias, el compromiso entre habilidad y atractivo, y la escalabilidad de la estimación de la explotabilidad.