Technische Samenvatting: FootsiesGym

Probleemstelling

Voortgang in multi-agent en speltheoretisch reinforcement learning (RL) wordt momenteel belemmerd door een gebrek aan benchmarks die een balans vinden tussen structurele complexiteit en computationele behapbaarheid. Bestaande omgevingen neigen naar twee extremen:

1. Kleinschalige theoretische benchmarks (bijv. Kuhn Poker, Goofspiel): Deze vatten cyclische, mixed-strategy structuren samen en maken exacte berekeningen van exploitability mogelijk, maar missen de lange tijdshorizon, ruimtelijke dynamiek en exploratievereisten van rijkere spellen.
2. Grootschalige real-time omgevingen (bijv. StarCraft II, Dota 2): Deze bezitten diepe complexiteit en lange tijdshorizons, maar vereisen aanzienlijke computationele middelen en tijd voor training, wat snelle iteratie en analyse bemoeilijkt.

Fighting games vormen een potentieel "middengemiddelde" vanwege hun real-time, ruimtelijke aard en de afhankelijkheid van niet-transitieve strategische interacties (vaak beschreven als een "steen-papier-schaar" dynamiek). Echter, standaard fighting games introduceren excessieve complexiteit, zoals lange combo-sequenties, die de strategische focus verschuiven van cyclische neutrale gameplay naar transitieve executiewedstrijden. Er is behoefte aan een omgeving die de neutral game isoleert—de fase waarin geen enkele speler een voordeel heeft en strategisch manoeuvreren plaatsvindt—terwijl deze eenvoudig genoeg blijft voor efficiënte analyse en training op standaard hardware.

Methodologie

De auteurs introduceren FootsiesGym, een open-source omgeving gebouwd op de minimalistische 2D fighting game Footsies van HiFight. De omgeving is ontworpen om de cyclische, niet-transitieve strategische interacties van de neutral play in fighting games te isoleren.

Omgevingsontwerp

• Kernmechanica: Het spel verwijdert health bars en combo's. Een ronde wordt pas verloren wanneer een speler wordt geraakt door een speciale aanval. Spelers kunnen maximaal drie keer blokkeren voordat ze een "guard break" oplopen.
• Actieruimte: De standaard actieruimte heeft grootte $|A|=6$ (NONE, BACK, FORWARD, ATTACK, BACK+ATTACK, FORWARD+ATTACK). Een "special-charge" modus breidt dit uit naar $|A|=9$ door discrete acties toe te voegen om de laadstatus te toggelen die vereist is voor speciale moves, wat de moeilijkheid van het ontdekken van deze moves door willekeurige exploratie aanpakt.
• Observaties: Agents ontvangen een 85-dimensionale (of 88-dimensionale met special-charge) gevectoriseerde observatie die de staat van beide spelers beschrijft. Cruciaal is dat agents geprivilegieerde zelf-features observeren (bijv. dash beschikbaarheid, laadprogressie) die niet aan de tegenstander worden getoond, wat informatie-asymmetrie nabootst.
• Beloningen: Het spel is zero-sum ($r_i = -r_{-i}$). Een terminale winst/verlies levert $\pm 10$ beloning op; timeouts leveren 0 op. Dichte beloningen zijn optioneel.
• Actievertraging (Action Delay): De omgeving ondersteunt configureerbare actievertragingen (frames tussen selectie en uitvoering). Deze parameter controleert de balans tussen reactief spel (lage vertraging) en predictief spel (hoge vertraging), wat degeneratieve puur reactieve strategieën voorkomt.

Implementatie

FootsiesGym maakt gebruik van een gevectoriseerde simulator gebouwd in C# binnen de Unity engine, ontkoppeld van de rendering loop voor headless training.

• Vectorisatie: Een enkele headless process stapt $K$ onafhankelijke game-instanties parallel door, geëxposeerd via een gRPC-poort.
• Doorvoer: Op een standaard 24-core workstation bereikt het systeem tot wel ~52.500 environment steps per seconde (met 4 gelijktijdige processen en 128 in-process omgevingen), wat zorgt voor high-throughput training toegankelijk op standaard hardware.
• API: Python-clients interageren via de PettingZoo API.

Experimentele Baselines

De auteurs hebben verschillende algoritmen getraind om de omgeving te benchmarken, waarbij zij opmerken dat deze naïef zijn afgesteld en geen definitieve implementaties zijn:

1. PPO (Proximal Policy Optimization): Twee varianten werden getest—één met een vaste entropie-coëfficiënt en één met een annealing schedule (PPO Sched.).
2. EMAgnet: Een policy gradient methode die reguleert richting een exponentieel voortschrijdend gemiddelde van de eigen gewichten.
3. PFSP (Prioritized Fictitious Self-Play): Een populatiegebaseerde aanpak die een reservoir van eerdere checkpoints bijhoudt en bij voorkeur tegenstanders samplet waar de huidige policy van verliest.

Alle agents gebruikten een 2-laags MLP over de observation space en werden getraind voor $2.5 \times 10^7$ stappen over vijf willekeurige seeds.

Belangrijkste Resultaten

Prestaties tegen Heuristieken

Tegen uniform-random en "no-op" (niet-aanvallende) tegenstanders bereikten alle policies winstpercentages van 85–95%. Naarmate de policies verbeterden, werden ze echter steeds reactiever en initieerden ze zelden een confrontatie met stationaire tegenstanders. Dit suggereert een mogelijke mismatch tussen het maximaliseren van winstpercentages en het creëren van boeiend AI-gedrag.

Benaderde Exploitability

Omdat exacte exploitability onhandelbaar is, trainden de auteurs benaderde best responses (met behulp van PPO) tegen de vaste checkpoints van de baseline policies.

• PFSP demonstreerde de hoogste robuustheid, waarbij het een positief rendement behaalde tegen alle andere algoritmen en het laagste verliespercentage had tegen best responses.
• EMAgnet vertoonde een disconnect: het behaalde positieve head-to-head returns tegen PPO-varianten, maar werd het meest consistent geëxploiteerd door toegewijde best responses.
• PPO Varianten: Presteerden ongeveer evenwaardig aan elkaar wat betreft exploitability.

Ontdekking van Special Attacks

Een kritieke bevinding was de moeilijkheid van het ontdekken van speciale aanvallen door willekeurige exploratie. In de standaardconfiguratie vereist het uitvoeren van een directionele speciale aanval een specifieke sequentie van 15 opeenvolgende stappen, een sequentie met een waarschijnlijkheid van $\approx 0,001\%$ onder een uniform random policy.

• Over alle algoritmen heen bleef het gemiddelde gebruik van speciale aanvallen nabij nul tijdens de training.
• De fixed-entropy PPO-policy leerde de move kortstondig voordat deze deze weer losliet, wat suggereert dat hoge entropie-regularisatie (vaak gunstig in kleine benchmarks) de ontdekking van complexe, hoogwaardige strategieën in deze omgeving kan voorkomen.

Betekenis en Bijdragen

Het artikel positioneert FootsiesGym als een productief middengemiddelde voor onderzoek in multi-agent RL en speltheorie. De significantie ligt in verschillende gebieden:

1. Isolatie van Neutral Play: Door het weglaten van combo's en health bars, isoleert de omgeving de cyclische, mixed-strategy dynamiek die inherent is aan de neutral play van fighting games, waardoor het geschikt is voor het bestuderen van niet-transitieve interacties.
2. Toegankelijkheid en Reproduceerbaarheid: In tegen tegenstelling tot platforms die propriëtaire games wrappen (bijv. FightingICE, DIAMBRA), is FootsiesGym volledig open-source met een gevectoriseerde simulator, wat high-throughput training mogelijk maakt op standaard werkstations zonder licentieproblemen.
3. Nieuwe Onderzoeksrichtingen:
   • Game-Theoretic Training: De omgeving dient als testbed voor populatiegebaseerde training (PSRO, PFSP) en regularisatiemethoden, die specifiek worden uitgedaagd om waardevolle maar moeilijk te ontdekken strategieën (zoals speciale aanvallen) te behouden die standaard regularisatie mogelijk onderdrukt.
   • Play-Style vs. Skill: De resultaten benadrukken een kloof tussen pure skill (exploitability minimalisatie) en "engaging" play. Policies die winstpercentages maximaliseren, kunnen overmatig passief worden, waardoor ze kernmechanica niet gebruiken of tegenstanders niet proactief confronteren.
   • Benaderde Exploitability: De omgeving biedt een gebalanceerde complexiteit voor het testen van benaderde methoden (zoals best-response training) waar exacte berekening onmogelijk is maar de schaal beheersbaar blijft.
   • Menselijke Evaluatie: De mogelijkheid om naar WebGL te exporteren faciliteert mens-tegen-AI experimenten en het verzamelen van imitation learning data om te evalueren of het gedrag van de AI als leuk of boeiend wordt ervaren.

De auteurs concluderen dat hoewel FootsiesGym complexer is dan kleine-schaal benchmarks en minder complex dan commerciële fighters, het een uniek, efficiënt platform biedt om openstaande vragen aan te pakken met betrekking tot strategie-ontdekking, de trade-off tussen skill en engagement, en de schaalbaarheid van exploitability-schatting.