Technische Samenvatting: EMAgnet

Probleemstelling

Recente vooruitgang in het oplossen van twee-speler zero-sum imperfecte-informatie games (IIG's) heeft aangetoond dat geregulariseerde policy gradient-methoden, zoals Proximal Policy Optimization (PPO), de gespecialiseerde speltheoretische algoritmen kunnen evenaren of overtreffen wanneer ze in self-play worden gebruikt. Een cruciale ontwerpbeslissing in dit framework is de keuze van het regularisatietarget. De uniforme verdeling is een standaardtarget geworden, geïmplementeerd via een entropiebonus. Echter, het uniforme target is strategisch agnostisch; het regulariseert de policy evenveel richting alle acties, ongeacht hun levensvatbaarheid.

In games met grote strategieruimtes die veel strikt gedomineerde strategieën (suboptimale opties) bevatten, verspilt het uniforme target het regularisatiebudget aan irrelevante strategieën. Deze beperking wordt steeds consequenter naarmate de complexiteit van het spel groeit en het aandeel strategisch relevante strategieën krimpt. Bovendien worden bestaande benaderingen die gebruikmaken van geanneleerde uniforme regularisatie geconfronteerd met een dilemma: sterke vroege regularisatie dwingt de policy naar gedomineerde strategieën, terwijl zwakke regularisatie in de latere fase onvoldoende druk biedt om strategische mixing te stimuleren, wat vaak leidt tot convergentie op pure strategieën in plaats van Nash-evenwichten.

Methodologie

De auteurs introduceren EMAgnet, een methode die het concept van een "moving magnet" regularisatietarget uit tabulaire settings uitbreidt naar deep reinforcement learning. In plaats van te regulariseren naar een vaste uniforme verdeling, regulariseert EMAgnet naar een Exponential Moving Average (EMA) van de eigen netwerkparameters van de policy.

Kernmechanisme

De methode bouwt voort op PPO in symmetrische self-play. De standaard PPO-objective wordt uitgebreid met een Kullback-Leibler (KL) divergentieterm die de huidige policy-parameters ($\theta$) naar een "magneet"-policy ($\theta_{mag}$) trekt:

$$L_{PPO-EMAg}(\theta) = L_{PPO}(\theta) + \lambda_{KL} \mathbb{E}_{z \sim \mathcal{T}} \left[ D_{KL}(\pi_{\theta_{mag}}(\cdot | z) \parallel \pi_{\theta}(\cdot | z)) \right]$$

De magneetparameters worden na elke PPO-stap bijgewerkt met behulp van een rekenkundig gemiddelde in de parameterruimte:
$$\theta_{mag} \leftarrow (1 - \tau) \theta_{mag} + \tau \theta$$
waarbij $\tau \in (0, 1]$ de stapgrootte is. De magneet wordt geïnitialiseerd met dezelfde willekeurige gewichten als de policy.

Adaptieve Eigenschappen

De belangrijkste innovatie is de adaptieve aard van het target:

1. Slechte strategieën vergeten: Naarmate de policy leert om strikt gedomineerde strategieën te vermijden, stopt de EMA-magneet geleidelijk met het regulariseren naar deze strategieën omdat de gewichten van de policy deze acties niet langer ondersteunen.
2. Goede strategieën onthouden: De EMA accumuleert van nature een gladgestreken mix over de strategieën die tijdens de self-play cycli zijn tegengekomen. Dit moedigt de policy aan om dekking te behouden over strategisch relevante opties.
3. Constante Sterkte: In tegenstelling tot geanneleerde uniforme regularisatie blijft de KL-regularisatiesterkte ($\lambda_{KL}$) constant, maar evolueert het target. Dit voorkomt het "dilemma" waarbij sterke regularisatie exploratie van slechte strategieën afdwingt of zwakke regularisatie faalt om instorting naar pure strategieën te voorkomen.

Belangrijkste Bijdragen

1. Algoritmische Uitbreiding: Het paper breidt het tabulaire moving magnet-concept (voorheen onderzocht door Sokota et al.) uit naar deep RL door een parameter-ruimte EMA van de policy-gewichten te implementeren als het regularisatietarget.
2. Adaptieve Regularisatie: De methode biedt een adaptief regularisatietarget dat evolueert met de verbeterende strategie van de agent, wat het onderscheidt van vaste targets zoals de uniforme verdeling.
3. Empirische Evaluatie: De auteurs evalueren PPO-EMAg tegenover PPO self-play met uniforme-magneet regularisatie (gebruikmakend van zowel lineaire als power-law annealing schema's) over drie categorieën games:
   • Standaard benchmarks (Biased RPS, Goofspiel-4, Kuhn Poker).
   • Gemodificeerde benchmarks met een enkele strikt gedomineerde "forfeit" actie (FF varianten).
   • Gemodificeerde benchmarks waar het overgrote deel van de strategieruimte gedomineerd is via gridworld navigatie-taken (Control varianten).

Resultaten

De evaluatie laat zien dat PPO-EMAg een lagere exploitability bereikt dan uniforme baselines in omgevingen die strikt gedomineerde strategieën bevatten, terwijl het competitief blijft in standaard benchmarks.

• Standaard Games: In Biased RPS, Goofspiel-4 en Kuhn Poker is PPO-EMAg competitief met de baselines, waarbij de EMA-magneet policy vaak de laagste uiteindelijke exploitability bereikt.
• Forfeit (FF) Games: In games die zijn uitgebreid met een strikt gedomineerde forfeit-actie, presteert PPO-EMAg significant beter dan uniforme baselines. Het uniforme magnet blijft gedurende de training regulariseren naar de forfeit-actie, terwijl de EMA-magneet zich aanpast om de regularisatie naar deze actie te verminderen naarmate de policy leert deze te vermijden.
• Control Games: In omgevingen waar de meeste strategieën strikt gedomineerd zijn (door navigatiefouten), vertoont PPO-EMAg superieure prestaties en een aanzienlijk snellere convergentie.
  • In Control Biased RPS faalt de uniforme lineaire annealing om ongeveer 7 miljoen stappen lang te leren voordat het laat in de training een sprong maakt, terwijl PPO-EMAg convergeert binnen 2 miljoen stappen.
  • In Control Goofspiel verbetert de uniforme lineaire annealing nauwelijks over 6 miljoen stappen, terwijl PPO-EMAg veel eerder een lage exploitability bereikt.
• Trajectanalyse: Visualisaties van policy-trajecten in de strategie-simplex onthullen dat uniforme annealing ervoor zorgt dat policies vroeg in de training vast komen te zitten op gedomineerde strategieën of laat in de training instorten naar pure strategieën. PPO-EMAg vermijdt dit door geleidelijk massa op gedomineerde acties te verminderen terwijl de mixing-druk behouden blijft, waardoor de policy nabij het Nash-evenwicht kan cyclen.

Betekenis en Claims

Het paper claimt dat EMAgnet een eenvoudige maar effectieve methode biedt voor het aanpassen van regularisatietargets aan de evoluerende strategie van een agent in grote games. Door te regulariseren naar een parameter-ruimte EMA van de eigen gewichten van de policy, vermijdt de methode de valkuilen van uniforme regularisatie in games met een groot aantal strikt gedomineerde strategieën.

De auteurs stellen dat naarmate games complexer worden, het aandeel van de strategieruimte dat strategisch relevant is, de neiging heeft te krimpen. In dergelijke scenario's brengt het toewijzen van een regularisatiebudget aan suboptimale opties een toenemende kost met zich mee. EMAgnet adresseert dit door "slechte strategieën te vergeten" terwijl het "goede strategieën onthoudt", waarbij slechts één enkele EMA-update per trainingsstap nodig is naast de standaard PPO-loop. Het paper concludeert dat hoewel PPO-EMAg competitief is op standaard benchmarks, het primaire voordeel ligt in games met een hoge dichtheid aan gedomineerde strategieën, waar het snellere convergentie en een lagere uiteindelijke exploitability mogelijk maakt vergeleken met geanneleerde uniforme regularisatie.