Technische Samenvatting: Hoge Entropie-regularisatie leidt tot Symmetrie-equivariante Policies in Dec-POMDP's

Probleemstelling

Binnen coöperatieve Multi-Agent Reinforcement Learning (MARL) in Decentralized Partially Observable Markov Decision Processes (Dec-POMDP's) is een centrale uitdaging Zero-Shot Coördinatie (ZSC). Standaard trainingsmethoden, zoals Self-Play (SP), leiden agenten vaak naar specifieke coördinatieconventies die de inherente symmetrieën van de omgeving doorbreken. Hoewel deze policies hoge returns behalen wanneer ze worden gekoppeld aan kopieën van zichzelf (SP), falen ze catastrofaal wanneer ze worden gekoppeld aan onafhankelijk getrainde policies (Cross-Play of XP), zoals die getraind met verschillende random seeds of algoritmen. Deze incompatibiliteit ontstaat omdat verschillende trainingsruns mogelijk verschillende, onderling uitsluitende symmetrie-doorbrekende conventies kiezen (bijv. één agent kiest altijd actie A terwijl de andere actie B kiest, versus het omgekeerde).

Bestaande gespecialiseerde algoritmen (bijv. Other-Play, Off-Belief Learning) proberen symmetrie-equivariantie af te dwingen, maar vereisen vaak voorkennis van de symmetrieën van de omgeving of complexe algoritmische modificaties. Dit onderzoek onderzoekt of standaard policy gradient-methoden, specifiek Independent PPO (IPPO), op natuurlijke wijze symmetrie-equivariante policies kunnen leren via een specifieke hyperparameter-aanpassing: hoge entropie-regularisatie.

Methodologie

Theoretisch Kader

De auteurs analyseren de dynamica van de tabulaire softmax policy gradient ascent met entropie-regularisatie. Ze definiëren de entropie-geregulariseerde policy gradient flow voor een Dec-POMDP.

• Cruciaal onderscheid: Het papier maakt onderscheid tussen de gradiënt van de entropie-geregulariseerde objectief ($\nabla_\theta J^\alpha_{SP}$) en de entropie-geregulariseerde gradiënt van de standaard objectief ($\nabla^\alpha_\theta J_{SP}$). De laatste, die overeenkomt met de standaard PPO entropie-bonus, is het focuspunt van de theoretische analyse.
• Symmetrie-definities: Een Dec-POMDP symmetrie wordt gedefinieerd als een tuple van bijekties over staten, acties en observaties die de transitie-dynamica, beloningen en de initiële staatverdeling behouden. Een policy is symmetrie-equivariant als deze invariant blijft onder de werking van deze symmetrieën.
• Greedification: De auteurs stellen een post-training "greedification" stap voor, waarbij de geleerde stochastische policy wordt omgezet in een deterministische policy door de actie met de hoogste waarschijnlijkheid te selecteren (of een uniforme verdeling over gelijke acties).

Theoretische Bijdrage

Het papier bewijst Theorem 3.1, dat vaststelt dat voor elke Dec-POMDP met een tabulaire softmax parametrisatie, er een eindige entropie-drempel $\alpha'$ bestaat. Voor elke entropie-coëfficiënt $\alpha > \alpha'$:

1. Heeft de vectorveld van de entropie-geregulariseerde policy gradient een unieke nulpuntslocatie $\theta_\alpha$.
2. Dit unieke fixpunt komt overeen met een symmetrie-equivariante gezamenlijke policy.
3. De policy gradient flow convergeert naar dit unieke punt vanuit elke initialisatie.
4. Bijgevolg worden policies getraind met verschillende initialisaties (seeds) volledig compatibel, wat betekent dat hun Cross-Play (XP) returns gelijk zijn aan hun Self-Play (SP) returns.

De auteurs merken expliciet op dat dit resultaat niet geldt voor de gradiënt van de maximale entropie RL-objectief ($\nabla_\theta J^\alpha_{SP}$), waarbij ze een tegenvoorbeeld construeren waar hoge entropie leidt tot meerdere incompatibele maxima.

Empirische Aanpak

De auteurs evalueren hun theoretische voorspellingen met behulp van standaard Independent PPO (IPPO) in drie omgevingen:

1. Hanabi: Een coöperatief kaartspel met imperfecte informatie.
2. Overcooked: Een coöperatieve kooksimulatie.
3. Yokai: Een recent ontwikkelde omgeving voor het tracken van beliefs over ruimte en tijd.

Experimenteel Protocol:

• Hyperparameter Sweep: Ze trainen IPPO-agenten over een breed scala aan entropie-coëfficiënten ($\alpha$), aanzienlijk hoger dan typische waarden (bijv. tot 0.50 in Overcooked, vergeleken met de standaard 0.01–0.10).
• Evaluatie: Ze meten zowel de Self-Play (SP) als de Cross-Play (XP) returns. Cruciaal is dat ze zowel de ruwe stochastische policies ("non-greedy") als de gegreedificeerde deterministische policies ("greedy") evalueren.
• Architectuur: Experimenten maken gebruik van standaard architecturen inclusief Feed-Forward (FF), LSTM en een Public-Private LSTM (gebruikt voor de compatibiliteit met Off-Belief Learning).

Belangrijkste Resultaten

1. Convergentie naar Symmetrie-Equivariante Policies

De experimenten bevestigen de theoretische voorspelling: naarmate de entropie-coëfficiënt $\alpha$ toeneemt, wordt de kloof tussen SP en XP kleiner.

• Hanabi: Met een entropie-coëfficiënt van $\alpha = 0.05$ en een LSTM-architectuur bereiken de auteurs een inter-seed XP return van 24.45 (van het maximum van 25). Dit overtreft de vorige State-of-the-Art (SOTA) van 24.30 behaald door gespecialiseerde algoritmen zoals Off-Team Learning (OT-OBL).
• Overcooked: Het verhogen van $\alpha$ naar extreem hoge waarden (0.50) blijft de greedy XP verbeteren, waarbij SP en XP bijna identiek worden.
• Yokai: De entropie-drempel lijkt erg hoog te zijn; boven een bepaald punt worden de policies te willekeurig om effectief te leren, wat suggereert dat in bepaalde omgevingen de kosten van hoge entropie-regularisatie de voordelen voor coördinatie kunnen overstijgen.

2. De Rol van Greedification

Een cruciale bevinding is dat hoewel hoge entropie-regularisatie de stochastische policy dwingt om symmetrie-equivariant te zijn, de resulterende verwachte return van de stochastische policy laag kan zijn (naderend aan uniform willekeurig gedrag). Echter, de gegreedificeerde versie van deze policies behoudt de symmetrie-equivariante eigenschap terwijl zij hoge returns herstelt.

• In Hanabi en Overcooked is de greedy XP van hoge-entropie policies aanzienlijk hoger dan de non-greedy XP en overtreft het vaak de prestaties van lage-entropie policies.
• Dit suggereert een trainingsrecept: train met hoge entropie om symmetrie-equivariantie te garanderen, en pas vervolgens greedification toe voor implementatie.

3. Architectuurgevoeligheid

De vereiste entropie-drempel hangt af van de policy-architectuur.

• LSTM vs. FF: In Hanabi vereisen Feed-Forward (FF) netwerken aanzienlijk hogere entropie-coëfficiënten om compatibiliteit te bereiken vergeleken met LSTM-netwerken. De auteurs interpreteren dit als het feit dat FF-netwerken geen geheugen hebben, waardoor ze gedwongen worden te vertrouwen op zeer gespecialiseerde, fragiele conventies om te communiceren, wat hoge entropie helpt te ontbinden.

4. Beperkingen

Het papier erkent dat hoge entropie-regularisatie geen universeel wondermiddel is.

• Suboptimale Equivariantie: In bepaalde omgevingen (bijv. een aangepaste "cat/dog" game en de "Yokai" omgeving), zorgt hoge entropie ervoor dat er geconvergeerd wordt naar een symmetrie-equivariante policy, maar niet noodzakelijkerwijs naar de optimale policy. In deze gevallen vereist de optimale symmetrie-equivariante policy deterministische acties die door hoge entropie-regularisatie worden onderdrukt, wat leidt tot suboptimale prestaties zelfs na greedification.
• Bias in Advantage Schattingen: Het gebruik van Generalized Advantage Estimation (GAE) met een lage $\lambda_{GAE}$ (hoge bias) kan symmetrie-doorbrekend gedrag opnieuw introduceren, zelfs met hoge entropie.

Betekenis en Claims

Het papier claimt dat standaard policy gradient-methoden "veel krachtiger" zijn voor Zero-Shot Coördinatie dan voorheen aangenomen, mits:

1. De entropie-coëfficiënten over een veel groter bereik worden gesweept dan gebruikelijk (vaak een orde van grootte hoger).
2. Evaluatie inclusief Cross-Play (XP) metrieken is, en niet alleen Self-Play (SP) om symmetrie-doorbreking te detecteren.
3. Greedification wordt toegepast post-training om prestaties te herstellen terwijl compatibiliteit behouden blijft.

De auteurs betogen dat deze aanpak een eenvoudigere alternatief biedt voor gespecialiseerde ZSC-algoritmen, omdat het geen voorkennis van de symmetrieën van de omgeving vereist en standaard MARL-infrastructuur gebruikt. Hoewel ze toegeven dat in specifieke Dec-POMDP's de optimale symmetrie-equivariante policy via deze methode wellicht onleerbaar blijft, tonen de empirische resultaten in Hanabi en Overcooked aan dat hoge entropie-regularisatie via vanilla IPPO SOTA-prestaties kan bereiken in inter-seed coördinatie.

Het paper concludeert door de gemeenschap aan te sporen de standaard hyperparameter-ranges voor entropie in Dec-POMDP's te heroverwegen, en suggereert dat het "sweet spot" voor coördinatie vaak bij veel hogere entropie-waarden ligt dan die gebruikt worden voor het maximaliseren van single-seed SP returns.