Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

1. Probleemdefinitie

Het artikel adresseert een kritieke beperking in Multi-Agent Reinforcement Learning (MARL) die bekendstaat als Zero-Shot Coordination (ZSC).

• De Kernkwestie: Traditionele MARL-agenten, getraind via Self-Play, ontwikkelen vaak specifieke conventies of strategieën die falen wanneer ze worden gekoppeld aan agenten die zijn getraind onder dezelfde doelstellingen maar met verschillende random seeds, algoritmen of trainingsgeschiedenissen.
• Het Gat: Bestaande ZSC-oplossingen (zoals Other-Play, TrajeDi, MAZE) gaan ervan uit dat alle agenten een identieke beloningsfunctie delen. Echter, in real-world scenario's (bijvoorbeeld autonome voertuigen van verschillende fabrikanten) kunnen agenten een spaarzaam doel delen (bijvoorbeeld "bereik de bestemming") maar verschillende reward shapings gebruiken (verschillende gewichten toegekend aan omgevingskenmerken om de spaarzame beloning te verdichten).
• De Uitdaging: Hoe train je een agent om effectief samen te werken met onbekende partners die dezelfde spaarzame doelen hebben maar verschillende interne beloningsstructuren, zonder extra training op de specifieke partner?

2. Methodologie

De auteurs stellen een kader voor dat een ensemble van agenten traint met behulp van diverse reward shapings om generalisatie te verbeteren.

A. Formulering van Reward Shaping

De auteurs definiëren reward shaping als een gewogen combinatie van omgevingskenmerken die wordt toegevoegd aan een basis spaarzame beloning:
$$R(s_t, a_t) = \text{sparse}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$$
Waarbij $w_k$ gewichten zijn die zijn geselecteerd voor specifieke kenmerken $f_k$ (bijvoorbeeld afstand tot een pan, het oppakken van een bord).

B. Vier Selectiealgoritmen

Om een populatie van diverse reward shapings ($P$) te genereren, introduceert het artikel vier selectiemethoden:

1. LLM-gebaseerd: Gebruikt een LLM (Claude Sonnet 4.5) die wordt geprompt met voorbeelden van reward shapings en hun prestaties om nieuwe, diverse sets gewichten te genereren die prestaties en policy-diversiteit in evenwicht brengen.
2. Surrogaatnetwerk: Traint een Multi-Layer Perceptron (MLP) om de totale spaarzame beloning te voorspellen op basis van een gegeven reward shaping. Vervolgens worden 1.000 willekeurige shapings gesampled en worden de best presterende geselecteerd op basis van de voorspellingen van het surrogaat.
3. Gestratificeerd Rooster: Gebruikt Latin Hypercube Sampling om ervoor te zorgen dat de geselecteerde gewichten het volledige mogelijke bereik (0–10) gelijkmatig bestrijken. Dit garandeert statistische representativiteit van de beloningsruimte.
4. Willekeurig: Samplet uniform gewichten uit het mogelijke bereik zonder beperkingen.

C. Ensemble Trainingskader

Opgebouwd op het TrajeDi (Trajectory Diversity) algoritme:

1. Populatiegeneratie: Voor elke geselecteerde reward shaping wordt een populatie van agenten getraind met TrajeDi, wat een Jensen-Shannon Divergentie-term bevat om policy-diversiteit binnen de populatie te stimuleren.
2. Ensembleconstructie: De uiteindelijke agent is een ensemblemodel dat bestaat uit de "Best Response" (BR)-agenten van elk van de $P$ getrainde populaties.
3. Actiekeuze: Het ensemble selecteert de actie die de modus (meest frequente keuze) is onder alle BR-agenten in het ensemble.

3. Belangrijkste Bijdragen

1. Nieuwe Probleemformulering: Breidt ZSC uit naar scenario's waarbij partners identieke spaarzame doelstellingen hebben maar verschillende reward shapings, een realistischere beperking dan eerder in de literatuur werd aangenomen.
2. Vier Selectiemethoden: Introduceert en evalueert vier verschillende algoritmen (LLM, Surrogaat, Gestratificeerd Rooster, Willekeurig) voor het genereren van diverse reward shapings.
3. Ensemble Kader: Stelt een methode voor om modellen die zijn getraind op verschillende reward shapings te combineren tot één robuust beleid.
4. Empirische Validatie: Demonstreert dat diversiteit in reward shapings, niet alleen policy-diversiteit, cruciaal is voor generalisatie in ZSC.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in de Overcooked-omgeving (specifiek Random0_Medium, Random3 en Unident_S) tegen partners die waren getraind met onbekende reward shapings met behulp van standaard MAPPO.

• Prestatiewinst:

  • De voorgestelde methoden presteerden aanzienlijk beter dan baseline ZSC-algoritmen (inclusief standaard TrajeDi en Hidden-Utility Self-Play).
  • Verbeteringsbereik: Verbeteringen in spaarzame beloning varieerden van 62,2% tot 119,2% ten opzichte van baseline-algoritmen.
  • Toppresteerders: Gestratificeerd Rooster en Surrogaatnetwerk behaalden consistent de beste resultaten.
    • Gestratificeerd Rooster: Bereikte de hoogste generalisatie, waarschijnlijk vanwege de gelijkmatige bestrijking van de beloningsruimte.
    • Surrogaatnetwerk: Presteerde uitzonderlijk goed ondanks lagere diversiteit, wat suggereert dat het selecteren van hoogpresterende shapings belangrijker is dan pure willekeur.
  • Ensemble-effect: De ensemble-aanpak zelf leverde een verbetering van 40–70% op ten opzichte van niet-ensemble baselines.
  • LLM-gebaseerd: Toonde sterke prestaties maar was iets minder consistent dan Gestratificeerd Rooster.
  • Willekeurig: Presteerde beter dan baselines (+27% tot +51%) maar was de zwakste van de voorgestelde methoden, wat benadrukt dat ongestuurde diversiteit ontoereikend is.

• Diversiteit versus Prestaties:

  • Gestratificeerd Rooster had de hoogste reikwijdte (96,7%) en een hoge standaardafwijking.
  • Surrogaatnetwerk had de laagste standaardafwijking en reikwijdte, maar behaalde in sommige omgevingen de hoogste prestaties. Dit geeft aan dat de kwaliteit van de reward shaping (het vinden van hoogpresterende gewichten) soms de puur statistische diversiteit kan overstijgen.

5. Betekenis en Conclusie

• Realisme: Het artikel overbrugt de kloof tussen theoretische ZSC en implementatie in de realiteit, door te erkennen dat agenten uit verschillende bronnen hetzelfde doel waarschijnlijk op verschillende manieren zullen optimaliseren.
• Robuustheid: De ensemble-aanpak creëert agenten die bestand zijn tegen het "conventie-mismatch"-probleem en direct kunnen samenwerken met onbekende partners.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zich moet richten op het hybridiseren van methoden (bijvoorbeeld het gebruik van de prestatiefocus van het Surrogaatnetwerk met de diversiteitsbeperkingen van het Gestratificeerde Rooster) en het uitbreiden naar complexere omgevingen.

Kortom, het artikel bewijst dat het trainen van agenten op een diverse set reward shapings en het combineren daarvan via een ensemble een zeer effectieve strategie is om robuuste Zero-Shot Coordination te bereiken in omgevingen met spaarzame beloningen.