💻 computer science

Expected Return Symmetries

Dit artikel introduceert "verwachte rendementssymmetrieën", een bredere klasse van symmetrieën die traditionele omgevingssymmetrieën omvat, waardoor agenten in gedecentraliseerde multi-agent-omgevingen superieure zero-shot coördinatie kunnen bereiken zonder voorafgaande kennis van de grondwaarheidssymmetrieën te vereisen.

Oorspronkelijke auteurs: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Linkshandige" vs. "Rechtshandige" Dilemma

Stel je twee robots voor die afzonderlijk zijn getraind om een coöperatief spel te spelen, zoals een hoogwaardige versie van Hanabi (een kaartspel waarbij je je eigen kaarten niet kunt zien) of Overcooked (een chaotische kooksimulator). Ze zijn allebei briljant in het spel wanneer ze met zichzelf spelen.

Echter, wanneer je Robot A koppelt aan Robot B voor de allereerste keer, falen ze jammerlijk. Waarom?

Omdat ze tijdens hun solo-training per ongeluk hun eigen geheime talen hebben uitgevonden.

Robot A leerde dat als de andere speler een kaart neerlegt, dit betekent: "Ik ben blij."
Robot B leerde dat dezelfde actie betekent: "Ik ben boos."

In termen van het paper wordt dit mutually incompatible symmetry breaking genoemd. De robots vonden een oplossing die voor hen individueel wel werkte, maar omdat ze het niet eens waren over welke versie van de oplossing ze moesten gebruiken, zijn ze als twee mensen die elkaar de hand willen schudden, maar de één biedt zijn linkerhand aan en de ander zijn rechterhand. Ze zijn beiden "correct" in hun eigen geest, maar ze kunnen niet coördineren.

De Oude Oplossing: "Other-Play" (De Regelboek-aanpak)

Voorheen probeerden onderzoekers dit op te lossen door robots te leren de symmetrieën van de omgeving te respecteren.

Beschouw de spelomgeving als een kamer met vier identieke deuren. Als je door de Noordelijke deur loopt, krijg je een beloning. Als je door de Zuidelijke deur loopt, krijg je exact dezelfde beloning. De kamer is "symmetrisch".

De Oude Methode: De onderzoekers zeiden tegen de robots: "Hé, Noord en Zuid zijn hetzelfde. Onthoud niet alleen 'Noord is goed'. Onthoud 'Elke deur die op Noord lijkt, is goed'."
De Beperking: Dit werkt goed voor duidelijke zaken zoals kleuren of richtingen. Maar het faalt wanneer de "gelijkheid" niet gaat over de lay-out van de kamer, maar over de strategie zelf. Het is alsoals zeggen tegen de robots: "Het maakt niet uit of je een rode of een blauwe hoed draagt," maar vergeten te beseffen dat het dragen van een specifiek type hoed soms de enige manier is om aan een partner te signaleren: "Ik ben klaar om te koken."

De Nieuwe Oplossing: "Expected Return Symmetries" (De "Wat Werkt"-aanpak)

De auteurs van dit paper stellen een slimmere manier voor om deze verborgen verbanden te vinden. In plaats van naar de regels van de kamer te kijken (de omgeving), kijken ze naar de resultaten (de beloningen).

Ze introduceren het concept Expected Return Symmetries.

De Analogie: De "Magische Spiegel"
Stel je voor dat je een magische spiegel hebt. Als je voor de spiegel staat en een specifieke dansbeweging doet, krijg je een gouden ster.

Oude Visie: De spiegel reflecteert alleen dingen die er exact hetzelfde uitzien (bijv. als jij je linkerhand opsteekt, steekt de reflectie de rechterhand op).
Nieuwe Visie (Expected Return): De spiteit is slimmer. De spiegel vraagt: "Als ik jouw dansbeweging verander naar iets totaal anders, krijg je dan nog steeds een gouden ster?"

Als het antwoord ja is, dan zijn die twee verschillende dansbewegingen volgens het paper "symmetrisch". Ze kunnen er totaal verschillend uitzien, maar ze leiden tot hetzelfde succes.

Het paper betoogt dat door robots te trainen om deze "resultaat-gebaseerde" symmetrieën te herkennen, ze veel flexibeler worden. Ze leren dat "Actie X" en "Actie Y" uitwisselbaar zijn omdat ze beide leiden tot een gelukkig resultaat, zelfs als de spelregels niet expliciet zeggen dat ze hetzelfde zijn.

Hoe Ze Het Deden (De "Trial and Error"-machine)

Het paper raadt deze symmetrieën niet gewoon aan de hand van gissingen; ze bouwden een methode om ze automatisch te vinden.

De Pool van Experts: Ze trainden eerst een heleboel robots om experts te worden in het spel (met behulp van een methode genaamd Self-Play).
Het Schudspel: Vervolgens namen ze deze expert-robots en begonnen ze hun gedragingen te "shuffelen". Ze probeerden acties te wisselen, observaties te veranderen en strategieën te mengen.
De Scorehouder: Ze vroegen: "Als we de strategie van Robot A wisselen met de strategie van Robot B, halen ze dan nog steeds die hoge score?"
- Als de score hoog blijft, is die wissel een geldige "Expected Return Symmetry".
- Als de score instort, is die wissel slecht.
Het Resultaat: Ze vonden een set "magische wissels" die het succes van het spel behouden. Vervolgens leerden ze nieuwe robots om deze wissels te gebruiken tijdens de training.

De Resultaten: Waarom het Ertoe Doet

Het paper testte dit op drie verschillende scenario's:

Een Simpel Hendelspel: Een basis coördinatietaak.
Overcooked V2: Een complex kookspel waarbij timing en communicatie cruciaal zijn.
Hanabi: Een zeer moeilijk kaartspel met verborgen informatie.

De Bevindingen:

Robots die getraind zijn met deze nieuwe "Expected Return"-methode coördineerden aanzienlijk beter met vreemden dan robots die getraind zijn met de oude "Environment Symmetry"-methode.
In het Overcooked-spel verminderde de nieuwe methode de kloof tussen "spelen met jezelf" en "spelen met een vreemde" met een enorme marge.
In Hanabi, wat berucht moeilijk is voor AI om op te coördineren, presteerde de nieuwe methode beter dan de vorige state-of-the-art methoden, ook al had de nieuwe methode geen "spiekbriefje" van de spelregels (zoals weten dat Rood en Blauw slechts kleurwisselingen zijn).

De Kern van het Verhaal

Het paper beweert dat om AI-agenten goed samen te laten werken zonder voorafgaande coördinatie, we ze niet alleen de regels van het spel moeten leren. In plaats daarvan moeten we ze leren te herkennen welke verschillende gedragingen leiden tot hetzelfde succes.

Door de focus te leggen op de uitkomst (de expected return) in plaats van alleen op de input (de lay-out van de omgeving), leren de robots een bredere, flexibelere set "geheime handdrukken". Dit stelt hen in staat om zich veel sneller en effectiever aan te passen aan nieuwe partners, waardoor het "linkshand vs. rechtshand"-probleem dat de multi-agent AI al jaren achtervolgt, wordt opgelost.

Technische Samenvatting: Verwachte Opbrengst Symmetrieën

Probleemstelling
In coöperatief multi-agent reinforcement learning (MARL) is een fundamentele uitdaging Zero-Shot Coördinatie (ZSC): het vermogen van agenten die onafhankelijk zijn getraind om effectief te coördineren met nieuwe partners tijdens de testfase zonder voorafgaande communicatie. Een primaire faalmodus in ZSC is wederzijds incompatibele symmetrie-doorbreking. Wanneer agenten in isolatie trainen, kunnen ze convergeren naar equivalente maar incompatibele beleidsregels (bijv. het ene team spreekt af om "spelen" te signaleren met de kleur blauw, terwijl een ander rood gebruikt).

Bestaande oplossingen, zoals de Other-Play (OP) doelstelling, pakken dit aan door compatibiliteit af te dwingen tussen beleidsregels die equivalent zijn onder Dec-POMDP symmetrieën (herlabelingen van toestanden, acties en observaties die de transitie- en beloningsfuncties invariant laten). Deze aanpak heeft echter twee beperkingen:

Coördinatiefalen: Symmetrie-doorbreking in de omgeving is slechts één type coördinatiefout. Agenten kunnen nog steeds over-coördineren door te specifieke conventies te vormen, zelfs in de afwezigheid van niet-triviale Dec-POMDP symmetrieën.
Toegankelijkheid van Symmetrieën: Huidige methoden vereisen a priori kennis van de symmetrieën van de omgeving. Het automatisch ontdekken van deze symmetrieën in grootschalige Dec-POMDP's is vaak computationeel onhaalbaar, en veel methoden vertrouwen op geprivilegieerde informatie (bijv. grondwaarheid over dynamiek of symmetriegroepen) die niet beschikbaar is in real-world settings.

Methodologie
Het artikel introduceert Verwachte Opbrengst (ER) Symmetrieën, een bredere klasse van symmetrieën die Dec-POMDP symmetrieën bevat als een deelgroep.

Definitie: Een transformatie $\phi$ is een ER-symmetrie als deze de verzameling van self-play optimale Boltzmann-exploratieve beleidsregels ( $\Pi^*_\alpha$ ) behoudt. Specifiek: $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ . In tegen af van Dec-POMDP symmetrieën, die invariantie van de transitie- en beloningsfuncties vereisen, vereisen ER-symmetrieën alleen dat de transformatie optimale beleidsregels naar andere optimale beleidsregels mapt (het behouden van de verwachte opbrengst).
Theoretische Eigenschappen: De auteurs bewijzen dat $\Phi_{ER}$ een groep vormt onder functiecompositie. Cruciaal is dat $\Phi_{ER}$ in veel gevallen een strikte bovengroep is van Dec-POMDP symmetrieën, waarbij coördinatieverschillen worden gevangen op basis van strategie in plaats van enkel labelpermutaties.
Leeralgoritme: Omdat $\Phi_{ER}$ $Φ_{E R}$ niet a priori bekend is, stelt het artikel schaalbare methoden voor om benaderde ER-symmetrieën te leren met behulp van gradient-gebaseerde optimalisatie, zonder toegang tot de grondwaarheid van symmetrieën of de dynamiek van de omgeving.
- Doelstelling 1 (Opbrengstbehoud): Maximaliseer de verwachte opbrengst van getransformeerde beleidsregels: $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ , waarbij $\Pi'$ een pool van self-play optimale beleidsregels is.
- Doelstelling 2 (Compositionaliteit & Inverteerbaarheid): Een geregulariseerde doelstelling wordt geïntroduceerd om te waarborgen dat de geleerde transformaties een groep vormen (het afdwingen van afsluiting en inverteerbaarheid) door afwijkingen van de identiteit na dubbele toepassing te bestraffen en de opbrengsten onder gecomponeerde transformaties te maximaliseren.
- Doelstelling 3 (Cross-Play Maximalisatie): Een alternatieve aanpak optimaliseert direct voor de cross-play prestaties tussen paren van beleidsregels.
- De methode gaat uit van minimale structuur: het fixeert de toestandstransformatie als identiteit en leert observatie- en actietransformaties (vaak via een zoektocht naar actiepermutaties en neurale netwerken voor observaties).

Kernbijdragen

Definitie van ER Symmetrieën: Het artikel definieert een nieuwe symmetriegroep gebaseerd op het behoud van verwachte opbrengsten voor optimale beleidsregels, die traditionele Dec-POMDP symmetrieën omvat.
Model-vrije Ontdekking: De auteurs introduceren algoritmen om deze symmetrieën puur te leren uit interacties tussen agent en omgeving, zonder dat hiervoor geprivilegieerde informatie over de structuur of dynamiek van de omgeving nodig is.
Verbeterde ZSC Prestaties: Het artikel demonstreert dat het combineren van de OP-leersregel met geleerde ER-symmetrieën de standaard self-play en OP met Dec-POMDP symmetrieën aanzienlijk overtreft in het voorkomen van over-coördinatie.
Robuustheid in Uitdagende Settings: De methode slaagt in omgevingen waar state-of-the-art methoden zoals Off-Belief Learning (OBL) en Cognitieve Hiërarchieën falen (bijv. specifieke lever-games en Overcooked V2).

Experimentele Resultaten
De auteurs evalueren hun methode over vier omgevingen:

Iterated Three-Lever Game: In deze setting komen ER-symmetrieën overeen met Dec-POMDP symmetrieën, en de methode slaagt erin de optimale ZSC-beleidsregel te herstellen.
Toy Coordination Game: De methode herstelt succesvol een niet-triviale ER-symmetrie (een actiewissel) die geen Dec-POMDP symmetrie is, wat het vermogen aantoont om symmetrieën buiten de traditionele groep te ontdekken.
Overcooked V2: In deze asymmetrische, stochastische benchmark bereikten agenten die geleerde ER-symmetrieën gebruikten een gemiddelde cross-play (XP) score van 15.8, wat de self-play baseline (6.74) aanzienlijk overtrof en de variantie in coördinatie-uitkomsten verminderde.
Hanabi: In dit complexe kaartspel behaalden agenten met 11 geleerde ER-symmetrieën een gemiddelde XP-score van 21.64, wat zowel de standaard IPPO-baseline (4.02) als de door alle 120 bekende Dec-POMDP symmetrieën beperkte IPPO-baseline (8.61) overtreft. De resultaten wijzen erop dat ER-symmetrieën optimaliteit beter behouden terwijl ze compatibiliteit afdwingen.

Betekenis en Claims
Het artikel beweert dat Expected Return Symmetries een significante vooruitgang vertegenwoordigen in ZSC door:

Symmetrie te Generaliseren: Verder gaan dan rigide omgevingsinvarianties naar een flexibelere, beleidsgecentreerde definitie van symmetrie die de diversiteit van optimale strategieën beter adresseert.
Geprivilegieerde Informatie te Elimineren: De eerste symmetrie-gebaseerde methode te zijn die ZSC verbetert zonder a priori kennis van symmetrieën of dynamiek te vereisen, waardoor het toepasbaar is in situaties waar dergelijke informatie niet beschikbaar is.
Coördinatiefalen op te Lossen: Een oplossing te bieden voor over-coördinatie die effectief is, zelfs in omgevingen waar voorgaande symmetrie- of diversiteitsgebaseerde methoden (zoals OBL) falen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de expressiviteit van de zoekruimte (beperkt tot bijeenfuncties op actie/observatieruimtes) mogelijk niet voldoende is voor alle omgevingen (bijv. de two-lever game variant) en dat het succes van de methode afhangt van de kwaliteit van de beleidsregels die worden gebruikt om de symmetrieën te leren.