The Yokai Learning Environment: Tracking Beliefs Over Space and Time

Dit paper introduceert het Yokai Learning Environment (YLE), een uitdagende nieuwe benchmark voor zero-shot coördinatie die de beperkingen van de bestaande Hanabi-benchmark blootlegt door te vereisen dat agenten geloofsoverdracht, ambiguïteit en spelbeëindiging beheren, waardoor wordt aangetoond dat huidige toonaangevende methoden in YLE falen terwijl ze in Hanabi uitstekend presteren.

De kern

Hier is een uitleg van het onderzoek, vertaald naar eenvoudig Nederlands met behulp van creatieve vergelijkingen.

De Kern: Een Nieuw Spel voor Slimme Robots

Stel je voor dat je twee robots wilt trainen om samen een puzzel op te lossen, maar ze mogen nooit met elkaar praten. Ze moeten gewoon "weten" wat de ander denkt en doet. Dit noemen onderzoekers Zero-Shot Coordination (samenwerken zonder vooraf te oefenen).

Voorheen gebruikten wetenschappers één specifiek spel om dit te testen: Hanabi. In dat spel is het een beetje als een kaartspel waarbij je je eigen kaarten niet ziet, maar die van je partner wel. De regels zijn streng: de hints die je geeft zijn altijd waar.

Het probleem? De robots zijn te goed geworden in Hanabi. Ze hebben de trucjes zo goed geleerd dat ze nu bijna perfect samenwerken, zelfs als ze nooit eerder met elkaar hebben geoefend. Het is alsof je een kind laat leren fietsen op een vlakke weg met een fiets met wieltjes; het lukt altijd, maar dat zegt niets over of ze ook op een steile heuvel kunnen rijden.

De oplossing: De auteurs van dit paper hebben een nieuw spel bedacht en gebouwd: Yōkai (gebaseerd op een bestaand bordspel). Ze noemen hun nieuwe testomgeving het Yōkai Learning Environment (YLE).

Waarom is Yōkai veel moeilijker? (De Vergelijking)

Om het verschil te begrijpen, laten we twee situaties vergelijken:

1. Het oude spel (Hanabi):

   • De situatie: Je zit aan een tafel. Je ziet de kaarten van je vriend, maar niet de jouwe.
   • De hint: Als je vriend zegt "Er is een blauwe kaart", dan is dat altijd waar.
   • De uitdaging: Het is alsof je een gesprek voert in een stilte waar iedereen eerlijk is.

2. Het nieuwe spel (Yōkai):

   • De situatie: Stel je een grote vloer voor met kaarten die overal liggen. Je ziet alleen de kaarten die je zelf raakt. Je ziet niet wat je vriend ziet.
   • De hint: Je kunt een hintkaart neerleggen met daarop "Blauw en Groen". Maar! Je vriend weet niet of je bedoelt "deze kaart is blauw" of "deze kaart is groen" of "er is ergens een blauwe kaart". De hint kan vaag zijn.
   • De beweging: De kaarten kunnen verplaatst worden. Als je vriend een kaart verplaatst, moet jij onthouden: "Ah, die kaart was eerst hier, nu is hij daar." Je moet je hersenen gebruiken om te onthouden waar alles is, terwijl het continu verandert.
   • De valstrik: Je kunt het spel vroegtijdig stoppen om een enorme prijs te winnen. Maar als je te vroeg stopt terwijl je nog niet zeker weet waar alle kaarten zijn, verlies je alles. Het is alsof je een gok doet: "Zijn we klaar?"

Wat hebben de robots geleerd?

De onderzoekers namen de slimste robots die Hanabi al hadden "gekraakt" en zetten ze in het nieuwe Yōkai-spel. Het resultaat was verrassend:

• In Hanabi: De robots werkten perfect samen.
• In Yōkai: Ze faalden. Ze konden niet goed samenwerken met robots die ze nog nooit hadden gezien.

Waarom?
In Hanabi hebben de robots een soort "geheime code" aangeleerd die werkt omdat de regels simpel zijn. In Yōkai is de wereld te chaotisch. De robots moeten niet alleen onthouden wat er gebeurt, maar ook redeneren over wat de ander denkt.

• Vergelijking: In Hanabi is het alsof je een dansstap leert die altijd werkt. In Yōkai moet je improviseren op een ijsbaan die continu van vorm verandert, terwijl je probeert te raden wat je danspartner gaat doen, zonder dat je hem kunt zien.

De Belangrijkste Les

De paper laat zien dat we niet blindelings kunnen vertrouwen op resultaten in één enkel spel (zoals Hanabi). Als een AI goed doet in één omgeving, betekent dat niet dat hij slim is in het algemeen.

Het nieuwe Yōkai-spel is als een zwemtest in de oceaan in plaats van in een zwembad. Het toont aan dat echte samenwerking vereist dat robots:

1. Een gemeenschappelijk beeld vormen van de wereld (wat weet ik? wat denkt hij?).
2. Om kunnen gaan met onduidelijke signalen.
3. Durven om een risicovolle beslissing te nemen (stoppen of doorgaan).

Conclusie

Dit onderzoek introduceert een nieuwe, zwaardere test voor kunstmatige intelligentie. Het bewijst dat de robots die we vandaag hebben, nog niet klaar zijn voor echte, complexe samenwerking met onbekende partners. Ze moeten nog leren om echt te "denken" over wat anderen denken, en niet alleen patronen te herkennen.

Kortom: Hanabi was de schoolbank; Yōkai is de echte wereld. En in de echte wereld is samenwerken veel lastiger dan het lijkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "The Y¯okai Learning Environment: Tracking Beliefs Over Space and Time" in het Nederlands.

Probleemstelling

Coöperatieve kunstmatige intelligentie (AI) staat voor de uitdaging om samen te werken met onbekende partners zonder voorafgaande training samen. Dit wordt bestudeerd onder het concept Zero-Shot Coordination (ZSC). Het huidige de facto-benchmark voor ZSC is het Hanabi Learning Environment (HLE). Hoewel HLE succesvol is geweest, hebben recente algoritmen (zoals High-Entropy IPPO en Other-Play) bijna perfecte prestaties bereikt bij kruisbestuiving tussen verschillende seeds (inter-seed cross-play). Dit betekent dat HLE verzadigd is en niet langer geschikt is om de voortgang van nieuwe algoritmen te testen of om de complexiteit van menselijke samenwerking volledig te modelleren.

De kern van het probleem is dat HLE te beperkt is in zijn vereisten voor Theory of Mind (ToM):

1. In Hanabi zijn hints altijd waarheidsgetrouw.
2. Beliefs (overtuigingen) zijn gekoppeld aan vaste handplekken.
3. Er is geen beslissing nodig om het spel voortijdig te beëindigen.

De auteurs stellen dat er een nieuwe benchmark nodig is die dynamischere uitdagingen biedt, zoals het bijhouden van overtuigingen over bewegende objecten, het interpreteren van ambiguïteit en het nemen van risicovolle beslissingen.

Methodologie: Het Y¯okai Learning Environment (YLE)

De auteurs introduceren het Y¯okai Learning Environment (YLE), een open-source multi-agent versterkingsleer (RL) benchmark gebaseerd op het coöperatieve kaartspel Y¯okai.

Kernkenmerken van YLE:

• Dynamische Ruimtelijke Structuur: Kaarten bewegen over een rooster. Agents moeten de locatie en kleur van kaarten bijhouden die ze niet direct kunnen zien, wat vereist dat ze hun overtuigingen (beliefs) voortdurend updaten naarmate kaarten verschuiven.
• Ambiguïteit en Onbetrouwbaarheid: In tegenstelling tot Hanabi kunnen hints meerdere kleuren hebben en hoeven ze niet waarheidsgetrouw te zijn. Agents moeten context en geschiedenis gebruiken om te interpreteren wat een hint betekent.
• Risicovolle Vroegtijdige Beëindiging: Spelers kunnen het spel voortijdig beëindigen voor een veel hogere beloning, maar dit vereist dat ze zeker weten dat het spel gewonnen is. Een te vroege beëindiging leidt tot een nul-score. Dit creëert een hoge-stakes afweging tussen voorzichtigheid en efficiëntie.
• Dec-POMDP Formulering: Het spel wordt gemodelleerd als een gedecentraliseerd deels waarneembaar Markov-besluitproces (Dec-POMDP). Agents hebben slechts partiële observaties en moeten samenwerken zonder directe communicatie.
• Implementatie: YLE is gebouwd in JAX (via JaxMARL), wat training op GPU's mogelijk maakt met honderdduizenden stappen per seconde.

Geëvalueerde Methodes:
De auteurs testen toonaangevende ZSC-algoritmen die in Hanabi succesvol zijn:

1. Other-Play (OP): Optimaliseert verwachte opbrengst onder symmetrie-transformaties (kleurpermutaties en roosterrotaties).
2. Off-Belief Learning (OBL): Bouwt een hiërarchie van beleidsmodellen en geloofsmodellen om diepere redenering over partners te simuleren.
3. High-Entropy IPPO (HE): Een variant van Independent PPO met hoge entropie om symmetrische beleidslijnen te bevorderen.

Belangrijkste Bijdragen

1. Introductie van YLE: Een nieuwe, open-source benchmark die ZSC uitdaagt met ruimtelijk-temporeel volgen van overtuigingen, ambiguïteit en hoge-stakes beslissingen.
2. Eerste Implementatie van OBL buiten Hanabi: De auteurs passen Off-Belief Learning toe op een omgeving waar hints niet waarheidsgetrouw zijn en roll-outkosten hoger zijn, wat de beperkingen van de oorspronkelijke theorie blootlegt.
3. Empirisch Bewijs van Benchmark-Overfitting: Ze tonen aan dat algoritmen die Hanabi "oplossen" (near-perfect cross-play), falen in YLE. Dit bewijst dat voortgang op één benchmark niet noodzakelijk generaliseert naar complexere coöperatieve taken.
4. Analyse van Geloofsrepresentaties: Via lineaire probes (linear probes) tonen ze aan dat de interne representaties van overtuigingen bij kruisbestuiving (cross-play) minder toegankelijk en minder accuraat zijn dan bij zelfspel (self-play).

Resultaten

De experimentele resultaten tonen een duidelijk contrast tussen prestaties in Hanabi en YLE:

• Persistent SP-XP Gap: In Hanabi zijn de verschillen tussen Self-Play (SP) en Cross-Play (XP) verwaarloosbaar (<0.1%). In YLE vertonen zelfs de beste methoden (zoals OP) aanzienlijke prestatieverliezen bij kruisbestuiving (bijv. een daling van ~7.5 naar ~4.8 punten in 2-speler 9C).
• Verkeerde Rangschikking: De hiërarchie van algoritmen keert om. In Hanabi presteert High-Entropy IPPO vaak beter dan Other-Play. In YLE presteert Other-Play (OP) het best, terwijl High-Entropy IPPO vaak instort (leert het spel direct te beëindigen zonder te spelen) en OBL ondermaats presteert.
• Kalibratieproblemen: Agents falen in het correct inschatten van wanneer ze het spel kunnen beëindigen. De "Successful Early Ending" (SEE) metric is laag in cross-play, wat aangeeft dat agents niet vertrouwen op gedeelde overtuigingen.
• Invloed van Symmetrie: In YLE is de symmetrie-structuur complexer (kleur + ruimtelijke rotatie). Het toepassen van slechts één type symmetrie (bijv. alleen kleur) leidt tot slechtere cross-play prestaties dan het combineren van beide.
• Geheugenuitdagingen: Zonder perfect geheugen (waar agents de kleur van eerder geziene kaarten onthouden) falen GRU-based agents volledig. Zelfs met Transformer-XL (TrXL) voor geheugen blijft de prestatie onder die van menselijke spelers.

Betekenis en Conclusie

Dit paper is een mijlpaal voor het onderzoek naar coöperatieve AI en Theory of Mind. De belangrijkste conclusies zijn:

1. Hanabi is verzadigd: Het is geen geschikte stress-test meer voor nieuwe ZSC-algoritmen.
2. Structuur is cruciaal: Succesvolle methoden voor Hanabi (zoals het maximaliseren van entropie) werken niet noodzakelijk in omgevingen met ruimtelijke dynamiek en ambiguïteit.
3. Nieuwe uitdagingen: YLE legt bloot dat huidige AI-agenten moeite hebben met het vormen van een consistent "common ground" (gedeelde kennis) met onbekende partners wanneer informatie onvolledig, dynamisch en ambigu is.
4. Toekomstige Richting: De auteurs pleiten voor het gebruik van diverse benchmarks om overfitting te voorkomen en benadrukken dat echte mens-AI samenwerking vereist dat agents kunnen redeneren over de overtuigingen van anderen in realistische, dynamische omgevingen.

Kortom, YLE dient als een nieuwe, uitdagende standaard om de grenzen van coöperatieve AI te testen en de kloof tussen huidige algoritmen en menselijke samenwerking te overbruggen.