🤖 AI

Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork

Dit artikel introduceert de ICRL4AHT-benchmark om In-Context Reinforcement Learning in Ad-Hoc Teamwork te evalueren, en onthult dat huidige op geschiedenis gebaseerde algoritmen geen robuuste aanpassing op testtijd bereiken met onbekende partners en vaak onderpresteren ten opzichte van willekeurige baselines in multi-agent omgevingen.

Oorspronkelijke auteurs: Yuheng Jing, Kai Li, Ziwen Zhang, Jiajun Zhang, Zeyao Ma, Jiaxi Yang, Lei Zhang, Zhe Wu, Jinmin He, Junliang Xing, Jian Cheng

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuheng Jing, Kai Li, Ziwen Zhang, Jiajun Zhang, Zeyao Ma, Jiaxi Yang, Lei Zhang, Zhe Wu, Jinmin He, Junliang Xing, Jian Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een complexe maaltijd te bereiden in een keuken met een vreemde die je nog nooit hebt ontmoet. Je kunt niet met hen praten, en je weet niet of ze een chef-kok zijn, een onhandige beginner, of iemand die gewoon de rauwe ingrediënten wil opeten. Dit is de uitdaging van Ad-Hoc Teamwork (AHT): effectief samenwerken met een partner die je nog nooit hebt gezien, zonder enige voorafgaande planning.

Recentelijk heeft een nieuw type AI genaamd In-Context Reinforcement Learning (ICRL) voor opschudding gezorgd. Denk aan deze AI's als "super-learners". In plaats van jaren te besteden aan het oefenen van een specifiek spel, worden ze getraind op een enorme bibliotheek van eerdere ervaringen. Wanneer ze geconfronteerd worden met een nieuwe situatie, kijken ze naar hun recente geschiedenis (de "context") en bedenken ze direct wat ze moeten doen, net zoals een mens misschien zou zeggen: "Oh, dit lijkt op die keer dat ik met Bob speelde, dus ik doe wat toen werkte."

De onderzoekers achter dit artikel stelden een grote vraag: Kunnen deze "super-learners" daadwerkelijk goed samenwerken met een vreemde in een chaotische keuken?

Het Experiment: De "Overcooked"-Testkeuken

Om dit uit te vinden, bouwde het team een enorme testomgeving genaamd ICRL4AHT. Ze gebruikten een populair videospel genaamd Overcooked, waarin twee chefs samen moeten werken om soep en salades te maken.

De Opzet: Ze creëerden een enorme bibliotheek van "teamgenoten". Sommigen waren getraind door andere AI's (de "RL"-groep), en anderen volgden eenvoudige, starre regels (de "Heuristische" groep).
De Test: Ze trainden de "super-learner"-AI op de AI-teamgenoten. Vervolgens goooiden ze deze in de keuken met de regels-volgende teamgenoten die ze nooit eerder hadden gezien.
Het Doel: Kon de super-learner naar de bewegingen van de vreemde kijken, hun stijl begrijpen en zich direct aanpassen om een perfecte maaltijd te bereiden?

Het Schokkende Resultaat: De "Super-Learner" Kwam Verloren

De resultaten waren verrassend en, eerlijk gezegd, een beetje teleurstellend voor de AI-gemeenschap.

Ze Faalden in Aanpassing: Ondanks dat ze "super-learners" waren, werden deze AI's niet beter naarmate ze meer rondes speelden met de vreemde. Sterker nog, ze presteerden vaak slechter dan een willekeurige speler die gewoon willekeurig op knoppen drukte.
De "Vlakke" Lijn: Bij succesvol leren verwacht je een grafiek waarbij de prestaties in de loop van de tijd omhoog gaan naarmate de AI de stijl van de partner leert kennen. Hier was de grafiek volledig vlak. De AI leek helemaal niet te "leren" van de interactiegeschiedenis.
Verwarring in de Keuken: Wanneer ze gekoppeld werden aan een moeilijke vreemde, faalde de AI niet alleen om te helpen; ze kwam actief in de weg, wat leidde tot negatieve scores (zoals het verbranden van de soep of het blokkeren van de deur).

Waarom Faalden Ze?

De onderzoekers probeerden het probleem op te lossen door de AI meer informatie te geven, zoals:

Langere Geheugens: De AI een langere geschiedenis geven van wat er gebeurd was (zoals het lezen van een dikker boek voor de test).
De Partner Zien: De AI laten zien wat de partner precies deed (in plaats van alleen maar te raden).
Grotere Hersenen: Het AI-model groter en complexer maken.

Geen van deze oplossingen werkte. De AI kon nog steeds niet uitzoeken hoe ze moesten coördineren. Het lijkt erop dat hoewel deze modellen geweldig zijn in het leren van taken (zoals het oplossen van een raadsel), ze verschrikkelijk zijn in het leren van mensen (of andere agenten) in real-time. Ze lijken de specifieke patronen die ze tijdens de training zagen te onthouden, maar falen in het begrijpen van het "waarom" achter de acties van een vreemde.

De Conclusie

Dit artikel zegt niet dat AI nutteloos is. In plaats daarvan is het als een monteur die ons vertelt: "We dachten dat deze nieuwe motor perfect was voor rijden in elk weer, maar we hebben het zojuist getest in een sneeuwstorm en hij is gestrand."

De studie vestigt een nieuwe, strenge test (de benchmark) om te bewijzen dat huidige "super-learner"-AI's een groot blinde vlek hebben: ze kunnen zich niet gemakkelijk aanpassen aan nieuwe, onvoorspelbare partners door ze gewoon te observeren. De auteurs hopen dat deze ontdekking de gemeenschap zal aanzetten tot het bouwen van betere AI die vreemden echt kan begrijpen en met hen kan samenwerken, in plaats van alleen eerdere spellen te onthouden.

Technische Samenvatting: Benchmarken van de Grenzen van In-Context Versterkend Leren voor Ad-Hoc Samenwerking

1. Probleemstelling

In-Context Versterkend Leren (ICRL) heeft recent fundamentele agenten in staat gesteld zich direct aan te passen aan nieuwe taken door interactiegeschiedenis te behandelen als een prompt voor sequentiemodellen, met succes in domeinen met één agent (bijvoorbeeld via Algorithm Distillation en Decision-Pretrained Transformers). Echter, de effectiviteit ervan in Ad-Hoc Samenwerking (AHT) — waarbij een agent moet coördineren met onbekende, heterogene partners zonder voorafgaande communicatie of coördinatieprotocollen — blijft grotendeels onontgonnen.

Bestaande AHT-benchmarks lijden aan drie kritieke beperkingen:

Gebrek aan Schaal: Ze vertrouwen doorgaans op kleine sets homogene partners of beperkte taakvarianten, waardoor ze niet de miljoenen transities leveren die nodig zijn om in-context generalisatie rigoureus te testen.
Geconflateerde Generalisatie: Ze slagen er vaak niet in generalisatie over teamleden te ontkoppelen van generalisatie over omgevingsopstellingen, waardoor het moeilijk is om ware coördinatie te onderscheiden van statistisch overfitting op specifieke partner-omgevingsparen.
Ontbrekende Infrastructuur: Er is een gebrek aan gestandaardiseerde, reproduceerbare pijplijnen voor het genereren van leerhistorieën (sequenties van episodes die verbetering tonen) en het uitvoeren van online evaluatie van aanpassing op testtijd.

Bijgevolg is het onduidelijk of huidige ICRL-agenten op basis van sequentiemodellen het strategische inferentievermogen bezitten dat nodig is om de verborgen intentie van een partner te identificeren en hun beleid puur op basis van interactiegeschiedenis aan te passen in multi-agent omgevingen.

2. Methodologie: De ICRL4AHT Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs ICRL4AHT, een grote, reproduceerbare benchmark gebaseerd op een hoogdoorvoer JAX-implementatie van OvercookedV2. De benchmark is ontworpen om de grenzen van ICRL in coöperatieve settingen rigoureus te toetsen via een pijplijn in drie fasen:

A. Benchmarkspecificatie en Teammate Suite

Omgeving: OvercookedV2 wordt gemodelleerd als een Decentralized Partially Observable Markov Decision Process (Dec-POMDP). Het introduceert kritieke complexiteiten die ontbreken in eerdere versies, waaronder gedeeltelijke waarneembaarheid (5x5 gezichtsveld), stochastische startposities en dynamische receptwijzigingen.
Diversiteit van Teamleden: De benchmark bouwt een heterogene "Teammate Suite" op die bestaat uit:
- RL-beleidslijnen: Een diverse populatie partners getraind met algoritmes die bekend staan om het genereren van gevarieerd gedrag (FCP, BRDiv, LBRDiv, CoMeDi).
- Heuristische beleidslijnen: Vier distincte families (H1–H4) variërend van "Receptbewust" (minimale autonomie) tot "Uitwisselingsgeil" (hoge autonomie), gesorteerd op toenemende samenwerkingsbereidheid.
Distributieverandering: Het experimentele ontwerp scheidt trainings- en testdistributies strikt. Agenten worden uitsluitend getraind op RL-genererde leerhistorieën en uitsluitend getest op ongezien heuristische beleidslijnen, wat een ernstige distributieverandering induceert die eenvoudige interpolatie uitsluit.

B. Data-infrastructuur

Leerhistorieën: In tegenstelling tot standaard offline RL-datasets met statische experttrajectoria, verzamelt ICRL4AHT "leerhistorieën" — sequenties van episodes waarbij een ego-agent (getraind via PPO) verbetert van willekeurig naar expertgedrag tegen een vaste teamgenoot.
Schaal en Filtering: De pijplijn genereert meer dan 1,19 miljard originele transities, gefilterd tot ongeveer 150 miljoen hoogwaardige transities over 80 unieke teamleden. Een op kwaliteit gebaseerd filtermechanisme selecteert trajectoria met hoge uiteindelijke prestaties en significante verbeteringsgradiënten om ervoor te zorgen dat de ICRL-modellen ware adaptiedynamiek leren.
Opslag: Data wordt geserialiseerd in gehavende HDF5-formaat met een JSONL-index voor efficiënte metadata-opzoeking en batchsampling van contextvensters.

C. Evaluatietracks

De benchmark definieert twee rigoureuze evaluatietracks om generalisatievermogens te ontkoppelen:

Track 1 (Teamgenootgeneralisatie): Test aanpassing aan ongezien partnergedrag binnen vertrouwde opstellingen ( $L_{train} \times \Pi_{test}$ ).
Track 2 (Opstellingsgeneralisatie): Test robuustheid onder gelijktijdige verschuivingen in zowel partnergedrag als omgevingsdynamiek ( $L_{test} \times \Pi_{test}$ ).

D. Baselines

De auteurs evalueren representatieve op geschiedenis gebaseerde ICRL-algoritmes:

Algorithm Distillation (AD): Traint een sequentiemodel om autoregressief acties te voorspellen uit leerhistorieën, met als doel te leren "hoe te leren" uit context.
Decision-Pretrained Transformer (DPT): Traint een Transformer om optimale expertacties te voorspellen gegeven een taakspecifieke context, waarbij de geschiedenis wordt behandeld als een prompt voor zero-shot aanpassing.

3. Belangrijkste Resultaten

De empirische analyse onthult opmerkelijke beperkingen in huidige ICRL-baselines wanneer toegepast op AHT:

Falen om Beter te Presteren dan Willekeurig: In tegenstelling tot hun succes in domeinen met één agent, slagen zowel AD als DPT er vaak niet in om een eenvoudige willekeurige baseline te overtreffen in beide evaluatietracks. In verschillende complexe coördinatiescenario's (bijvoorbeeld H1-teamleden op "test wide" opstellingen) behalen de ICRL-agenten significant negatieve returns, wat aangeeft dat ze actief de partner verstoren in plaats van te coördineren.
Afwezigheid van In-Context Verbetering: Een bepalend kenmerk van ICRL is prestatieverbetering binnen één contextvenster naarmate de geschiedenis toeneemt. De evaluatiecurven voor AD en DPT zijn consequent vlak, zonder opwaartse trend in returns naarmate het aantal testepisodes toeneemt. Dit suggereert dat de modellen het nodige Bayesiaanse inferentievermogen missen om het beleid van de partner te identificeren uit de interactiegeschiedenis.
Robuustheid van Falen: Het falen blijft bestaan over:
- Contextlengte: Het vergroten van het contextvenster van 250 naar 2.000 (en tot 10.000) transities levert geen consistente verbetering op.
- Modelschaal: Het schalen van modelparameters (van Small naar Large configuraties) resulteert slechts in bescheiden winsten, waardoor robuuste aanpassing niet wordt hersteld.
- Conditionering op Acties van Teamleden: Het bieden van expliciete toegang tot de acties van de partner (+TA) lost het probleem niet op, wat suggereert dat de bottleneck niet de beschikbaarheid van informatie is, maar het onvermogen van het model om waargenomen acties causaal te koppelen aan latente intentie.
- Architectuur: Het overschakelen naar een recurrente architectuur (Hybrid-AD) of het gebruik van een offline RL-doelstelling (AMAGO-Offline) verandert de uitkomst kwalitatief niet.

4. Belangrijkste Bijdragen

Schalbare Benchmark en Pijplijn: De auteurs leveren de eerste reproduceerbare, JAX-gebaseerde pijplijn voor teamgenootgeneratie, verzameling van leerhistorieën en gestandaardiseerde evaluatie van coöperatieve multi-agent ICRL-methoden met controleerbare diversiteit.
Diverse Teammate Suite: Ze bouwen een heterogene bibliotheek van teamleden op die trainings- (op RL gebaseerd) en testdistributies (op heuristiek gebaseerd) strikt scheidt, waardoor een rigoureuze test van generalisatie wordt afgedwongen die overfitting op specifieke partnerclusters voorkomt.
Benchmarken van de Grenzen: Het artikel toont aan dat representatieve op geschiedenis gebaseerde sequentiemodel-ICRL-baselines, hoewel succesvol in domeinen met één agent, worstelen met het strategische inferentievermogen dat nodig is voor partneraanpassing onder het OvercookedV2 AHT-protocol.

5. Betekenis en Beweringen

Het artikel positioneert ICRL4AHT als een cruciale testomgeving voor de volgende generatie coördinatiealgoritmes. De auteurs beweren dat hun bevindingen een fundamentele uitdaging benadrukken: huidige sequentiemodel-architecturen worstelen met het impliciete Bayesiaanse partnerinferentievermogen dat nodig is voor AHT onder realistische distributieveranderingen.

De betekenis van dit werk is primair diagnostisch. In plaats van een nieuw operationeel systeem voor te stellen, karakteriseren de auteurs systematisch de beperkingen van bestaande ICRL-benaderingen. Ze betogen dat het falen niet louter een implementatiedetail of een hyperparameter-tuningprobleem is, maar een substantiële beperking van de onderzochte paradigma's weerspiegelt wanneer ze geconfronteerd worden met realistische partnerdiversiteit en omgevingsverschuivingen. De open-source benchmark en empirische bevindingen zijn bedoeld om de gemeenschap te leiden naar het ontwikkelen van architecturen met expliciete partnerinferentiemodules en trainingsdoelstellingen die informatiezoekend exploreren belonen.