🤖 AI

Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

Dit artikel stelt een nieuw multi-agent reinforcement learning-framework voor dat Dreamer-stijl wereldmodellen verbetert door latente toestanden te factoriseren in omgeving- en teamgenootcomponenten en een Theory-of-Mind-kop te gebruiken om de intenties van partners af te leiden, waardoor agenten zero-shot en few-shot coördinatie kunnen bereiken door de simulatie van sociaal gedrag.

Oorspronkelijke auteurs: Tomas Leroy-Stone

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tomas Leroy-Stone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Dromen over je Teamgenoten

Stel je voor dat je een complex computerspel speelt met een partner. Je kunt de spelwereld zien, maar je kunt het scherm van je partner, diens gedachten of diens geheime plan niet zien. Je ziet alleen wat hij of zij doet.

In de wereld van Kunstmatige Intelligentie (AI) is dit een enorm probleem. De meeste AI-systemen die leren om spellen te spelen (de zogenaamde "World Models") zijn erg goed in het voorspellen hoe de omgeving verandert (zoals zwaartekracht of muren). Maar als het gaat om het voorspellen van wat een teamgenoot zal doen, behandelen ze de teamgenoot meestal als willekeurige statische ruis of slecht weer. Ze gokken dan maar: "Misschien beweegt hij naar links, misschien naar rechts," zonder echt te begrijpen waarom.

Dit paper stelt een nieuwe manier voor om deze AI-hersenen te bouwen. In plaats van teamgenoten als willekeurige ruis te behandelen, stellen de auteurs voor om de AI te leren dat teamgenoten voorspelbare, gestructureerde personages zijn met hun eigen persoonlijkheden en doelen.

De "Dreamer" Motor

Om dit te begrijpen, moet je eerst weten wat "Dreamer" is. Zie Dreamer als een AI die leert door te dagdromen.

In plaats van het spel een miljoen keer in het echt te spelen (wat eeuwen duurt), bouwt de AI een mentale kaart van de wereld.
De AI sluit zijn ogen en stelt duizenden scenario's voor: "Als ik hier spring, valt de muur. Als ik naar links ga, verschijnt de vijand."
De AI leert de regels van het spel door te oefenen in zijn verbeelding, niet alleen door vallen en opstaan.

Het Probleem: De "Ghost" Teamgenoot

Het probleem is dat in een teamspel de "regels" veranderen omdat je partner van gedachten verandert.

De Oude Manier: De AI denkt: "Mijn partner is onvoorspelbaar. Ik hoop maar op het beste." Dit is als proberen een auto te besturen terwijl je ervan uitgaat dat de andere bestuurder plotseling zonder reden naar links of rechts kan sturen.
De Nieuwe Manier (Dit Paper): De AI realiseert zich: "Mijn partner is niet willekeurig. Hij heeft een 'stijl'. Misschien is hij voorzichtig, of misschien is hij agressief. Ik moet zijn stijl begrijpen om hem te kunnen voorspellen."

De Oplossing: De "Teammate Decoder"

De auteurs stellen een nieuwe architectuur voor die de mentale kaart van de AI opsplitst in twee duidelijke delen, zoals een tweebaansweg:

De Omgevingsbaan: Dit deel houdt de fysieke wereld bij (muren, doelen, zwaartekracht).
De Teamgenotenbaan: Dit is de nieuwe uitvinding. Deze houdt de verborgen staat van de partner bij.

De AI gebruikt een speciaal hulpmiddel genaamd een "Theory of Mind" (ToM) head. Zie dit als een Sherlock Holmes-module.

Het observeert de acties van de partner (bijv. "Hij pakte een sleutel op, maar gebruikte hem niet").
Het leidt een verborgen "latente code" af (een digitale vingerafdruk) die de intentie of het karakter van de partner vertegenwoordigt.
Het vraagt zich af: "Is deze partner het type 'Agressief'? Of het type 'Strategisch'?"

Hoe het in de praktijk werkt

Zodra de AI deze "Teamgenotenbaan" en de "Sherlock Holmes"-module heeft, verandert de manier waarop de AI dagdroomt:

Voorheen: De AI dagdreamt: "Als ik hierheen ga, verandert de wereld."
Nu: De AI dagdreamt: "Als ik hierheen ga, en mijn partner is het type 'Agressief', dan zal hij mij volgen. Als hij het type 'Strategisch' is, zal hij wachten."

Door verschillende versies van zijn partner in zijn verbeelding te simuleren, kan de AI zich voorbereiden op iedereen die hij tegenkomt.

Zero-Shot Coördinatie: De AI kan een nieuwe partner ontmoeten die hij nog nooit eerder heeft gezien en toch direct goed met hem samenwerken, omdat hij hun stijl snel kan raden aan de hand van een paar bewegingen.
Few-Shot Adaptatie: Als de partner halverwege het spel van gedachten verandert, past de AI zijn "Sherlock Holmes"-gok en zijn plan direct aan.

Wat dit paper daadwerkelijk beweert

Het is belangrijk om op te merken wat dit paper nog niet doet:

Geen Resultaten: De auteurs geven toe dat dit een voorstel is. Ze hebben het blauwdruk en de wiskunde ontworpen, maar ze hebben de volledige robot nog niet gebouwd en getest.
Geen Praktijktoepassingen: Ze beweren niet dat dit nu het verkeer zal oplossen of ziekten zal genezen. Ze praten strikt over hoe AI in coöperatieve videogames en simulaties verbeterd kan worden.

Het Doel

Het uiteindelijke doel is om AI te creëren die niet alleen de wereld begrijpt, maar ook de geesten binnen die wereld. Door teamgenoten te behandelen als gestructureerde, leerbare personages in plaats van willekeurige ruis, kan de AI een betere, meer aanpasbare partner worden voor mensen en andere AI's.

Kortom: Het paper suggereert dat we AI moeten leren om te stoppen met het gokken wat zijn partner zal doen en te beginnen met het modelleren van hen, zodat de AI de toekomst met hen kan voorstellen, in plaats van alleen maar rondom hen.

Technische Samenvatting: Dromen van anderen – Latente Teammate-modellering in Wereldmodellen voor Multi-Agent Reinforcement Learning

Probleemstelling
In coöperatieve Multi-Agent Reinforcement Learning (MARL) moeten agenten coördineren met partners wier interne beleid en intenties niet direct observeerbaar zijn. Hoewel wereldmodellen, in het bijzonder de Dreamer-familie, sterke generalisatie en sample-efficiëntie hebben aangetoond in single-agent settings door compacte latente dynamiek te leren, is hun toepassing op MARL momenteel beperkt. De kernuitdaging is dat het gedrag van teamgenoten een niet-stationaire, gedeeltelijk observeerbare structuur introduceert die gewoonlijk als ongedifferentieerde ruis in het model wordt gecomprimeerd. Dit voorkomt dat agenten effectief partner-variabiliteit kunnen anticiperen of zich kunnen aanpassen aan onbekende samenwerkers zonder toegang tot hun interne observaties of beleid. Bovendien vertrouwen standaard coöperatieve MARL-benaderingen vaak op vereenvoudigingen zoals gecentraliseerd trainen met geprivilegieerde informatie of expliciete communicatiekanalen, die niet beschikbaar zijn in realistische mens-AI-collaboratiescenario's.

Methodologie
Het artikel stelt een "Teammate-Conditioned World Model" voor die teamgenoten herformuleert van exogene ruis naar gestructureerde, leerbare componenten binnen het wereldmodel van de agent. De methodologie is gebouwd op een Dreamer-stijl Recurrent State-Space Model (RSSM met de volgende architecturale en objectieve innovaties:

Gefactoriseerde Latente Toestand: De stochastische latente toestand $z_t$ $z_{t}$ wordt gefactoriseerd in twee afzonderlijke componenten: $z_t = [z^{env}_t, z^{team}_t]$ $z_{t} = [z_{t}^{e n v}, z_{t}^{t e am}]$ .
- $z^{env}_t$ vangt de deterministische en stochastische dynamiek van de fysieke omgeving op.
- $z^{team}_t$ codeert het geïnferreerde gedrag, karakter en intentie van de teamgenoot.
Architectuur:
- Encoder: Consumeert de observatie van de gecontroleerde agent $x_t$ en actie $a^0_t$ om een deterministische verborgen toestand $h_t$ te produceren.
- Decoders: Twee decoders opereren op de gefactoriseerde latente toestanden. Een observatie-decoder reconstrueert de omgevingstoestand $\hat{x}_t$ vanuit $z^{env}_t$ . Een specifieke "teammate-policy decoder" brengt $z^{team}_t$ in kaart naar een voorspellende distributie $\hat{\pi}^j_t(\cdot)$ over de volgende actie van de teamgenoot.
- Actor-Critic Conditionering: Tijdens de imaginatie-fase conditioneren de verborgen toestand en de gesamplede teamgenoot-latenten de actor- en critic-koppen, waardoor de agent beleid kan plannen dat rekening houdt met diverse partner-gedragingen.
Theory-of-Mind (ToM) Objectief: Een specifiek verliesfunctie, $\mathcal{L}_{ToM}$ , wordt geïntroduceerd om de inferentie van teamgenoot-gedrag te superviseren. Dit objectief minimaliseert een gekalibreerde cross-entropie tussen de empirische teamgenoot-actiedistributie en de modelvoorspelling, aangevuld met een Kullback-Leibler regularisatieterm om de temporele consistentie van de geïnferreerde teamgenoot-latente te waarborgen:
$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$
Dit wordt toegevoegd aan de standaard Dreamer-trainingsdoelen met een wegingshyperparameter $\lambda_{ToM}$ .

Belangrijkste Bijdragen

Conceptueel Kader: Het artikel stelt een nieuw perspectief voor MARL waarbij wereldmodellen dienen als simulatoren van sociaal gedrag, niet alleen van omgevingsdynamiek. Het pleit voor het modelleren van teamgenoten als gestructureerde latente processen om schijnbare niet-stationariteit te verminderen.
Nieuwe Architectuur: Het introduceert een specifieke RSSM-architectuur die de omgevings- en teamgenoot-latenten expliciet scheidt, gekoppeld aan een ToM-kop om partner-intentie te infereren uit partiële trajecten.
Trainingsprotocol: Het werk beschrijft een trainingsprocedure die zero-shot en few-shot coördinatie mogelijk maakt zonder dat daarvoor gedeelde imaginatie, gecentraliseerde beleidsregels of expliciete communicatiekanalen tussen agenten nodig zijn.
Evaluatievoorstel: De auteurs stellen een rigoureus evaluatieprotocol voor met behulp van Multi-Agent Particle Environments, Overcooked-AI en Melting Pot om generalisatie, sample-efficiëntie en robuustheid over diverse partner-populaties en sociale contexten te beoordelen.

Resultaten
Het artikel vermeldt expliciet dat het een voorstel is bedoeld om discussie te katalyseren en geen empirische resultaten rapporteert. Bijgevolg zijn er geen experimentele bevindingen, prestatie-metrieken of vergelijkende benchmarks gepresenteerd in dit werk. De bijdrage is puur architecturaal en theoretisch, waarbij wordt geschetst hoe een dergelijk systeem zou functioneren en hoe het zou moeten worden geëvalueerd.

Betekenis en Claims
Het artikel positioneert dit werk als een stap naar "mens-compatibele AI" waarbij partners gedeeltelijk observeerbaar en heterogeen zijn. De auteurs beweren dat door teamgenoten te behandelen als gestructureerde latente processen in plaats van ruis, de benadering een pad biedt naar:

Verminderde Niet-Stationariteit: Het scheiden van sociale dynamiek van fysieke dynamiek kan het leren in coöperatieve settings stabiliseren.
Verbeterde Coördinatie: Het mogelijk maken van agenten om onbekende samenwerkers te visualiseren en zich aan te passen (zero-shot) en snel te verbeteren met beperkte interactie (few-shot).
Interpreteerbaarheid: Het bieden van latente representaties die expliciet partner-karakter en intentie coderen.

De uiteindelijke betekenis, zoals door de auteurs geframeerd, is het potentieel voor wereldmodellen om te evolueren van instrumenten die "dromen van de werelden waarin ze verblijven" naar instrumenten die "dromen van de geesten die ze delen", wat meer robuuste en aanpasbare mens-AI-collaboratie faciliteert.