💬 NLP

Language and Experience: A Computational Model of Social Learning in Complex Tasks

Dit paper presenteert een computationeel kader dat sociale leren modelleert als gezamenlijke probabilistische inferentie over gestructureerde wereldmodellen, waarbij vooraf getrainde taalmodellen worden gebruikt om linguïstische aanwijzingen en sensorimotorische ervaring te integreren, wat leidt tot versneld en veiliger leren in complexe taken voor zowel mensen als AI-systemen.

Oorspronkelijke auteurs: Cédric Colas, Tracey Mills, Ben Prystawski, Michael Henry Tessler, Noah Goodman, Jacob Andreas, Joshua Tenenbaum

Gepubliceerd 2026-02-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Cédric Colas, Tracey Mills, Ben Prystawski, Michael Henry Tessler, Noah Goodman, Jacob Andreas, Joshua Tenenbaum

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Leren van een boekje én van de praktijk: Hoe AI en mensen samenwerken

Stel je voor dat je in een groot, donker bos bent en je moet paddenstoelen plukken. Je hebt twee manieren om te leren welke paddenstoelen veilig zijn:

De harde weg (Ervaring): Je proeft zelf een paar paddenstoelen. Sommige zijn lekker, maar één is dodelijk. Je leert door te vallen en op te staan, maar dat kan gevaarlijk zijn.
De slimme weg (Taal): Een ervaren padvinder zegt tegen je: "Pas op voor de rode met witte stippen, die zijn giftig!" en "Zoek naar gouden champignons bij de eikenbomen."

Dit onderzoek, gepresenteerd op een groot AI-conferentie (ICLR 2026), vraagt zich af: Hoe kunnen computers (en mensen) deze twee manieren van leren combineren? Hoe maken we een AI die niet alleen zelf moet experimenteren, maar ook echt begrijpt wat een ander tegen haar zegt?

Het Probleem: De "Blindeman" en de "Boekwurm"

Vroeger hadden computers twee grote problemen:

De "Blindeman" (Reinforcement Learning): Deze AI's leren puur door duizenden keren te proberen. Ze zijn sterk, maar ze moeten alles zelf uitvinden. Het is alsof je een spelletje speelt zonder regels en je moet duizenden keren doodgaan om te begrijpen wat er gebeurt.
De "Boekwurm" (Grote Taalmodellen): Deze AI's kunnen prachtige teksten schrijven en advies geven, maar ze zijn vaak slecht in het doen. Ze weten theoretisch hoe een spel werkt, maar als ze het daadwerkelijk moeten spelen, raken ze in de war en maken ze domme fouten.

De onderzoekers wilden een hybride maken: een AI die net als een mens is. Die kan lezen, begrijpen, en dan slim plannen maken op basis van wat ze hebben gelezen én wat ze zelf hebben gezien.

De Oplossing: Een "Speltheorie" in het hoofd

De kern van hun oplossing is een heel slim idee: ze laten de computer het spel niet zien als een reeks pixels, maar als een verhaal met regels.

Stel je voor dat je hoofd een werkplaats is. In deze werkplaats staan 20 verschillende "theorieën" (of blauwdrukken) van hoe het spel werkt.

Theorie A zegt: "Rode blokken doden je."
Theorie B zegt: "Rode blokken geven punten."

Elke keer als de AI iets ziet (ervaring) of iets leest (advies), vergelijkt ze deze theorieën.

Als ze een rode blok aanraakt en sterft, wordt Theorie A sterker en Theorie B zwakker.
De magische stap: Als ze een tekst leest zoals "Vermijd de rode blokken!", dan wordt Theorie A direct sterker, zelfs voordat ze het zelf hebben geprobeerd!

Ze gebruiken een Groot Taalmodel (LLM) als een "vertaler". Dit model helpt de AI om te begrijpen wat iemand anders bedoelt. Het werkt als een psycholoog: "Als iemand dit advies geeft, wat moet er dan waar zijn in de wereld?"

De Experimenten: Videospellen als proefvelden

Om dit te testen, lieten ze mensen en computers 10 verschillende videospellen spelen. Deze spellen waren als puzzels: je wist niet welke kleuren wat deden. Je moest het zelf uitzoeken of een hint krijgen.

Wat ontdekten ze?

Advies bespaart levens: Zowel mensen als de AI leerden veel sneller als ze een hint kregen. Het was alsof je een kaart kreeg in plaats van blind door een doolhof te lopen. Je viel minder vaak in de valkuilen.
De AI kan ook doceren: De AI kon niet alleen advies lezen, maar ook schrijven. Ze schreven zelfs betere tips dan sommige mensen! Ze waren heel precies: "Druk op de pijltjestoetsen, vermijd geel, en gebruik witte blokken om je te beschermen."
Mensen en AI leren van elkaar: Als een mens advies kreeg van de AI, leerde de mens sneller. En als de AI advies kreeg van een mens, leerde de AI sneller. Het was een echte samenwerking.
Generaties leren: Ze lieten een ketting van AI's het spel spelen. De eerste AI speelde een beetje, gaf een tip aan de tweede, die weer een tip gaf aan de derde. Na 10 rondes was de laatste AI zo goed dat ze het spel bijna perfect speelde, terwijl de eerste nog worstelde. Het is alsof kennis wordt doorgegeven van grootvader naar kleinzoon.

Waarom is dit belangrijk?

Dit onderzoek laat zien dat we AI niet hoeven te trainen met miljoenen voorbeelden om slim te zijn. Als we AI's leren om verhalen te vertellen en te begrijpen, kunnen ze veel sneller leren in nieuwe situaties.

Het is alsof we een brug bouwen tussen de harde, logische wereld van computers en de flexibele, taalrijke wereld van mensen. In de toekomst kunnen we zo AI's hebben die niet alleen onze opdrachten uitvoeren, maar ook echt begrijpen wat we bedoelen, en ons zelfs helpen om betere beslissingen te nemen.

Kortom:
Het is de overgang van "Ik moet het zelf uitvinden door te vallen" naar "Ik luister naar de ervaring van anderen, combineer dat met mijn eigen ervaring, en word zo een meester in het spel." En nu kunnen computers dat ook.

1. Probleemstelling

Het vermogen om linguïstische instructies van anderen te combineren met directe ervaring is fundamenteel voor menselijke ontwikkeling en sociale learning. Bestaande computationele modellen missen echter een algemeen kader om te verklaren hoe mensen deze twee bronnen van kennis integreren voor exploratie en besluitvorming in complexe taken:

Reinforcement Learning (RL): Agents kunnen complexe taken leren, maar vereisen vaak miljoenen trial-and-error stappen (inefficiënt).
Theory-based RL: Bereikt menselijke sample-efficiëntie door gestructureerde wereldmodellen, maar mist sociale leercapaciteiten.
Taalkonditioneel RL: Integreert taal, maar vereist enorme hoeveelheden gekoppelde data (ervaring + taal) en generaliseert niet goed naar nieuwe, eenmalige instructies.
Grote Taalmodellen (LLMs): Excelleren in taalverwerking, maar worstelen met interactieve planning en ingebouwde (embodied) learning.

Het paper stelt de vraag: Hoe kunnen AI-systemen, net als mensen, linguïstische begeleiding en directe ervaring combineren om veilig en snel te leren in nieuwe omgevingen?

2. Methodologie

De auteurs presenteren een computationeel raamwerk dat sociale learning modelleert als gezamenlijke probabilistische inferentie over gestructureerde, uitvoerbare wereldmodellen. Het systeem gebruikt een Bayesiaanse aanpak om wereldtheorieën te updaten op basis van zowel sensorimotorische data (ervaring) als linguïstische data (advies).

Kerncomponenten van het model:

Gestructureerde Wereldmodellen (VGDL):
- De omgeving wordt gemodelleerd als een kansverdeling over "theorieën" (T), weergegeven als uitvoerbare programma's in de Video Game Description Language (VGDL).
- Elke theorie specificeert objecttypes, interacties (bijv. botsing, dood, transformatie), beloningsfuncties en win/verlies-condities.
- De agent onderhoudt een populatie van $M=20$ kandidaat-theorieën.
Bayesiaanse Inferentie:
- De posterior $P(T | E, L)$ wordt berekend als: $P(T | E, L) \propto P(E | T) \times P(L | T) \times P(T)$ .
- $P(E | T)$ (Waarschijnlijkheid van ervaring): Geschat door de agent zijn acties te herhalen in de simulatie van theorie $T$ en de frequentie van waargenomen gebeurtenissen te vergelijken.
- $P(L | T)$ (Waarschijnlijkheid van taal): Gemodelleerd via een "Speaker Model". Een voorgeprogrammeerd LLM (LLaMA-3.1-70B) wordt gebruikt om te schatten hoe waarschijnlijk het is dat een spreker met wereldtheorie $T$ een specifiek advies $L$ zou geven. Dit stelt het model in staat om taal te interpreteren als bewijs voor of tegen een theorie.
Inferentie-algoritme:
- Gezien de enorme zoekruimte ( $>10^{20}$ theorieën) wordt exacte inferentie onmogelijk. Het model gebruikt een Particle Filter met Metropolis-verjonging (rejuvenation).
- Theorieën worden gewogen en hersampleerd. Lokale modificaties (bijv. het veranderen van een interactieregel) worden voorgesteld.
- Taal-gestuurde voorstellen (Guided Proposals): Het LLM wordt gebruikt om de zoekruimte te biasen. Bij ontvangst van advies (bijv. "gele blokken doden je") genereert het LLM voorstellen voor regels die consistent zijn met dit advies, wat de convergentie versnelt.
Planning en Exploratie:
- De agent plant acties op basis van de Maximum A Posteriori (MAP) theorie.
- Er is een balans tussen exploitatie (doelen bereiken die leiden tot winst) en exploratie (doelen kiezen die de onzekerheid over het wereldmodel verminderen, gemeten als meningsverschil tussen de 20 theorieën).
- Gebruik van genetische algoritmen voor het optimaliseren van actiesequenties en lookahead-mechanismen om catastrofale fouten te voorkomen.
Generatie van Advies:
- De agent kan ook zelf advies genereren voor toekomstige spelers door de MAP-theorie te vertalen naar natuurlijke taal via hetzelfde LLM-speaker-model.

3. Experimentele Opzet

Omgeving: 10 verschillende video-games gedefinieerd in VGDL, variërend in complexiteit (ruimtelijk redeneren, snelle reacties, relationele regels).
Deelnemers: 120 menselijke deelnemers (via Prolific) en computatiele simulaties.
Condities:
1. Alleen Ervaring: Leren door spelen.
2. Ervaring + Menselijk Advies: Ontvangen van advies van een vorige menselijke speler.
3. Ervaring + Model-advies: Ontvangen van advies van het computatiemodel.
Iteratief Leren: Een experiment met 10 generaties agents die elk slechts 2 levens hebben om het spel te spelen en advies door te geven aan de volgende generatie.

4. Belangrijkste Resultaten

A. Leren van Ervaring

Zowel mensen als het model tonen opmerkelijke sample-efficiëntie (oplossen van 9/10 games binnen 10 levens).
Baselines (Deep RL en pure LLM) falen volledig of presteren slecht, wat de noodzaak van gestructureerde wereldmodellen benadrukt.
Verschillen: Mensen presteren beter in games die snelle reacties vereisen; het model presteert beter in games die systematische exploratie en planning vereisen.

B. Impact van Linguïstische Begeleiding

Versnelling: Zowel mensen als het model leren significant sneller met advies. Het mediane aantal levens dat nodig is om een level te voltooien, daalt aanzienlijk.
Risicoreductie: Advies over gevaren (bijv. "vermijd geel") reduceert dodelijke interacties met 37-67%.
Correlatie: Advies dat mensen helpt, helpt ook het model (en vice versa), wat wijst op gedeelde mechanismen voor het integreren van taal en ervaring.
Foutieve Advies: Verkeerd advies kan de exploratie negatief beïnvloeden (bijv. het vermijden van onschadelijke objecten), wat de "dubbelzijdige aard" van pedagogie illustreert.

C. Mens-Machine Samenwerking

Bidirectioneel Leren: Het model kan effectief advies genereren dat menselijke spelers helpt (prestatieverbetering $\Delta(nAUC) = 0.15$ ).
Asymmetrie: Mensen leren iets beter van menselijk advies dan van model-advies (waarschijnlijk door menselijke nuances, meta-cognitie en analogieën in menselijke taal). Het model leert echter aanzienlijk beter van model-advies dan van menselijk advies, omdat model-advies vaak vollediger en logischer gestructureerd is.

D. Generatiegewijs Leren

In iteratieve experimenten neemt de prestatie over generaties toe, wat aantoont dat kennis kan accumuleren via taal, zelfs als individuele agents slechts beperkte ervaring hebben.
Er zijn uitzonderingen bij games met complexe, onderlinge afhankelijkheden of snelle actie, waar fouten in de overdracht kunnen leiden tot regressie.

5. Bijdragen en Significantie

Technische Bijdragen:

LM als Speaker Model: Het gebruik van een LLM om de waarschijnlijkheid te schatten dat een spreker met specifieke overtuigingen een bepaald advies geeft, waardoor taal als bewijs in Bayesiaanse inferentie kan worden gebruikt.
Inferentie vanuit Taalbewijs: Het integreren van linguïstische input in de Bayesiaanse update van wereldmodellen, naast sensorimotorische data.
LM-versnelde Inferentie: Het gebruik van LLM's om gerichte voorstellen te genereren in de zoekruimte van theorieën, wat de convergentie versnelt.

Significantie:

Cognitieve Wetenschap: Het paper biedt een computationeel account van hoe mensen taal en ervaring combineren, en valideert dit met menselijke experimenten. Het toont aan dat gestructureerde, programmeerbare wereldmodellen essentieel zijn voor efficient leren.
AI en Collaboratie: Het demonstreert een eerste stap naar bidirectionele leer-systemen waarbij AI niet alleen leert van mensen, maar ook effectief kan onderwijzen. Dit is cruciaal voor de ontwikkeling van AI-systemen die kunnen samenwerken in hybride mens-AI gemeenschappen.
Schalbaarheid: De aanpak omzeilt de behoefte aan enorme datasets van gekoppelde taal-ervaring, wat het mogelijk maakt om te leren van eenmalige instructies (one-shot learning), vergelijkbaar met menselijke sociale learning.

Kortom, dit werk verbindt Bayesiaanse cognitieve modellen, programmeerbare wereldmodellen en moderne taalmodellen om een robuust kader te creëren voor sociale learning in complexe, onbekende omgevingen.