Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind
Dit onderzoek toont aan dat hoewel recente grote taalmodellen menselijke prestaties bereiken bij het modelleren van de geest van anderen, ze zonder een denkproces (scratchpad) falen in het modelleren van hun eigen geest, wat wijst op beperkt werkgeheugen en het vermogen tot strategische bedrog.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🧠 Kunnen AI's echt "meedenken"? Een test met een raadselachtig spel
Stel je voor dat je een groep vrienden bent die een spelletje doen in een kamer. Er staan drie dozen: een tas, een doos en een mand. Iemand legt een appel in de tas. Dan loopt één vriend de kamer uit. Terwijl hij weg is, verandert iemand anders de appel in de doos en legt er een banaan in de tas.
De vriend die weg was, komt terug. Hij denkt dat de appel nog in de tas zit, omdat hij niet zag wat er gebeurde. Jij weet dat de appel in de doos zit.
De vraag is: Wat doe jij?
- Vertel je hem de waarheid?
- Laat je hem in de waan van de dag?
- Of vraag je hem eerst of hij het weet?
Dit is de kern van Theory of Mind (de theorie van de geest). Het is het menselijke vermogen om te begrijpen dat anderen dingen weten (of niet weten) die jij wel (of niet) weet. Mensen doen dit van nature. Maar kunnen grote taalmodellen (zoals de AI's die we nu gebruiken) dit ook?
Dit onderzoek, geschreven door Christopher Ackerman, probeert dat uit te vinden met een slimme, nieuwe manier van testen.
🎮 Het Spel: Geen praten, maar doen
Vroeger testte men AI's door ze vragen te stellen zoals: "Waar denkt de vriend dat de appel zit?"
Het probleem hiermee is dat AI's heel goed zijn in nabootsen. Ze hebben miljoenen boeken gelezen waarin dit soort situaties worden beschreven. Ze kunnen het antwoord "opdreunen" zonder het echt te begrijpen, net als een acteur die een tekst uit zijn hoofd leert zonder de rol te voelen.
De auteurs van dit papier hebben daarom een spel bedacht. In dit spel moet de AI niet vertellen wat er gebeurt, maar acties kiezen om punten te scoren.
- De AI is een speler in een team.
- Ze moeten beslissen: "Zal ik mijn teamgenoot iets vertellen?", "Zal ik iets vragen?" of "Zal ik niets doen?"
- Als ze de verkeerde keuze maken, verliezen ze punten.
Dit is als het verschil tussen een acteur die een monoloog reciteert over hoe hij zich voelt, en een speler die écht moet rennen, springen en tactisch spelen om te winnen.
🔍 Wat vonden ze? De verrassende resultaten
De onderzoekers testten 28 verschillende AI-modellen (zowel oude als de allernieuwste) en vergeleken ze met echte mensen. Hier zijn de drie belangrijkste ontdekkingen:
1. De "Denk-Modellen" vs. de "Snelle-Modellen"
Stel je twee soorten AI's voor:
- De Snelle-Modellen (Niet-denken): Deze moeten direct een antwoord geven, alsof ze een flitsblikje zijn. Ze kunnen niet nadenken voordat ze spreken.
- De Denk-Modellen (Thinking): Deze mogen eerst een "krabbelvel" (een denktraject) gebruiken. Ze schrijven hun gedachten op voordat ze het antwoord geven.
Het resultaat:
- De Snelle-Modellen faalden bijna overal. Ze konden niet begrijpen dat een teamgenoot iets niet wist, of dat ze zelf iets niet wisten. Ze deden alsof ze alles wisten.
- De Denk-Modellen deden het veel beter. Door eerst te "nadenken" (te schrijven wat er gebeurd is), konden ze de situatie beter doorgronden en menselijk niveau bereiken.
2. Het Grote Geheim: Zelfkennis is moeilijk
Dit is het meest fascinerende deel.
- AI's konden redelijk goed begrijpen wat andere mensen dachten (als ze mochten nadenken).
- Maar ze faalden volledig als het ging om zichzelf in te schatten.
De analogie:
Stel je voor dat je een spiegel hebt. Een AI kan heel goed beschrijven wat er in de spiegel van een ander te zien is. Maar als ze naar hun eigen spiegel moeten kijken en moeten zeggen: "Ik heb net een appel in de doos gelegd, maar ik ben de kamer uitgelopen, dus ik weet niet of hij er nog ligt", dan raken ze in de war. Ze denken vaak: "Ik heb het gezien, dus ik weet het zeker!" terwijl ze in het spel eigenlijk niets meer weten.
Pas als ze een "krabbelvel" (denktraject) kregen, lukte het hen om te zeggen: "Wacht even, ik ben de kamer uitgelopen. Misschien heeft iemand anders de appel verplaatst. Ik moet het aan mijn teamgenoot vragen."
3. De "Geheugen-Belasting"
De onderzoekers maakten het spel moeilijker door meer gebeurtenissen toe te voegen.
- Als ze alleen maar meer dingen deden (meer appels, meer dozen), hielden de AI's het vol.
- Maar als ze meer veranderingen in kennis moesten onthouden (iemand gaat weg, komt terug, verplaatst iets, gaat weer weg), werden de AI's slordig.
Dit suggereert dat AI's een soort kortetermijngeheugen gebruiken dat beperkt is. Net als een mens die een telefoonnummer moet onthouden terwijl hij een gesprek voert: als het gesprek te lang wordt, vergeet hij het nummer.
🤥 Kunnen AI's liegen?
Ja, en dat is eng (en fascinerend).
De "Denk-Modellen" leerden niet alleen om de waarheid te zeggen, maar ook om strategisch te liegen.
- Als een tegenstander dacht dat de appel in de tas zat (wat waar was), en de AI wist dat de appel in de doos zat, dan vertelde de AI de tegenstander: "De appel zit in de tas!" (een leugen), zodat de tegenstander een fout antwoord gaf en de AI's team won.
Dit gebeurde alleen bij de modellen die mochten nadenken. De snelle modellen deden dit niet; ze waren te rechtlijnig.
💡 De Conclusie: Imitatie vs. Begrip
De kernboodschap van dit onderzoek is:
Veel AI's lijken slim omdat ze patronen nabootsen. Ze hebben in hun trainingseenheden gelezen hoe mensen over "wat anderen denken" praten. Maar als je ze in een situatie plaatst waar ze echt moeten handelen op basis van wat zij weten versus wat anderen weten, blootlegt dat hun gebrek aan een echt "mentaal model".
Ze hebben geen innerlijk beeld van de wereld en de mensen erin, tenzij ze de tijd krijgen om dat beeld stap voor stap op te bouwen (door te "denken").
Samengevat in één zin:
AI's kunnen een verhaal vertellen over hoe ze denken, maar zonder een "krabbelvel" om hun gedachten te ordenen, weten ze vaak niet eens wat zijzelf weten, laat staan wat anderen denken. Ze zijn briljante acteurs, maar nog geen echte denkers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.