Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models
Dit artikel hanteert een ontwikkelingsperspectief om aan te tonen dat hoewel Large Language Models uiteindelijk prestaties op het gebied van false-belief taken en situationele modellering verwerven door middel van schaling en post-training, deze mentaliserende vermogens fragiel blijven en gevoelig zijn voor linguïstische aanwijzingen zoals niet-factieve werkwoorden, wat de noodzaak van stress-testen en ontwikkelingsanalyse voor een robuuste evaluatie benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een goocheltruc kijkt waarbij een tovenaar een bal van een doos naar een hoed verplaatst. Een kind dat de truc ziet, weet dat de bal in de hoed zit. Maar als een ander persoon, die de verplaatsing niet heeft gezien, wordt gevraagd waar de bal is, zal diegene nog steeds denken dat de bal in de doos zit.
Dit is de kern van wat psychologen "mentaliseren" noemen: begrijpen dat andere mensen hun eigen gedachten en overtuigingen hebben die anders kunnen zijn dan de werkelijkheid of anders dan die van jou.
Dit artikel stelt een eenvoudige vraag: Begrijpen AI-taalmodellen (zoals de modellen waarmee je chat) deze truc echt, of zijn ze gewoon aan het gokken?
Om dit te ontdekken, keken de onderzoekers niet alleen naar het uiteindelijke antwoord van de AI. In plaats daarvan volgden ze de AI terwijl deze "opgroeide", als een kind, van de allereerste dagen van de training tot de uiteindelijke, gepolijste versie. Ze gebruikten een ontwikkelingsgerichte aanpak door te volgen hoe de vaardigheden van de AI in de loop van de tijd veranderden.
Hier is het verhaal van wat ze vonden, uitgelegd aan de hand van alledaagse analogieën:
1. Het "twee-ingrediënten"-recept voor succes
De onderzoekers testten twee verschillende families van AI-modellen: Olmo2 (die een enorme bibliotheek aan boeken had gelezen) en Pythia (die een veel kleinere bibliotheek had gelezen).
Ze ontdekten dat een AI twee dingen tegelijk nodig had om goed te worden in de "goocheltruc" (de False Belief Task):
- Grote hersenomvang: Het moest een groot model zijn.
- Veel lezen: Het moest een enorme hoeveelheid tekst hebben gelezen.
De analogie: Denk hierbij aan het bakken van een cake. Als je een enorme oven hebt (een groot model) maar geen bloem (niet genoeg trainingsdata), kun je geen cake bakken. Als je wel veel bloem hebt maar een piepropjesel kleine broodrooster (een klein model), kun je ook geen cake bakken. Je hebt zowel de grote oven als de bloem nodig om een resultaat te krijgen dat op echt begrip lijkt.
2. De "laatbloeier"
De AI leerde deze vaardigheid niet vroegtijdig. Zelfs nadat het miljoenen pagina's had gelezen, was de AI nog steeds willekeurig aan het gokken. Pas in de zeer late stadia van de training — nadat het al grammatica en feiten had geleerd — begon de AI de "goocheltruc" goed te doen.
De analogie: Stel je een student voor die jarenlang het woordenboek uit het hoofd leert en leert hoe hij perfecte zinnen schrijft. Pas nadat hij dat allemaal onder de knie heeft, begint hij eindelijk te begrijpen waarom een personage in een verhaal liegt. De vaardigheid om "geesten te begrijpen" kwam pas heel laat in de opleiding van de AI.
3. Het "fragiele" begrip
Hier wordt het lastig. Het vermogen van de AI om overtuigingen te begrijpen was erg fragiel. Het was als een kaartenhuis dat instort als er te hard op wordt geblazen.
De onderzoekers ontdekten dat als ze slechts één woord in de vraag veranderden — door een woord als "denkt" te gebruiken (bijv. "Dave denkt dat de bal in de doos zit") — de AI in de war raakte, zelfs als het verhaal simpel was.
De analogie: Stel je een student voor die een wiskundeprobleem perfect kan oplossen. Maar als je het probleem op een stuk papier schrijft met een specifiek lettertype, krijgt hij het goed. Als je het lettertype iets verandert, vergeet hij plotseling hoe hij moet rekenen. De AI was niet echt aan het "nadenken" over de geest van het personage; het reageerde op specifieke woorden zoals "denkt" alsof het magische triggers waren.
4. De "scènebouwer" versus de "gedachtenlezer"
De onderzoekers testten ook of de AI een "Situatiemodel" kon opbouwen. Dit is een chique manier om te vragen: Kan de AI de basisfeiten van het verhaal onthouden? (bijv. "Wie verplaatste de bal?" of "Waar is de bal geëindigd?")
De ontdekking:
- De AI werd heel goed in het onthouden van de feiten (de scène) voordat hij goed werd in het begrijpen van de geesten (de overtuigingen).
- Echter, het geheugen van de AI voor de feiten was ook rommelig. Wanneer de AI werd gevraagd naar de persoon die de bal daadwerkelijk had verplaatst (de "antagonist"), raakte de AI vaak in de war. Het haalde de rollen van wie wat deed door elkaar, ook al had het net succesvol geraden waar de bal zat in de "gedachtenlezer"-test.
De analogie: Stel je een detective voor die je precies kan vertellen waar een gestolen auto geparkeerd stond (de feiten) en kan raden wat een dief over de auto dacht (de geest). Maar als je de detective vraagt: "Wie heeft de auto eigenlijk gestolen?", raakt hij in de war en wijst hij naar de verkeerde persoon. De interne kaart van de AI van het verhaal was gedeeltelijk defect; het kon de stukjes wel zien, maar kon ze niet altijd samenvoegen tot een samenhangend geheel.
De kern van de zaak
Het artikel concludeert dat hoewel grote, goed getrainde AI-modellen uiteindelijk tests kunnen halen die lijken op het begrijpen van menselijke overtuigingen, deze vaardigheid:
- Laat binnenkomt: Er is veel training voor nodig om dit te ontwikkelen.
- Fragiel is: Het breekt gemakkelijk door kleine veranderingen in de bewoording.
- Incoherent is: Het begrip van de AI over de feiten van het verhaal en de geesten van de personages komt niet altijd perfect overeen.
De les: De AI is niet noodzakelijkerwijs aan het "denken" over de geesten van andere mensen zoals mensen dat doen. In plaats daarvan lijkt het een verzameling aangeleerde patronen en snelkoppelingen te gebruiken. Het is als een papegaai die heeft geleerd om de juiste woorden op het juiste moment te zeggen, maar die de diepere betekenis erachter misschien niet volledig begrijpt. De onderzoekers suggereren dat om echt te weten of AI "slim" is, we moeten kijken naar hoe het leert over een bepaalde tijd en het onder druk moeten testen, in plaats van alleen naar de uiteindelijke score te kijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.