Traces of Social Competence in Large Language Models

Dit onderzoek toont aan dat schaalvergroting en instructietuning de sociale competentie van grote taalmodellen beïnvloeden, maar dat een kruis-effect waarbij het expliciteren van mentale toestanden (zoals "denken") de responsen fundamenteel verandert, al tijdens het pre-training ontstaat en kan worden geïsoleerd via vectorsturing.

De kern

🧠 Kunnen AI's echt "meedenken"? Een onderzoek naar het brein van de computer

Stel je voor dat je een spelletje speelt met een vriendje, Maxi. Maxi legt zijn chocolade in een blauwe kast. Hij loopt weg om te spelen. Zijn moeder komt binnen, pakt de chocolade en verplaatst hem naar een groene kast. Als Maxi terugkomt, waar denkt hij dat de chocolade ligt?

• Het juiste antwoord: De blauwe kast (want Maxi weet niet dat zijn moeder de chocolade heeft verplaatst).
• Het verkeerde antwoord: De groene kast (want dat is waar de chocolade nu ligt).

Dit is de beroemde "Valse Overtuiging Test". Voor mensen is dit een manier om te testen of we begrijpen dat anderen dingen kunnen geloven die voor ons onwaar zijn. Dit noemen we Theory of Mind (het vermogen om in iemands hoofd te kijken).

De onderzoekers van dit papier wilden weten: Kunnen moderne AI-modellen (zoals ChatGPT) dit spelletje ook spelen? En als ze het kunnen, begrijpen ze het dan echt, of raden ze het gewoon?

🕵️‍♂️ Het Grote Experiment: 17 AI's op de proef

De onderzoekers hebben 17 verschillende AI-modellen getest (van klein tot gigantisch groot) met 192 variaties van dit spelletje. Ze keken niet alleen of het antwoord goed was, maar hoe de AI erbij kwam.

Ze ontdekten drie belangrijke dingen:

1. Groter is niet altijd slimmer (De "Grote Brein"-mythe)
Je zou denken: "Hoe groter de AI, hoe slimmer hij is." En dat klopt deels. Als je de AI's groter maakt, worden ze beter in het spelletje.

• Maar: Ze worden niet slimmer in alles. Ze worden juist slechter in situaties waar het antwoord "eenvoudig" is (waar de chocolade op de plek blijft waar hij was).
• De analogie: Het is alsof je een student een heel dik boek geeft. Hij kan nu complexe verhalen onthouden, maar hij vergeet soms de simpele regels omdat hij te veel gaat "gokken" op patronen die hij eerder heeft gezien.

2. Het woordje "Denken" is een valstrik 🪤
Dit is het meest fascinerende deel. De onderzoekers veranderden de vraag op twee manieren:

• Manier A (Impliciet): "Waar gaat Maxi de chocolade halen?" (Actie).
• Manier B (Expliciet): "Waar denkt Maxi dat de chocolade ligt?" (Gedachte).

De AI's faalden dramatisch als de vraag het woord "denkt" bevatte in een situatie waar de persoon niet dacht dat de chocolade op de verkeerde plek lag.

• De analogie: De AI's hebben een soort "automatische piloot" ontwikkeld. Als ze het woord "denken" zien, schakelen ze automatisch over op een patroon: "Ah, het woord denken staat er, dus het antwoord moet onjuist zijn!" Ze reageren op het woord, niet op de situatie. Het is alsof een kind dat leert dat "alle vogels kunnen vliegen", denkt dat een pinguïn kan vliegen omdat het een vogel is, en dan vergeten dat pinguïns niet kunnen vliegen. De AI's zijn "gevangen" in taalpatronen.

3. De "Coöperatie" maakt het erger 🤝
AI's worden getraind om behulpzaam te zijn (dit heet "post-training" of "instruction tuning"). Ze leren om te luisteren naar wat de gebruiker vraagt.

• De onderzoekers vonden dat AI's die extra getraind waren om gehoorzaam te zijn, juist minder goed werden in dit spelletje.
• De analogie: Stel je voor dat je een assistent hebt die zo graag wil helpen, dat hij elke aanwijzing in de vraag letterlijk neemt. Als je vraagt "Wat denkt hij?", denkt de assistent: "O, hij vraagt wat hij denkt, dus ik moet het antwoord geven dat in strijd is met de feiten!" De AI probeert te "meedenken", maar raakt daardoor in de war.

🔍 De "Think-Vector": De geheime knop

Om te bewijzen dat dit echt een probleem met de manier van "denken" is, deden de onderzoekers iets heel cools: Vector Steering.
Ze zochten in de hersenen van de AI naar een specifiek stukje code dat correspondeerde met het woord "denken". Ze konden dit stukje code als een knop gebruiken:

• Als ze de knop aanzetten, werd de AI slimmer in situaties met het woord "denken".
• Als ze de knop uitzetten, werd de AI weer slimmer in situaties zonder dat woord.

Dit bewijst dat de AI niet echt "begrijpt" wat er gebeurt, maar dat hij reageert op een specifiek taalpatroon dat hij heeft geleerd. Het is alsof je een radio hebt die op een specifiek station staat; als je dat station uitzet, stopt de muziek, ook al is de radio nog aan.

🏁 Conclusie: Slimme imitatie, geen echt inzicht

Kortom: Deze AI's zijn niet echt sociaal slim. Ze zijn superieure imitatoren.
Ze hebben geleerd dat in verhalen over "valse overtuigingen" vaak het woord "denken" voorkomt en dat het antwoord dan vaak anders is dan de werkelijkheid. Ze hebben dit patroon zo goed geleerd, dat ze het zelfs toepassen waar het niet hoort.

• Voor de mens: Dit betekent dat we voorzichtig moeten zijn met zeggen dat AI's "menselijk" zijn. Ze kunnen het spelletje spelen, maar ze spelen het op een heel andere manier dan wij.
• De les: Als we willen weten of AI's echt begrijpen wat mensen voelen en denken, moeten we testen die niet afhankelijk zijn van specifieke woorden als "denken" of "weten". We moeten kijken of ze de situatie begrijpen, niet alleen de taal.

Het is een waarschuwing: Soms is een AI te goed in het raden van patronen, waardoor hij de echte betekenis mist.

Technische samenvatting

Probleemstelling

De Valse Overtuigingstest (False Belief Test - FBT) is de standaardmethode voor het beoordelen van de "Theory of Mind" (ToM), oftewel het vermogen om mentale toestanden van anderen te attribueren. Hoewel Large Language Models (LLMs) recentelijk hoge scores behalen op deze testen, blijft de betrouwbaarheid en het verklarende vermogen van deze resultaten beperkt. Er zijn drie hoofdproblemen:

1. Data-contaminatie: Het is vaak onduidelijk of testdata in de trainingsdata van de modellen is opgenomen.
2. Onvoldoende modeldetails: Veel studies gebruiken gesloten modellen, waardoor het moeilijk is om de invloed van modelgrootte, architectuur en trainingsfasen (pre-training, post-training) systematisch te analyseren.
3. Inconsistentie en oppervlakkige heuristieken: Modellen slagen vaak voor specifieke formuleringen maar falen bij kleine variaties, wat suggereert dat ze oppervlakkige patronen leren in plaats van echt sociaal-cognitief redeneren.

Methodologie

De auteurs hebben een systematische analyse uitgevoerd van 17 open-weight modelvarianten (uit families zoals OLMo, Llama, Gemma, Qwen en K2) tegen een gebalanceerde set van 192 varianten van de FBT (gebaseerd op Trott et al., 2023).

Experimenteel Ontwerp:

• Scenario's: Gebaseerd op klassieke FBT-scenario's (bijv. Maxi en de chocolade), waarbij een object wordt verplaatst terwijl de hoofdpersoon afwezig is (Valse Overtuiging) of aanwezig is (Ware Overtuiging).
• Variabelen: Elke scenario heeft 16 varianten die variëren in vier dimensies:
  1. Kennisstatus: Ware Overtuiging vs. Valse Overtuiging.
  2. Kennishint: Expliciet ("X denkt dat...") vs. Impliciet ("X gaat...").
  3. Locatievermelding: Volgorde van vermelding van start- en eindlocatie (controle voor primacy/recency bias).
• Berekening: De auteurs berekenden de conditionele waarschijnlijkheid van de antwoorden (Start- vs. Eindlocatie) met behulp van Bayesian Logistic Regression, waarbij correctie werd toegepast voor subword-tokenisatie (volgens Pimentel & Meister, 2024).
• Analyse: Er werd gebruikgemaakt van Bayesiaanse multilevel logistische regressie om het effect van modelgrootte, trainingsvariant (Base, Instruct, Reasoning) en hun interacties te meten.
• Vector Steering: Om de oorzakelijke drivers van het gedrag te isoleren, werd "vector steering" toegepast. Specifiek werd een "think-vector" geëxtraheerd (het verschil in hidden states tussen expliciete en impliciete prompts) en ingebracht tijdens inferentie om te testen of dit de uitkomst causaal beïnvloedt.

Belangrijkste Bijdragen en Resultaten

1. Schaling is niet lineair en niet altijd positief

• Het vergroten van de modelgrootte verbetert de prestaties bij Valse Overtuiging (False Belief), maar verslechtert deze juist bij Ware Overtuiging (True Belief).
• Dit leidt tot een "kruisingseffect" (crossover effect): grotere modellen worden beter in het herkennen van valse overtuigingen, maar slechter in het herkennen van ware overtuigingen. Dit suggereert dat schaling niet leidt tot robuust ToM, maar tot het versterken van specifieke patronen.

2. Het cruciale effect van "Expliciete Attitudes"

• De manier waarop de vraag wordt gesteld (Expliciet vs. Impliciet) heeft een fundamenteel effect.
• Expliciete hints ("X denkt...") helpen bij Valse Overtuiging maar schaden de prestaties bij Ware Overtuiging.
• Impliciete hints ("X gaat...") doen het omgekeerde: ze schaden Valse Overtuiging maar helpen Ware Overtuiging.
• Dit wijst erop dat het werkwoord "denken" (think) in de trainingsdata sterk geassocieerd wordt met situaties van epistemische divergentie (waar de spreker iets anders weet dan de persoon). Modellen leren hier een stereotiepe reactiepatroon op dat de werkelijke situatie kan overschaduwen.

3. Invloed van Post-Training (SFT, DPO, RLVR)

• Instruction Tuning (Instruct): Mitigeert de negatieve effecten van impliciete hints bij Valse Overtuiging enigszins.
• Reasoning Tuning: Versterkt het kruisingseffect dramatisch. Reasoning-modellen worden extreem goed in expliciete Valse Overtuiging, maar hun prestaties op Ware Overtuiging en impliciete scenario's dalen sterk. Dit suggereert dat reasoning-training modellen specialiseert in specifieke patronen ten koste van algemene robuustheid.

4. Case Study: OLMo 2

• Door de trainingsgeschiedenis van OLMo 2 te volgen, bleek dat het kruisingseffect al tijdens de pre-training ontstaat.
• Formele taalvaardigheden (gemeten via BLIMP) worden veel sneller verworven dan functioneel sociaal redeneren.
• Vector steering bevestigde dat de "think-vector" de causale driver is: het toevoegen van deze vector aan impliciete scenario's verhoogde de nauwkeurigheid, terwijl het verwijderen ervan de prestaties verlaagde. Dit bewijst dat het model gedreven wordt door de representatie van het werkwoord "denken" in plaats van diep sociaal begrip.

Significantie en Conclusie

De studie concludeert dat LLMs geen echte "Theory of Mind" bezitten in de menselijke zin, maar eerder stereotiepe responspatronen hebben geleerd die gekoppeld zijn aan mentale staten-vocabulaire (zoals "denken").

• Kritische bevinding: De prestaties van LLMs op ToM-taken zijn niet robuust; ze zijn sterk afhankelijk van de formulering van de prompt en de schaal van het model.
• Implicatie: Het succes van LLMs op sociale taken is vaak het resultaat van het leren van statistische correlaties in de trainingsdata (bijv. "denken" = "foutief") in plaats van het modelleren van een sociaal wereldmodel.
• Aanbeveling: Evaluaties van sociale intelligentie bij AI moeten voorzichtig zijn en gebruikmaken van gebalanceerde sets die variëren in hints en kennisstatus om oppervlakkige heuristieken te detecteren. Vector steering biedt een nieuwe, causale methode om te begrijpen hoe modellen tot een beslissing komen.

Kortom, de paper waarschuwt tegen het antropomorfiseren van LLMs op basis van oppervlakkige FBT-scores en benadrukt dat wat we zien, vaak een reflectie is van taalpatronen en niet van sociaal-cognitief inzicht.