💬 NLP

CoSToM:Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models

Dit paper introduceert CoSToM, een raamwerk dat causaliteitstheorie gebruikt om Large Language Models via gerichte activatiesturing in te stellen op intrinsiek Theory-of-Mind-redeneren, waardoor hun sociale vaardigheden en dialogen significant worden verbeterd zonder zware prompt-scaffolding.

Oorspronkelijke auteurs: Mengfan Li, Xuanhua Shi, Yang Deng

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mengfan Li, Xuanhua Shi, Yang Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wat is het probleem? (De "Robot die niet luistert")

Stel je voor dat je een zeer slimme robot hebt die alles over de wereld weet. Als je hem vraagt: "Wat denkt mijn vriendje over deze situatie?", dan kan hij het antwoord perfect geven. Hij heeft de kennis.

Maar als je hem vervolgens vraagt om te praten met die vriendje in een gesprek, doet hij soms iets raars. Hij vergeet plotseling wat hij net wist. Hij reageert alsof hij de gedachten van de ander niet kent, zelfs als hij die kennis net heeft getoond.

Het is alsof een acteur die zijn tekst perfect heeft geleerd, op het podium staat en ineens vergeet wie zijn tegenspeler is. Hij weet het intern, maar hij gebruikt het niet in zijn gedrag. Dit noemen de auteurs een "misalignment" (een gebrek aan overeenstemming) tussen wat de robot weet en wat hij doet.

Wat is de oplossing? (COSTOM)

De auteurs hebben een nieuwe methode bedacht, genaamd COSTOM. De naam klinkt als "costume" (kostuum), maar het staat voor Causal-oriented Steering (Sturen op oorzaak en gevolg).

Je kunt COSTOM zien als een chirurgische ingreep in de hersenen van de robot, in plaats van hem gewoon nieuwe instructies te geven.

Stap 1: De "Röntgenfoto" (Causal Tracing)

Eerst kijken de onderzoekers precies waar in de "hersenen" van de robot (de lagen van het model) de informatie over gedachten en gevoelens zit opgeslagen.

De ontdekking: Ze ontdekten dat deze informatie niet in de diepe, complexe lagen zit (zoals men dacht), maar verrassend genoeg in de allereerste lagen, vlakbij de ingang.
De analogie: Het is alsof je denkt dat de geheime code van een bank in de kluis (diep in het gebouw) zit, maar je merkt dat hij eigenlijk op een post-it briefje ligt op de voordeur (de eerste laag).

Stap 2: Het "Sturen" (Activation Steering)

Nu weten ze waar de "gedachten-knoppen" zitten. In plaats van de hele robot opnieuw te leren (wat duur en langzaam is), sturen ze alleen die specifieke knoppen in de eerste lagen.

Hoe werkt het? Ze gebruiken een soort "rem" en "gaspedaal" op de interne signalen. Ze zorgen ervoor dat de robot zijn eigen gedachten over de ander (wat de ander wil, gelooft, van plan is) actief vasthoudt terwijl hij een antwoord bedenkt.
De analogie: Stel je voor dat de robot een auto is die vaak de weg vergeet. COSTOM is niet het vervangen van de hele motor, maar het installeren van een GPS die constant de route herhaalt in het hoofd van de bestuurder, zodat hij nooit de afslag mist.

Waarom is dit zo goed?

Het is lichtgewicht: Ze hoeven de hele robot niet te herschrijven. Ze passen slechts een heel klein stukje aan (zoals het vervangen van een paar schroeven in een heel groot schip).
Het werkt echt: Na deze ingreep praat de robot niet alleen slimmer over gedachten, maar hij gedraagt zich ook als iemand die echt luistert. In onderhandelingen en overredingstaken (zoals in de tests) reageert hij veel menselijker en empathischer.
Het is stabiel: Zonder COSTOM verdwijnt de "gedachten-informatie" vaak als de robot verder praat (het verdampt). Met COSTOM blijft die informatie helder en sterk, van begin tot eind van het gesprek.

Samenvattend

Stel je voor dat je een robot wilt die een goede gesprekspartner is.

Vroeger: Je gaf hem een lange lijst met regels: "Denk eraan dat de ander honger heeft." Maar hij vergeet het snel.
Met COSTOM: De onderzoekers kijken in de robot, vinden precies waar het idee "honger" zit opgeslagen, en zorgen ervoor dat dit idee altijd actief blijft terwijl de robot praat.

Het resultaat is een robot die niet alleen slim is, maar ook sociaal slim: hij begrijpt wat jij voelt en denkt, en hij gebruikt dat begrip om echt goede gesprekken te voeren.

Titel

COSTOM: Causal-georiënteerde sturing voor intrinsieke Theory-of-Mind-alignatie in Large Language Models

1. Het Probleem

Theory of Mind (ToM) is het vermogen om mentale toestanden (zoals overtuigingen, verlangens en intenties) toe te schrijven aan anderen, een fundamenteel aspect van sociale intelligentie. Hoewel Large Language Models (LLMs) goede resultaten behalen op standaard ToM-benchmarks, vertonen ze een kritieke misalignatie in complexe, taakspecifieke scenario's:

Gebrek aan generalisatie: LLMs kunnen mentale toestanden vaak correct infereren in gestructureerde tests, maar falen om deze kennis toe te passen in dynamische dialogen (bijv. onderhandelingen of persuasie).
Afhankelijkheid van prompt-scaffolding: Het ToM-gedrag is vaak fragiel en afhankelijk van expliciete instructies in de prompt. Zodra deze instructies worden verwijderd, vervalt het model naar inconsistente of niet-sociale antwoorden.
Intrinsieke onzekerheid: Het is onduidelijk of LLMs daadwerkelijk intrinsieke ToM-cognitie bezitten of dat ze slechts oppervlakkige patronen nabootsen. De vraag is of deze interne kennis kan worden omgezet in stabiel, hoogwaardig gedrag zonder externe "kruipen" (scaffolding).

2. Methodologie: Het COSTOM Framework

COSTOM is een raamwerk dat overstapt van passieve mechanistische interpretatie naar actieve interventie. Het bestaat uit drie fasen:

Fase 1: ToM Interpretatie (Locatie via Causal Tracing)

Om te bepalen waar ToM-informatie in het model zit, gebruiken de auteurs causal tracing.

Opzet: Een context-encoder verwerkt de dialooggeschiedenis. De interne activeringen ( $h_\ell$ ) van specifieke lagen worden "gepakt" en ingevoerd in een bevroren "probe decoder".
Doel: De decoder probeert mentale toestanden (BDI: Belief, Desire, Intention) te reconstrueren puur op basis van deze gevangen activeringen.
Resultaat: Dit onthult dat ToM-gerelateerde informatie niet verspreid is over het hele model, maar overwegend geconcentreerd is in de vroege lagen (shallow layers, bijv. laag 0-3) van de transformer-architectuur.

Fase 2: ToM Sturing (Alignatie via Activeringsinterventie)

Op basis van de gevonden lagen wordt een stuurmechanisme ontwikkeld om de interne representaties te verbeteren.

Stuurdoel: Een supervisie-objectief wordt gedefinieerd waarbij de decoder fungeert als een differentieerbare verifier. De loss wordt berekend door de voorspellingen van de decoder te vergelijken met de grondwahrheid (ground-truth BDI-labels).
Gradient Bridge Mechanism: De gradienten van deze loss worden teruggepropageerd door de decoder, kruisen de interface van de gevangen activeringen, en stromen terug naar de context-encoder.
Efficiëntie: Alleen de lagen voor de interface (de vroege lagen) worden bijgewerkt via LoRA (Low-Rank Adaptation). De diepere lagen en de decoder blijven bevroren. Dit zorgt voor een lichte, parameter-efficiënte aanpassing die de encoder "stuurt" om rijkere ToM-representaties te genereren.

Fase 3: ToM Benutting (Verbetering van Dialooggeneratie)

Tijdens inferentie wordt de getune encoder gebruikt om de dialooggeschiedenis te coderen. De verkregen, "ToM-verrijkte" activeringen worden doorgegeven aan de decoder, die nu een taakspecifieke instructie (bijv. "onderhandel") ontvangt in plaats van een ToM-vraag. Hierdoor vertaalt het model de interne sociale redenering direct naar coherent gedrag.

3. Belangrijkste Bijdragen

ToM Interpretatie: Systematische tracing toont aan dat ToM-kenmerken primair in de vroege lagen van LLMs worden gecodeerd, wat de hypothese weerlegt dat hoogwaardig redeneren uitsluitend in diepe lagen plaatsvindt.
Efficiënte Interventie: COSTOM introduceert een lichtgewicht framework dat stabiel, menselijk lijkend sociaal redeneren induceert door alleen een klein subset van parameters in de kritieke lagen bij te werken.
Plug-and-Play Modulariteit: Het werkt als een module die generaliseert over verschillende sociale interactietaken (onderhandeling, persuasie) zonder volledige hertraining van het model.

4. Resultaten

De auteurs evalueren COSTOM op twee datasets: NEGOTIATIONTOM en PERSUASIVETOM, met modellen zoals Llama-3 en Qwen2.5.

RQ1 (Interpretatie): Causal tracing bevestigt dat ToM-informatie in de vroege lagen (0-3) het meest decodable is. De decodability van "intentie" is complexer en verschuift iets naar diepere lagen dan "overtuigingen" of "verlangens", maar blijft relatief hoog in de vroege fase.
RQ2 (Effectiviteit van Sturing):
- Stabiliteit: COSTOM voorkomt het "verdwijnen" van ToM-informatie in diepere lagen (representation collapse). Waar basismodellen hun ToM-kennis verliezen naarmate ze genereren, behoudt COSTOM een hoogwaardige representatie door het hele netwerk.
- Signaalversterking: De methode herstelt gecollabseerde signalen (bijv. van 2% naar 51% nauwkeurigheid in diepe lagen) en versterkt bestaande signalen (bijv. van 51% naar 99% in vroege lagen).
RQ3 (Dialoogkwaliteit):
- Prestaties: COSTOM presteert aanzienlijk beter dan zero-shot prompting, volledige fine-tuning (Full-Layer LoRA) en andere methoden zoals MindDial.
- Kwaliteit: Er is een significante verbetering in ToM-redeneringskwaliteit (bijv. een stijging van 0,081 naar 0,499 bij Llama-3), contextuele coherentie en strategische effectiviteit.
- Vergelijking: Lokale interventie (alleen vroege lagen) werkt beter dan globale optimalisatie, omdat globale tuning ruis introduceert en cruciale pre-getrainde features overschrijft.

5. Betekenis en Conclusie

COSTOM bewijst dat LLMs intrinsieke ToM-cognitie bezitten, maar dat deze vaak niet stabiel wordt geactiveerd in generatieve taken. Door causale tracing te combineren met gerichte activeringssturing, kunnen deze interne mechanismen worden "ontgrendeld" en gealigneerd met menselijk sociaal gedrag.

Technische Impact: Het biedt een nieuwe weg voor het verbeteren van sociale AI zonder de noodzaak van enorme hoeveelheden data of volledige hertraining.
Praktische Toepassing: Het is een plug-and-play oplossing voor chatbots in domeinen zoals onderhandeling, persuasie en aanbevelingssystemen, waar begrip van de gebruiker essentieel is.
Beperkingen: De methode vereist toegang tot de interne gewichten en activeringen van het model (open weights), waardoor het momenteel niet direct toepasbaar is op gesloten API-modellen.

Samenvattend biedt COSTOM een mechanistisch inzicht in hoe LLMs sociale redenering internaliseren en hoe we deze kunnen sturen om robuustere, menselijker interacties te creëren.