💬 NLP

From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

Deze studie toont aan dat de semantische geometrie van de verborgen staten in grote taalmodellen beter kan worden gereconstrueerd uit gedragsmatige gedwongen-keuze-experimenten dan uit vrije associaties, wat aantoont dat gedragstaken waardevolle informatie over interne cognitieve toestanden onthullen.

Oorspronkelijke auteurs: Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Van Associaties naar Activa: Hoe we het 'brein' van een AI kunnen lezen door naar zijn gedrag te kijken

Stel je voor dat je een grote, mysterieuze robot hebt die alles over de wereld weet, maar je mag hem niet openmaken. Je kunt hem niet zien hoe zijn interne schakelaars werken of hoe zijn 'gedachten' (de data in zijn geheugen) eruitzien. Je kunt alleen zien wat hij doet als je hem iets vraagt.

Deze paper is als een detectiveverhaal. De onderzoekers willen weten: Kunnen we het interne 'landschap' van een kunstmatige intelligentie (LLM) reconstrueren puur door te kijken naar zijn antwoorden?

Hier is hoe ze dat deden, vertaald in alledaagse taal:

1. Het Experiment: Twee manieren om te vragen

De onderzoekers gaven acht verschillende AI-modellen een lijst van 5.000 woorden (zoals 'hond', 'kat', 'appel') en vroegen ze op twee verschillende manieren om te reageren.

Manier A: De Vrijheid (Free Association)
- Het spel: "Noem direct de eerste 5 woorden die bij 'hond' in je opkomen."
- De analogie: Dit is alsof je iemand op een feestje vraagt: "Noem maar wat op!" Iedereen zegt wat hij wil. Soms zeggen ze iets raars, soms iets heel logisch. Het is creatief, maar ook een beetje rommelig en onvoorspelbaar.
- Het resultaat: De AI gaf veel verschillende antwoorden, maar het was lastig om een duidelijk patroon te zien.
Manier B: De Meerkeuze (Forced Choice)
- Het spel: "Kies uit deze lijst van 16 woorden de 2 die het beste bij 'hond' passen."
- De analogie: Dit is alsof je iemand een quiz geeft. Je dwingt ze om te vergelijken en een keuze te maken. Het is minder vrij, maar veel gerichter.
- Het resultaat: De AI gaf veel consistenter en logischer antwoorden.

2. De Vergelijking: Gedrag vs. Het Interne Brein

Nu komt het spannende deel. De onderzoekers hadden twee dingen:

Het Gedrag: De lijsten met antwoorden die de AI gaf (de quiz en de vrije associaties).
Het Interne Brein: De eigenlijke 'gedachten' van de AI op het moment dat hij antwoordde. Dit zijn de getallen (activaties) die door de lagen van het neurale netwerk vloeien.

Ze gebruikten een meetlat genaamd RSA (Representational Similarity Analysis). Denk hierbij aan het vergelijken van twee landkaarten:

Landkaart 1: De kaart van hoe de AI zich gedraagt (welke woorden hij koppelt).
Landkaart 2: De kaart van hoe de AI echt denkt (de interne getallen).

De grote vraag: Lijken deze twee kaarten op elkaar? Als de AI zegt dat 'hond' en 'kat' op elkaar lijken (gedrag), betekent dat dan ook dat ze in zijn interne brein op dezelfde plek staan?

3. De Resultaten: De Quiz wint!

Hier zijn de belangrijkste bevindingen, vertaald in simpele termen:

De Meerkeuze (Forced Choice) werkt geweldig:
De manier waarop de AI antwoorden koos in de quiz (Manier B) bleek zeer sterk overeen te komen met zijn interne gedachten. Het gedrag was als een perfecte spiegel van wat er in het 'brein' gebeurde. Als je de quiz-antwoorden van de AI analyseerde, kon je vrij nauwkeurig voorspellen hoe de AI intern over die woorden dacht.
De Vrijheid (Free Association) werkt minder goed:
De vrije antwoorden (Manier A) waren veel rommeliger. Het patroon in de antwoorden leek veel minder op de interne structuur. Het was alsof je probeert een gedetailleerde kaart te tekenen van een stad op basis van wat mensen roepen als ze in een drukke markt staan: er is wel een patroon, maar het is erg ruisig.
De 'Meerkeuze' is een krachtig gereedschap:
Het onderzoek toont aan dat je niet de geheime code van een AI nodig hebt om te weten hoe hij denkt. Als je de AI slim genoeg vraagt (via een meerkeuze-quiz), kun je zijn interne wereld bijna volledig reconstrueren puur op basis van zijn gedrag.

4. Waarom is dit belangrijk?

Stel je voor dat je een zwarte doos hebt (een AI) en je wilt weten of hij eerlijk is of hoe hij redeneert. Meestal moet je de doos openmaken om dat te zien.

Deze paper zegt: "Nee, je hoeft de doos niet open te maken!"
Als je de AI op de juiste manier test (met gestructureerde vragen zoals een meerkeuze), kun je zien wat er binnenin gebeurt. Dit is een enorme stap vooruit in het begrijpen van AI's zonder dat we toegang nodig hebben tot hun geheime interne code.

Samenvattend in één zin:
Het gedrag van een AI is als een raam; als je door de juiste ramen (meerkeuzevragen) kijkt, zie je precies hoe het interieur (de interne gedachten) eruitziet, maar als je door de verkeerde ramen (vrije antwoorden) kijkt, zie je alleen maar nevel.

Probleemstelling

In de cognitieve wetenschap wordt semantische kennis vaak behandeld als een latente structuur die niet direct waarneembaar is, maar wel afgeleid kan worden uit gedrag (bijv. woordassociaties). Bij grote taalmodellen (LLMs) zijn echter zowel het gedrag als de interne representaties (hidden states) direct waarneembaar. Een centrale open vraag is: in welke mate kan de interne semantische geometrie van een LLM worden gereconstrueerd op basis van zijn gedrag in psycholinguïstische experimenten? Bestaand onderzoek vergelijkt vaak modelgedrag met menselijk gedrag, maar dit paper onderzoekt de link tussen het gedrag van het model en zijn eigen interne neurale activaties.

Methodologie

De auteurs hebben een uitgebreid experimenteel raamwerk ontwikkeld om de overeenkomst tussen "gedragsgeometrie" en "hidden-state geometrie" te kwantificeren.

Datasets en Modellen:
- Er zijn 8 instructie-geoptimaliseerde transformer-modellen gebruikt (o.a. Llama-3.1, Mistral, Gemma, Falcon, phi-4).
- Een gedeelde vocabulaire van 5.000 zelfstandige naamwoorden (hoogfrequente woorden uit SUBTLEX-US) werd gebruikt.
- Er zijn in totaal 17,5 miljoen trials verzameld.
Experimentele Paradigma's (Gedragsdata):
Twee psycholinguïstische taken werden op de modellen toegepast om semantische relaties te extraheren:
- Forced Choice (FC): Het model krijgt een cue-woord en een lijst van 16 kandidaat-woorden, en moet er precies 2 selecteren die het meest gerelateerd zijn. Dit resulteert in een dichte cue-respons matrix.
- Free Association (FA): Het model krijgt een cue-woord en moet 5 associaties genereren. Dit resulteert in een dunnere, zwaarder staartverdelende matrix.
- De responsen werden verwerkt tot gedrags-similariteitsmatrices ( $S_{beh}$ ) met behulp van Cosine Similariteit op PPMI-gewogen (Positive Pointwise Mutual Information) cue-respons tellingen.
Hidden-State Extractie:
Voor hetzelfde vocabulaire werden de interne woordrepresentaties geëxtraheerd op verschillende lagen van de transformer. Er werden vier extractiestrategieën gebruikt om de context te definiëren:
- Averaged: Gemiddeld over 50 natuurlijke zinnen uit het C4-corpus.
- Meaning: Een vaste prompt ("Wat is de betekenis van woord X?").
- Task (FC/FA): De prompt gebruikt voor de gedragsexperimenten (zonder de kandidatenlijst bij FC).
- De Hidden-State Similarity Matrices ( $S_{hid}$ ) werden berekend als cosine-similariteit tussen de geëxtraheerde vectorrepresentaties per laag.
Evaluatiemethoden:
- Representational Similarity Analysis (RSA): Berekening van de Pearson-correlatie tussen de paar-paar similariteiten van de gedragsmatrices en de hidden-state matrices.
- Nearest-Neighbor Overlap (NN@k): Meting van hoe goed de $k$ -dichtstbijzijnde buren in de gedragsruimte overeenkomen met die in de hidden-state ruimte.
- Held-out-words Ridge Regression: Een regressiemodel dat de hidden-state similariteit voorspelt op basis van gedragsdata, FastText, BERT en een cross-model consensus, om te testen of gedragsdata extra informatie bevat boven bestaande lexische baselines.

Belangrijkste Resultaten

Forced Choice vs. Free Association:
- Forced Choice (FC) gedrag vertoont een substantieel sterkere alignatie met de interne hidden-state geometrie dan Free Association (FA).
- De RSA-correlatie voor FC ligt gemiddeld rond $r = 0,46$ (afhankelijk van de extractiestrategie), terwijl FA aanzienlijk lager ligt rond $r = 0,19$ .
- Reden: FC concentreert de observaties op een gedeelde set van kandidaten, wat leidt tot een dikkere, minder ruisgevoelige matrix. FA is te verspreid en "heavy-tailed", wat het signaal-ruisverhouding verlaagt voor geometrische reconstructie.
Invloed van Extractiecontext:
- De alignatie is het sterkst wanneer de hidden-states worden geëxtraheerd in een context die overeenkomt met de gedragsopdracht (bijv. "Task (FC)" prompt voor FC-gedrag).
- Taak-gerichte prompts en "Meaning"-prompts tonen de beste alignatie in de eerdere tot midden-lagen van het netwerk.
- Het "Averaged"-strategie (natuurlijke contexten) verschuift de piek van alignatie naar diepere lagen.
Voorspellend Vermogen (Ridge Regression):
- Gedragsdata (vooral FC) kan de interne similariteit van een model voorspellen, zelfs na correctie voor lexische baselines (FastText, BERT) en een cross-model consensus.
- Het toevoegen van FC-gedragsdata aan de regressie verhoogde de $R^2$ met gemiddeld +0,022, wat aantoont dat gedragsmetingen waarneembare informatie bevatten over de interne semantische structuur die niet in de woordenlijst of andere modellen zit.
Cross-Model Consensus:
- Een sterke bevinding is dat de interne geometrie van een model sterk wordt voorspeld door de gemiddelde geometrie van andere modellen (cross-model consensus). Dit ondersteunt het idee van een gedeelde, "universele" semantische subruimte tussen diverse LLMs.

Bijdragen

Behavior-Activation Alignment: Een systematische kwantificering van wanneer en hoe interne representaties van LLMs overeenkomen met hun gedrag, met een duidelijke voorkeur voor gestructureerde taken (FC) boven open-ended taken (FA).
Predictive Validity: Het bewijs dat gedragsmetingen (zonder toegang tot logits) voldoende informatie bevatten om de interne semantische geometrie te reconstrueren.
Groot Dataset: Publicatie van een dataset van 17,5 miljoen trials en de bijbehorende code voor reproduceerbaarheid.

Significantie en Implicaties

Dit paper is significant voor het veld van interpretability en cognitieve modellering:

Validatie van Gedragsproeven: Het bevestigt dat zorgvuldig ontworpen gedragsproeven (zoals Forced Choice) als meetinstrumenten kunnen fungeren om interne cognitieve staten van AI-systemen te onthullen, zelfs zonder toegang tot de interne "black box".
Methodologische Richting: Het suggereert dat open-ended generatie (FA) mogelijk te veel ruis bevat voor precieze geometrische reconstructie, terwijl gestructureerde keuzetaken (FC) een krachtiger signaal leveren.
Cognitieve Wetenschap: Het biedt een brug tussen traditionele psycholinguïstische methoden en moderne deep learning, en toont aan dat de "meaning" die een model uitdrukt via gedrag, een directe projectie is van zijn interne vectorruimte.

Kortom, de studie concludeert dat we de interne semantische wereld van een LLM kunnen "lezen" via zijn gedrag, mits we de juiste meetinstrumenten (zoals Forced Choice) en extractiestrategieën gebruiken.