💬 NLP

Mechanistic Interpretability of Cognitive Complexity in LLMs via Linear Probing using Bloom's Taxonomy

Deze studie toont aan dat Large Language Models cognitieve complexiteitsniveaus, gedefinieerd door de taxonomie van Bloom, coderen in een lineair scheidbare subspace van hun interne representaties, waarbij een hoge classificatienauwkeurigheid wordt bereikt en wordt gesuggereerd dat cognitieve moeilijkheid vroeg in de forward pass wordt opgelost.

Oorspronkelijke auteurs: Bianca Raimondi, Maurizio Gabbrielli

Gepubliceerd 2026-07-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bianca Raimondi, Maurizio Gabbrielli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te vogelen hoe een super slimme robot denkt. Een tijdje lang behandelden wetenschappers deze robots, genaamd Large Language Models (LLM's), als magische zwarte dozen. Je typt een vraag in, en er komt een perfect antwoord uit, maar niemand weet hoe de robot daar gekomen is. Het is alsof je een chef-kok een gastronomisch gerecht ziet bereiden zonder ooit de keuken of de ingrediënten te zien. Recentelijk is een veld genaamd "mechanistic interpretability" begonnen met het nieuwsgierig kijken in die keuken, in een poging de hersencircuits van de robot in kaart te brengen. Eén grote vraag die zij stellen is: begrijpt de robot de moeilijkheidsgraad van een taak werkelijk, of gokt hij gewoon op basis van de woorden die hij ziet? Om dit te beantwoorden, gebruiken onderzoekers een beroemd educatief hulpmiddel genaamd "Bloom's Taxonomy". Denk aan dit als een ladder van denkvaardigheden. De onderste sport is simpel geheugen (het opzeggen van een feit) en de bovenste sport is hoogwaardige creativiteit (iets nieuws ontwerpen). Als een robot echt slim is, zouden zijn interne hersensignalen moeten veranderen terwijl je deze ladder beklimt, net zoals het menselijk brein dat doet bij de overgang van het onthouden van een datum naar het oplossen van een complex mysterie.

Dit artikel neemt een vergrootglas om de hersenen van de robot om te zien of hij zijn gedachten organiseert volgens deze ladder van moeilijkheidsgraad. De onderzoekers, Bianca Raimondi en Maurizio Gabbrielli, stelden de robot niet alleen vragen; ze keken naar de elektrische signalen (activaties) binnen de hersenen van de robot terwijl deze aan het denken was. Ze testten vier verschillende populaire robotbreinen (Llama, Qwen, Gemma en DeepSeek) met 1.128 vragen, variërend van eenvoudige "definieer dit"-taken tot complexe "ontwerp een nieuw systeem"-uitdagingen. Ze wilden weten: kunnen we een eenvoudige rechte lijn door de hersendata van de robot trekken om te zien of hij een simpele geheugentaak uitvoert of een complexe creatieve taak?

Het antwoord is een volmondig ja, en het gebeurt verrassend snel. Het team ontdekte dat zodra de robot een zin verwerkt (binnen de eerste paar lagen van zijn brein), hij al weet hoe moeilijk de taak is. Ze noemen dit moment de "Cognitive Separability Onset". Het is alsof de robot een speciale "moeilijkheidsschakelaar" heeft die bijna onmiddellijk omgaat. Tegen laag 5 (van de 30 tot 36 lagen in deze modellen) zijn de hersensignalen van de robot voor "Onthouden" zo duidelijk verschillend van "Creëren" dat een eenvoudig wiskundig hulpmiddel ze met ongeveer 90% nauwkeurigheid van elkaar kan onderscheiden. Het is alsof de robot zijn gedachten sorteert in nette, aparte stapels op basis van hoe moeilijk de klus is, en hij doet dit nog voordat hij begint met het schrijven van het antwoord.

Nog cooler is dat de robot fouten maakt op een zeer menselijke manier. Wanneer de robot in de war raakt, verwart hij meestal stappen die direct naast elkaar op de ladder staan. Bijvoorbeeld, hij kan "Analyseren" verwarren met "Evalueren", maar hij verwart bijna nooit "Onthouden" met "Creëren". Dit suggereert dat de robot niet alleen willekeurige labels onthoudt; hij heeft een mentale kaart gebouwd waarbij de moeilijkheidsniveaus zijn gerangschikt in een vloeiende, geordende lijn, precies zoals de onderwijstheorie bedoeld is.

Om er zeker van te zijn dat de robot niet vals speelde door naar eenvoudige aanwijzingen te kijken (zoals het opmerken dat "ontwerp" meestal "moeilijk" betekent en "lijst" meestal "gemakkelijk" betekent), voerden de onderzoekers controletests uit. Ze probeerden de moeilijkheidsgraad te raden met alleen de woorden op de pagina, zonder naar de hersenen van de robot te kijken. Die eenvoudige methode van woordtelling faalde jammerlijk en behaalde slechts ongeveer 73% nauwkeurigheid en maakte willekeurige, verspreide fouten. Dit bewijst dat de robot daadwerkelijk iets diepers doet dan alleen de prompt lezen; hij bouwt een complexe interne representatie van de moeilijkheidsgraad van de taak.

Ten slotte probeerde het team de hersenen van de robot te "sturen". Ze vonden een specifieke richting in de hersensignalen van de robot die wijst naar "hogere moeilijkheidsgraad". Wanneer ze de hersenen van de robot in die richting duwden, veranderden de antwoorden van de robot daadwerkelijk. Als ze een eenvoudige vraag richting de "creatieve" richting duwden, begon de robot meer complexe, analytische antwoorden te geven. Echter, als ze te hard of te laat in het proces duwden, begon de robot te stotteren en woorden te herhalen, wat aantoont dat deze "richting van moeilijkheid" een echt, functioneel onderdeel is van hoe de robot denkt, en niet slechts een passief patroon.

Kortom, dit artikel suggereert dat deze AI-modellen een ingebouwd, meetbaar gevoel hebben voor cognitieve complexiteit. Ze verwerken niet alleen woorden; ze organiseren hun interne gedachten volgens een ladder van moeilijkheid, waarbij ze eenvoudige feiten scheiden van complexe ideeën in een gestructureerde, lineaire manier die het menselijk leren weerspiegelt. Deze ontdekking geeft ons een nieuwe manier om in de zwarte doos te kijken en te begrijpen dat deze modellen, op sommige manieren, hun "gedachten" veel meer zoals wij organiseren.

Technische Samenvatting: Mechanistische Interpreteerbaarheid van Cognitieve Complexiteit in LLM's via Lineaire Probing met behulp van Bloom's Taxonomie

Probleemstelling

Large Language Models (LLM's) hebben indrukwekkende capaciteiten getoond in complexe redeneringen en generatie, maar hun interne mechanismen blijven een "black box". Huidige evaluatiekaders vertrouwen zwaar op oppervlakkige prestatie-indicatoren (bijv. de correctheid van het antwoord), die er niet in slagen om onderscheid te maken tussen het uit het hoofd leren (rote memorisatie) en werkelijke meerstapsredenering. Dit artikel adresseert de noodzaak om de cognitieve diepte van LLM's te beoordelen door te onderzoeken of hun interne neurale representaties een hiërarchische structuur van cognitieve complexiteit coderen, specifiek afgestemd op Bloom's Taxonomie (Onthouden, Begrijpen, Toepassen, Analyseren, Evalueren, Creëren). De kernonderzoeksvragen richten zich op de vraag of deze cognitieve niveaus lineair scheidbaar zijn binnen de residual streams van het model, op welk diepteniveau ze verschijnen, en of deze representaties causaal actief zijn tijdens de generatie.

Methodologie

De studie maakt gebruik van een mechanistische interpreteerbaarheid-benadering via lineaire probing op de activaties van de residual stream van vier state-of-the-art open-weight LLM's: Llama-3.1-8B-Instruct, Qwen3-4B-Instruct-2507, gemma-3-4b-it, en DeepSeek-R1-Distill-Llama-8B.

Dataset Constructie: Een gebalanceerde dataset van 1.128 natuurlijke taalvragen werd samengesteld, met 188 vragen per Bloom-taxonomie-niveau (0–5). De bronnen omvatten Computer Science-cursenvragen en de EduQG-dataset. De dataset werd gedownsampled om klassenbalans te waarborgen en te voorkomen dat statistische priors de nauwkeurigheid van de probe zouden beïnvloeden.
Activatie Extractie: Voor elk model voerden de auteurs een forward pass uit zonder fine-tuning, waarbij de verborgen toestandsvector ( $x_l$ ) bij de laatste tokenpositie werd geëxtraheerd voor elke laag $l$ in de residual stream.
Lineaire Probing: Een logistische regressieclassifier werd getraind op elke laag om het Bloom-niveau ( $y \in \{0, \dots, 5\}$ ) te voorspellen vanuit de geëxtraheerde activatievectoren. Het gebruik van een lineaire probe zorgt ervoor dat succesvolle classificatie reflecteert dat informatie lineair decodeerbaar is vanuit de representaties, in plaats van te vertrouwen op het expressieve vermogen van niet-lineaire classifiers.
Controlexperimenten: Om de mogelijkheid uit te sluiten dat de probe-nauwkeurigheid uitsluitend werd gedreven door oppervlakkige lexicale aanwijzingen (bijv. specifieke werkwoorden zoals "definiëren" versus "ontwerpen"), vergeleken de auteurs hun resultaten met:
- Lengte-analyse: Het verifiëren dat er geen significante lengteverschillen tussen de niveaus waren.
- Oppervlakkige Baselines: Het trainen van logistische regressie op TF-IDF-vectoren en zin-embeddings van de ruwe tekst.
Causale Validatie (Activatie Steering): Om te testen of deze representaties causaal actief zijn, definieerden de auteurs steering-vectoren als het verschil tussen de gemiddelde activaties van het hoogste cognitieve niveau (Creëren) en lagere niveaus. Deze vectoren werden met variërende sterkte ( $\alpha$ ) in de residual stream op verschillende lagen geïnjecteerd om verschuivingen in het voorspelde cognitieve niveau van het model en de kwalitatieve aard van de gegenereerde outputs te observeren.

Belangrijkste Resultaten

1. Lineaire Scheidbaarheid en Cognitieve Scheidbaarheids-onset (CSO)

De lineaire probes bereikten een hoge nauwkeurigheid (nabij de plafondprestatie) over alle modellen heen, wat aangeeft dat cognitieve complexiteit gecodeerd is in een lineair toegankelijke subspace van de residual stream.

Emergentie-diepte: Cognitieve diepte is niet lineair scheidbaar op het niveau van de input of de embedding. In plaats daarvan vindt er consistent rond Laag 5 over verschillende architecturen heen een Cognitieve Scheidbaarheids-onset (CSO) plaats.
Stabiliteit: Zodra de CSO is bereikt, blijft de probe-nauwkeurigheid stabiel of verbetert deze licht in diepere lagen, wat suggereert dat de representatie van cognitieve complexiteit vroeg wordt vastgesteld en behouden blijft, in plaats van bij elke stap opnieuw te worden berekend.

2. Geometrische Structuur en Foutpatronen

Centroid Analyse: De Euclidische afstand tussen de centroids van aangrenzende Bloom-niveaus neemt monotoon toe met de diepte, wat wijst op een progressieve geometrische ontwarring van de cognitieve niveaus.
Gestructureerde Fouten: Verwarringsmatrices laten zien dat misclassificaties voornamelijk optreden tussen aangrenzende Bloom-niveaus (bijv. Analyseren versus Evalueren). Lange-afstands-fouten (bijv. Onthouden versus Creëren) zijn zeldzaam. Dit suggereert dat het model cognitieve diepte codeert als een continue, geordende manifold in plaats van willekeurige discrete klassen, wat de ordinale structuur van de menselijke onderwijstheorie weerspiegelt.

3. Controlexperimenten

Oppervlakkige tekstbaselines (TF-IDF en zin-embeddings) behaalden een significant lagere nauwkeurigheid (~~61–73%) vergeleken met de residual stream probes (~~90%). Bovendien waren de foutpatronen in de oppervlakkige baselines ruisachtig en niet-ordinaal, terwijl de fouten in de residual stream strikt aangrenzend waren. Dit bevestigt dat de waargenomen cognitieve structuur niet louter een reflectie is van oppervlakkige lexicale aanwijzingen, maar een interne, diepere organisatie van de latente ruimte van het model vertegenwoordigt.

4. Causale Validatie via Steering

Experimenten met activatie-steering toonden aan dat het verstoren van de residual stream langs de geïdentificeerde cognitieve richting een systematische verschuiving in het gedrag van het model induceert:

Laag-afhankelijkheid: Steering in vroege/intermediaire lagen (bijv. Laag 5) resulteerde in coherente verschuivingen in de redeneerstijl (bijv. van het opsommen van feiten naar het analyseren van relaties). Steering in diepere lagen leidde vaak tot degradatie van de fluentie en herhaling, zonder betekenisvolle veranderingen in het redeneren.
Sterkte-afhankelijkheid: Matige steering-sterktes produceerden interpreteerbare transities in de cognitieve inkadering, terwijl hoge sterktes instabiliteit veroorzaakten.
Verschuivingsmagnitude: Interventies induceerden een gemiddelde verschuiving van +1 tot +1,5 Bloom-niveau in het door de probe voorspelde cognitieve niveau.

Betekenis en Claims

Het artikel claimt direct mechanistisch bewijs te leveren dat LLM's spontaan hun interne representaties organiseren om een hiërarchische cognitieve vraagstelling te coderen, geabstraheerd van specifieke domeininhoud.

Voorbij Oppervlakkige Metrieken: De bevindingen suggereren dat cognitieve complexiteit niet alleen een gedragsmatige output is, maar een structurele eigenschap van de latente ruimte van het model, die vroeg in de forward pass emergeert.
Bloom's Taxonomie als Lens: De studie valideert Bloom's Taxonomie als een nuttig kader, niet alleen voor menselijk onderwijs, maar ook voor het analyseren van de interne mechanismen van AI, waarbij wordt aangetoond dat modellen hun interne geometrie afstemmen op menselijke cognitieve hiërarchieën.
Causale Relevantie: Door aan te tonen dat het sturen van deze representaties het gedrag van het model verandert, beargumenteren de auteurs dat deze cognitieve representaties causaal actieve componenten zijn van het generatieproces, en niet slechts correlationele artefacten.

De auteurs houden een bescheiden reikwijdte aan en merken op dat hun analyse momenteel beperkt is tot decoder-only transformers en Engelse educatieve vragen. Zij stellen dat deze resultaten de basis leggen voor toekomstig werk met betrekking tot het monitoren en reguleren van AI-cognitieve instellingen via hun neurale correlaten, bewegend naar evaluatiestandaarden die vergelijkbaar zijn met menselijke intelligentie.