💬 NLP

Levels of Analysis for Large Language Models

Dit paper stelt een raamwerk voor om grote taalmodellen te begrijpen door cognitiewetenschappelijke methoden toe te passen die zijn gebaseerd op David Marr's niveaus van analyse.

Oorspronkelijke auteurs: Alexander Y. Ku, Declan Campbell, Xuechunzi Bai, Jiayi Geng, Ryan Liu, Raja Marjieh, R. Thomas McCoy, Andrew Nam, Ilia Sucholutsky, Veniamin Veselovsky, Liyi Zhang, Jian-Qiao Zhu, Thomas L. Griffiths

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Y. Ku, Declan Campbell, Xuechunzi Bai, Jiayi Geng, Ryan Liu, Raja Marjieh, R. Thomas McCoy, Andrew Nam, Ilia Sucholutsky, Veniamin Veselovsky, Liyi Zhang, Jian-Qiao Zhu, Thomas L. Griffiths

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superkrachtige robot hebt gebouwd die alles kan zeggen, schrijven en redeneren. Hij is zo slim dat hij lijkt op een mens, maar als je hem openmaakt, zie je geen tandwielen of schakelaars, maar een wirwar van miljarden onbegrijpelijke draden en gewichten. Je weet niet hoe hij precies tot zijn antwoorden komt. Dit is het probleem met moderne kunstmatige intelligentie (AI), zoals ChatGPT.

De auteurs van dit artikel zeggen: "Wacht even, dit probleem kennen we al!" Mensen bestuderen al decennia hoe ons eigen brein werkt, ook al kunnen we het niet zien. Ze hebben een slimme manier bedacht om dit aan te pakken, bedacht door een wetenschapper genaamd David Marr. Hij stelde voor om systemen op drie verschillende niveaus te bekijken.

Hier is wat de paper zegt, vertaald naar gewoon Nederlands met een paar leuke vergelijkingen:

1. Het Computatieniveau: "Wat is het doel?"

Stel je voor dat je een vogel ziet vliegen. Je hoeft niet te weten hoe zijn spieren samentrekken om te begrijpen waarom hij vliegt. Hij vliegt om te migreren, om voedsel te vinden en om te overleven. De natuur heeft hem daarvoor ontworpen.

Bij AI is het hetzelfde. We weten precies wat het doel is: de volgende woord voorspellen. De AI is getraind om te raden welk woord als volgende komt in een zin.

De les: Omdat de AI zo getraind is, gedraagt hij zich soms raar. Als hij een antwoord moet geven dat in de echte wereld heel vaak voorkomt (bijvoorbeeld het getal "30"), is hij heel goed. Maar als het antwoord zeldzaam is (bijvoorbeeld "29"), faalt hij. Het is alsof de AI een "automaat" is die alleen maar goed is in het voorspellen van de meest waarschijnlijke dingen, en niet per se in het logisch redeneren.
De analogie: Het is alsof je een kok vraagt om een gerecht te maken. Als je hem vraagt om iets dat hij vaak maakt (pasta), is hij perfect. Als je hem vraagt om iets heel exotisch en zeldzaams, maakt hij misschien een fout, omdat hij gewoon is getraind op de "standaardrecepten" van de wereld.

2. Het Algoritmeniveau: "Hoe werkt het in zijn hoofd?"

Nu we weten wat het doel is, willen we weten hoe de AI dat doet. Dit is als kijken naar de vleugels van de vogel: gebruikt hij een andere slagtechniek dan een ander dier?

Omdat we de "gedachten" van de AI niet kunnen lezen, moeten we slimme trucs gebruiken, net zoals psychologen dat doen met mensen:

Fouten analyseren: Als de AI vaak dezelfde soort fouten maakt (bijvoorbeeld kleuren en vormen door elkaar halen), weten we dat hij waarschijnlijk veel informatie tegelijk probeert te verwerken, net als mensen.
Vergelijkingsvragen: Vraag de AI: "Wat is meer vergelijkbaar: een appel of een banaan?" of "Wat is meer vergelijkbaar: een appel of een auto?". Door duizenden van deze vragen te stellen, kunnen we een kaart maken van hoe de AI de wereld ziet. Het blijkt dat de AI een heel gedetailleerd beeld heeft van kleuren en geluiden, zelfs als hij nooit echt een appel heeft gezien of een geluid heeft gehoord!
Verborgen vooroordelen: Soms zegt de AI dat hij geen vooroordelen heeft. Maar als je hem slimme vragen stelt (zoals "verbind dit woord met dit beroep"), blijkt dat hij toch verborgen denkpatronen heeft, net zoals mensen die zich soms niet bewust zijn van hun eigen vooroordelen.

3. Het Implementatieniveau: "Wat gebeurt er fysiek?"

Dit is het niveau van de "spieren en botten". Bij een vogel zijn dat de vleugels en de borstspieren. Bij de AI zijn dat de neuralen netwerken (de draden en knopen in de computer).

Kijken en prikkelen: Net als neurologen die een hersenscan maken om te zien welk deel van het brein brandt bij het zien van een gezicht, kunnen onderzoekers nu kijken naar welke delen van de AI "aan" gaan.
De "chirurgische" ingreep: Ze kunnen zelfs experimenten doen waarbij ze een specifiek stukje van de AI tijdelijk "uitschakelen" of vervangen. Als de AI daarna stopt met het doen van een bepaalde taak, weten we: "Aha! Dat stukje is verantwoordelijk voor die taak!" Dit helpt om te begrijpen dat complexe gedragingen vaak worden gedaan door kleine, specifieke circuits in de AI.

Waarom is dit belangrijk?

De auteurs zeggen: "Laten we stoppen met alleen kijken of de AI slim genoeg is om een examen te halen. Laten we kijken hoe hij denkt."

Door te kijken naar de beperkingen van het menselijk brein, kunnen we ook de beperkingen van AI vinden. Bijvoorbeeld:

Mensen worden soms dommer als ze te hard nadenken over iets dat ze intuïtief moeten doen (zoals een gezicht herkennen).
De paper laat zien dat AI precies hetzelfde doet! Als je de AI dwingt om "hard na te denken" (chain-of-thought) over een taak die hij intuïtief goed zou moeten doen, wordt hij juist slechter.

Conclusie:
Deze paper is een uitnodiging om AI niet alleen te zien als een zwarte doos die antwoorden geeft, maar als een nieuw soort "geest" dat we kunnen begrijpen door te kijken naar hoe hij werkt, net zoals we dat doen met mensen. Door de tools van de psychologie en neurowetenschappen te gebruiken, kunnen we niet alleen betere AI bouwen, maar ook beter begrijpen wat intelligentie eigenlijk is.

Probleemstelling

Moderne kunstmatige intelligentiesystemen, met name Large Language Models (LLMs), zijn uiterst krachtig maar steeds moeilijker te interpreteren. Computerwetenschappers staan voor een onbekend probleem: ze hebben systemen gecreëerd die ze niet volledig begrijpen, omdat deze zijn opgebouwd uit biljoenen gewogen verbindingen in neurale netwerken. Bovendien zijn de trainingsdata en gewichten van veel toonaangevende systemen gesloten (proprietary), waardoor onderzoekers vaak alleen kunnen kijken naar het gedrag van het systeem en niet naar de interne mechanismen.

Dit probleem is echter vertrouwd voor cognitiewetenschappers, die decennia lang hebben geworsteld met het begrijpen van de menselijke geest zonder directe toegang tot het brein. Het paper stelt dat de methoden die in de cognitiewetenschap zijn ontwikkeld om de menselijke geest te analyseren, direct toepasbaar zijn op het begrijpen van LLMs.

Methodologie: Marr's Levels of Analysis

De kern van de methodologie is het toepassen van het raamwerk van David Marr (1982) voor het analyseren van informatieverwerkingssystemen. Dit raamwerk onderscheidt drie niveaus van analyse, die in dit paper worden gekoppeld aan specifieke cognitiewetenschappelijke technieken:

Het Computatieniveau (Computational Level):
- Vraag: Welk abstract probleem lost het systeem op en wat is de ideale oplossing?
- Toepassing op LLMs: Analyse van de trainingsdoelstelling (bijv. next-token prediction/autoregressie).
- Technieken: Rational analysis, Bayesiaanse modellering en het testen van axioma's (logische consistentie).
Het Algorithmisch Niveau (Algorithmic Level):
- Vraag: Hoe wordt de oplossing benaderd? Welke representaties en algoritmes worden gebruikt?
- Toepassing op LLMs: Het infereren van interne representaties en processen via gedragsanalyse, zonder toegang tot de interne gewichten.
- Technieken: Analyse van systematische fouten, gelijktijdige verwerking (parallel vs. serieel), gelijkenisbeoordelingen (similarity judgments) en het onthullen van verbonden associaties (zoals de Implicit Association Test).
Het Implementatieniveau (Implementation Level):
- Vraag: Hoe worden deze representaties en processen fysiek gerealiseerd?
- Toepassing op LLMs: Het bestuderen van kunstmatige neuronen, circuits en populatie-activiteit binnen het neurale netwerk.
- Technieken: Representational analysis (correlatie tussen activatie en functie) en causale analyse (interventies zoals activation patching en sparse autoencoders).

Belangrijkste Bijdragen en Resultaten

1. Computatieniveau: "Embers of Autoregression" en Bayesiaanse Optimaliteit

Embers of Autoregression: De auteurs tonen aan dat het gedrag van LLMs sterk wordt beïnvloed door hun trainingsdoel (het voorspellen van de volgende token). Zelfs bij deterministische taken (zoals tellen of decoderen) presteren LLMs beter als het antwoord een hoge waarschijnlijkheid heeft in de trainingsdata. Bijvoorbeeld, GPT-4 telt "30" (een veelvoorkomend getal) correct, maar faalt vaak bij "29" (een zeldzamer getal), omdat het model de waarschijnlijkheid van de tokenreeks volgt in plaats van puur logisch te redeneren.
Bayesiaanse Benchmark: LLMs kunnen worden vergeleken met ideale Bayesiaanse oplossers. Hoewel ze vaak goed presteren, vertonen ze systematische afwijkingen.
Schending van Axioma's: LLMs schenden vaak de axioma's van de waarschijnlijkheidstheorie. Net als mensen tonen ze inconsistente waarschijnlijkheidsbeoordelingen (bijv. $P(A) + P(\neg A) \neq 1$ ) en vertonen ze een omgekeerde U-vormige relatie tussen gemiddelde en variantie bij herhaalde vragen. Dit suggereert dat ze vergelijkbare cognitieve bias hebben als mensen.

2. Algorithmisch Niveau: Interne Representaties blootleggen

Parallelle Verwerking en Interferentie: Door taken te ontwerpen die interferentie veroorzaken (zoals het zoeken naar een object met een specifieke combinatie van kenmerken in een menigte), tonen de auteurs aan dat Vision-Language Models (VLMs) last hebben van "illusory conjunctions" (het verkeerd combineren van kenmerken). Dit bewijst dat ze, net als mensen, gebruikmaken van compositional representaties die worden verwerkt via parallelle processen die vatbaar zijn voor interferentie.
Gelijksoortige Beoordelingen (Similarity Judgments): Door LLMs te vragen om gelijkenissen te beoordelen tussen concepten (bijv. kleuren of toonhoogtes), kunnen onderzoekers de onderliggende ruimtelijke representaties reconstrueren. Resultaten tonen aan dat LLMs, ondanks dat ze alleen op tekst zijn getraind, interne structuren hebben die overeenkomen met menselijke perceptie (zoals de kleurencirkel en de helix van toonhoogte).
Verborgen Associaties: Voor gesloten modellen (waarbij gewichten niet toegankelijk zijn) gebruiken de auteurs aangepaste versies van de Implicit Association Test (IAT). Ze tonen aan dat LLMs, ondanks hun veiligheidsafstemming (alignment), sterke impliciete vooroordelen vertonen in woordassociaties (bijv. het koppelen van "vrouw" aan "thuis" en "man" aan "werk"), die niet zichtbaar zijn bij directe vragen.

3. Implementatieniveau: Causale Mechanismen

De auteurs beschrijven hoe technieken uit de neurowetenschap worden vertaald naar AI.
Representational Analysis: Het identificeren van patronen in activaties die corresponderen met concepten (bijv. hoe waarheidswaarden geometrisch worden gecodeerd).
Causale Interventie: Methoden zoals activation patching (het vervangen van activaties in specifieke lagen) en Sparse Autoencoders (SAEs) worden gebruikt om causale relaties te bewijzen. Hiermee is aangetoond dat specifieke circuits (zoals "induction heads") verantwoordelijk zijn voor bepaalde vaardigheden zoals in-context learning.

Significantie en Conclusie

Het paper biedt een fundamenteel nieuw perspectief op het evalueren en begrijpen van AI-systemen:

Overbrugging van Disciplines: Het creëert een brug tussen computerwetenschap en cognitiewetenschap, waarbij bewezen methoden uit de psychologie en neurowetenschap worden gebruikt om de "black box" van LLMs te openen.
Van Prestatie naar Mechanisme: In plaats van alleen te kijken naar hoe goed een model een taak uitvoert (performance), biedt dit raamwerk inzicht in waarom en hoe het model werkt, inclusief de onderliggende beperkingen en bias.
Adversariale Ontwerp: Door te begrijpen hoe menselijke en kunstmatige cognitie overlappen (of verschillen), kunnen onderzoekers specifieke taken ontwerpen die AI-systemen zullen laten falen op manieren die uniek zijn voor hun architectuur (bijv. taken waar "verbaal redeneren" contraproductief is, net als bij mensen).
Toekomstperspectief: De auteurs concluderen dat het Marr-raamwerk essentieel is om de ontwikkeling van geavanceerde AI te sturen, niet alleen door prestaties te meten, maar door de interne logica en mechanica van deze "nieuwe vormen van intelligentie" te doorgronden.

Kortom, het paper pleit ervoor dat we LLMs moeten analyseren als systemen met een eigen "cognitie" die kan worden bestudeerd met dezelfde rigorose methoden die we gebruiken voor de menselijke geest.