💬 NLP

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

Dit artikel daagt het opvatting uit dat taalmodellen verenigde kennisbanken zijn door via gedragsmatige en mechanistische analyses aan te tonen dat feitelijke kennis op een taakspecifieke wijze wordt gecodeerd, waarbij verschillende parametersubsets worden geactiveerd afhankelijk van de context van de query, wat daarmee de consistentie en betrouwbaarheid van feitelijke extractie ondermijnt.

Oorspronkelijke auteurs: Amit Elhelo, Amir Globerson, Mor Geva

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amit Elhelo, Amir Globerson, Mor Geva

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente encyclopedie hebt die bijna alles op het internet heeft gelezen. Je zou deze encyclopedie kunnen beschouwen als één perfecte bibliotheek waar elke feit op één specifieke plek is opgeslagen. Als je vraagt: "Wat is de hoofdstad van Frankrijk?" of "Is Parijs de hoofdstad van Frankrijk?", verwacht je dat de bibliotheek exact hetzelfde bestand uit hetzelfde vak haalt en je telkens hetzelfde antwoord geeft. Dit is hoe traditionele databases werken: één waarheid, één bron.

Dit artikel onderzoekt of Large Language Models (LLM's) — de AI-breinen achter tools zoals chatbots — werken als die perfecte bibliotheek. De onderzoekers, Amit Elhelo, Amir Globerson en Mor Geva, ontdekten dat ze dat niet doen.

In plaats van een enkele, verenigde bibliotheek, is de "kennis" van de AI meer een verzameling van gespecialiseerde, taakspecifieke toolkits. Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Verschillende Toolkits" Analogie

Stel je voor dat je een Zwitsers zakmes hebt. Het heeft een schroevendraaier, een mesje en een kurkentrekker.

Traditionele Visie: Je zou kunnen denken dat de "kennis" van hoe je een fles opent, in één centraal deel van het mes is opgeslagen.
Bevinding van het Papier: De AI is eigenlijk als een gereedschapskist waar de "kennis" van hoe je een fles opent, alleen in de kurkentrekker is opgeslagen wanneer je wordt gevraagd om een fles te openen. Maar als je vraagt: "Is dit een kurkentrekker?" (een ander type vraag), gebruikt de AI een compleet andere set gereedschappen om het antwoord te geven, ook al gaat het antwoord over hetzelfde object.

De onderzoekers testten dit door de AI dezelfde feit (bijv. "Parijs is de hoofdstad van Frankrijk") op verschillende manieren te vragen:

Generatie: "Wat is de hoofdstad van Frankrijk?" (De AI moet het antwoord schrijven).
Discriminatie: "Is Parijs de hoofdstad van Frankrijk? Ja of Nee." (De AI moet een keuze maken).

Ze kwamen tot de conclusie dat de AI een feit vaak wel leert voor de "Schrijf het op"-taak, maar faalt om het te "weten" voor de "Kies het"-taak, en vice versa. Het is alsof de AI een "Schrijfbrain" en een "Kiesbrain" heeft die niet altijd met elkaar communiceren.

2. De "Trainingskamp" Observatie

De onderzoekers observeerden hoe de AI in de loop van de tijd leert, zoals een coach die een student ziet studeren voor verschillende examens.

De Verwachting: Als een student leert dat "Parijs de hoofdstad is" voor een schriftelijke toets, zouden ze dat ook direct moeten weten voor een meerkeuzetoets, omdat het dezelfde feit is.
De Realiteit: De student slaagde vaak voor de schriftelijke toets, maar faalde nog steeds voor de meerkeuzetoets enkele dagen later. De kennis kwam niet "co-emergent" (tegelijkertijd) naar voren over verschillende formaten heen. Dit suggereert dat de AI het feit niet op één centrale plek opslaat; het leert een specifieke manier om met dat feit om te gaan voor dat specifieke type vraag.

3. Het "Chirurgische" Experiment (Mechanistische Analyse)

Om dit te bewijzen, voerden de onderzoekers een "operatie" uit op het brein van de AI (de interne parameters). Ze probeerden de kleine, specifieke groep neuronen te vinden die verantwoordelijk zijn voor het weten dat "Parijs de hoofdstad is" wanneer er op een specifieke manier naar wordt gevraagd.

Het Resultaat: Ze vonden duidelijke, afzonderlijke groepen neuronen voor elke taak.
- Als ze de neuronen die worden gebruikt voor de "Schrijf het op"-taak "uitschakelden", vergat de AI het antwoord op de schrijfvraag, maar kon hij de "Ja/Nee"-vraag nog steeds perfect beantwoorden.
- Als ze de "Ja/Nee"-neuronen uitschakelden, faalde de AI voor die test, maar kon hij het antwoord nog steeds schrijven.
De Metafoor: Het is als het hebben van twee verschillende sleutels voor dezelfde deur. De ene sleutel opent de deur als je van links duwt; de andere opent de deur als je van rechts trekt. Als je de "duw"-sleutel verliest, is de deur vergrendeld voor die actie, zelfs als de "trek"-sleutel nog steeds werkt.

4. De "Chain of Thought" Verrassing

Het papier keek ook naar "Chain of Thought" (CoT) redeneren, waarbij de AI wordt gevraagd om "stap voor stap na te denken" voordat hij antwoordt.

De Bevinding: Wanneer de AI wordt gevraagd om hardop na te denken, lijkt hij een mix van deze verschillende toolkits te gebruiken. Als je de specifieke neuronen voor het uiteindelijke antwoord verwijdert, kan de AI vaak nog steeds het juiste antwoord krijgen door het probleem door te "denken", omdat hij kennis leent van andere taakspecifieke toolkits die hij normaal gesproken niet voor een direct antwoord zou gebruiken.
De Analogie: Het is als een detective die een zaak normaal gesproken oplost door naar één enkel aanwijzing te kijken (direct antwoord). Maar als je hem dwingt een volledig rapport te schrijven (Chain of Thought), begint hij andere dossiers te controleren en verschillende toolkits met elkaar te kruisen, wat hem helpt de zaak op te lossen, zelfs als de belangrijkste aanwijzing ontbreekt.

De Belangrijkste Conclusie

Het papier concludeert dat het idee van een AI als een "Kennisbank" (één bron van waarheid) een mythe is. In plaats daarvan zijn wat de AI weet en hoe je het vraagt, met elkaar verstrengeld.

Betrouwbaarheidsrisico: Als je de AI aanpast om een feit te "vergeten" voor één type vraag (zoals een meerkeuzetoets), kan hij dat feit nog steeds onthouden voor een schrijfopdracht.
Evaluatierisico: Als je een AI alleen test op één type vraag, kun je denken dat hij een feit kent, maar hij kan volkomen onwetend zijn wanneer het in een ander format wordt gevraagd.

Kortom, de AI heeft geen enkel, verenigd geheugen. Hij heeft een lappendeken van gespecialiseerde geheugens, elk afgestemd op een specifieke manier van vragen stellen.

Technische Samenvatting: LMs als Taakspecifieke Kennisbanken: Een Interpretatieanalyse

Probleemstelling

Taalmodellen (LMs) worden vaak geconceptualiseerd als kennisbanken, waarbij parameters feitelijke informatie opslaan die toegankelijk is via diverse queries. Een fundamentele eigenschap van goed ontworpen kennisbanken is taak-invariantie: verschillende queries voor dezelfde feit moeten consistente resultaten opleveren vanuit een enkele bron van waarheid. Bijvoorbeeld, een traditionele database zou "Parijs" moeten retourneren voor zowel "Wat is de hoofdstad van Frankrijk?" als "De hoofdstad van Frankrijk is ___."

Dit artikel onderzoekt of taalmodellen aan deze taak-invariantie eigenschap voldoen. Specifiek wordt de vraag gesteld of feitelijke kennis op een taakonafhankelijke manier wordt opgeslagen, of dat de interne representatie van een feit door het model verweven is met het specifieke taakformaat (bijv. multiple-choice versus open eind generatie) dat wordt gebruikt om het op te vragen. Als taalmodellen geen taak-invariantie bezitten, wordt de analogie van de "kennisbank" ondermijnd, met implicaties voor de betrouwbaarheid, consistentie en controleerbaarheid van feitelijke kennis in deze systemen.

Methodologie

De auteurs hanteren een tweeledige aanpak die gedragsanalyse (het volgen van de opkomst van kennis tijdens training) combineert met mechanistische analyse (het lokaliseren van specifieke parametersubsets).

1. Gedragsanalyse: Co-emergence Hypothese

De auteurs volgen de verwerving van feitelijke kennis over trainingscheckpoints van het OLMo-3-7B IT model.

Data: Vijf relationele datasets (bijv. land-hoofdstad, monument-land) geformuleerd als (onderwerp, relatie, object) triplets.
Taken: Zes verschillende taakformaten: next-token completion (COMPLETION), fill-in-the-blank (FITB), open-ended QA (OPENQA), vier-weg multiple choice QA (MCQA), negatieve MCQA, en binaire verificatie.
Hypothese: Als kennis taak-invariant is, zou een feit dat verworven is voor één taak ook moeten co-emergeren (gelijktijdig verschijnen) op andere taken waar het model al competent in is. Formeel: als een feit $f$ verschijnt op taak $t$ bij checkpoint $E(f, t)$ , en het model is competent op taak $t'$ bij $E(\cdot, t')$ , dan moet $E(f, t') \le \max(E(f, t), E(\cdot, t'))$ .
Statistische Test: De auteurs formaliseren taak-invariantie als conditionele onafhankelijkheid tussen feiten en taken ( $P(\text{correct} | f, t) = P(\text{correct} | f) \cdot P(\text{correct} | t)$ ) en testen op interactietermen met behulp van een twee-weg ANOVA op log-waarschijnlijkheden.

2. Mechanistische Analyse: Parameter Lokalisatie

Om te bepalen of verschillende taken gebruikmaken van verschillende parameters voor hetzelfde feit, passen de auteurs een lokalisatie-framework (Bayazit et al., 2024) aan om ijle (sparse) subsets van parameters (attention heads en MLP neuronen) te identificeren die specifiek zijn voor individuele (feit, taak) paren.

Doel: Het leren van binaire maskers $m$ $m$ over modelparameters om een verliesfunctie te minimaliseren die uit vier termen bestaat:
- Noodzakelijkheid (Necessity): Het verwijderen van de gemaskeerde parameters moet de prestaties op het doel (feit, taak) paar verslechteren.
- Voldoendeheid (Sufficiency): De gemaskeerde parameters moeten voldoende zijn om de prestaties te herstellen op een gecorrumpeerde prompt (waar het onderwerp is vervangen door placeholders) wanneer hun activaties worden gepatcht.
- Specificiteit (Specificity): Het verwijderen of patchen van deze parameters moet minimale effect hebben op hetzelfde feit onder andere taken of andere feiten onder de zelfde taak.
- IJlheid (Sparsity): Het masker moet zo klein mogelijk zijn.
Modellen: Experimenten werden uitgevoerd op OLMo-2-7B IT, OLMo-2-13B IT, en Gemma-2-9B IT.

3. Cross-Taak Verstrengeling en CoT Analyse

Verstrengingsmetrieken: De auteurs definiëren een score om te kwantificeren hoe "schoon" een (feit, taak) codering kan worden geablateerd zonder andere paren te beïnvloeden.
Chain-of-Thought (CoT): De auteurs testen of CoT-redenering kennis herstelt die ontoegankelijk is voor direct antwoorden door specifieke parameters in te schakelen die verder gaan dan die gekoppeld aan de evaluatietaak. Ze vergelijken direct antwoorden versus CoT onder zero-ablatie van gelokaliseerde parameters.

Belangrijkste Resultaten

1. Schending van Taak-Invariantie (Gedrag)

Beperkte Co-emergence: De co-emergence hypothese wordt frequent geschonden. In 47,9% van de (feit, taak) paren verschijnt een feit niet op een doeltaak bij het verwachte stap, zelfs niet wanneer het model competent is op die taak en het feit elders is verschenen.
Statistische Verwerping: De nulhypothese van conditionele onafhankelijkheid (geen interactie tussen feit en taak) wordt bij elk trainingscheckpoint verworpen ( $p \approx 0$ ). De interactieterm verklaart tot wel 23% van de variantie in het uiteindelijke model, wat aangeeft dat kennisretentie sterk afhankelijk is van het taakformaat.

2. Distincte Parametersubsets (Mechanistisch)

Taakspecifieke Coderingen: De lokalisatie-experimenten identificeerden succesvol onderscheidende, ijle subsets van parameters voor elk (feit, taak) paar.
Noodzakelijkheid en Specificiteit: Het zero-ablateren van de gelokaliseerde parameters voor een specifiek (feit, taak) paar veroorzaakte significante prestatieverminderingen (29%–89% relatieve afname) op dat paar. Cruciaal was dat de prestaties op hetzelfde feit geëvalueerd onder andere taken, en andere feiten onder de zelfde taak, grotendeels onveranderd bleven (dalingen $\le 8\%$ ).
Voldoendeheid: Het terugpatchen van de gelokaliseerde activaties in een gecorrumpeerde prompt slaagde erin de prestaties te herstellen (69%–102% reconstructiegraad) voor het doelpaar.

3. Verstrengingspatronen

Generatie versus Discriminatie: Het taakformaat is een dominante voorspeller van verstrengeling. Discriminatietaken (MCQA, Verificatie) zijn consequent meer verstrengeld met andere taken dan generatietaken (OPENQA, FITB).
Asymmetrie: Feiten verworven via generatietaken hebben de neiging om te co-emergeren op andere taken, maar feiten verworven via discriminatietaken co-emergeren zelden op generatietaken.

4. Rol van Chain-of-Thought

Herstel: Wanneer de eigen gelokaliseerde parameters van een taak worden geablateerd, herstelt CoT-redenering een aanzienlijk deel van het verloren gegane prestatievermogen (daling van slechts 12%–30% versus 20%–72% voor direct antwoorden).
Cross-Taak Afhankelijkheid: CoT lijdt meer collaterale schade wanneer de coderingen van andere taken worden geablateerd vergeleken met direct antwoorden. Dit suggereert dat CoT door meerdere taakspecifieke coderingen routeert om het antwoord te reconstrueren, in plaats van enkel te vertrouwen op de specifieke parameters van de evaluatietaak.

Betekenis en Claims

Het artikel concludeert dat de analogie van de "kennisbank" voor taalmodellen gebrekkig is omdat wat het model weet en hoe het gevraagd wordt, verweven zijn in de parameterruimte.

Betrouwbaarheid en Controleerbaarheid: Het gebrek aan taak-invariantie impliceert dat interventies voor kennisbewerking of unlearning die gericht zijn op één specifiek taakformaat, het feit in andere formaten intact kunnen laten. Omgekeerd bieden single-task evaluaties slechts een gedeeltelijk beeld van de gecodeerde kennis van een model.
Mechanisme van Redeneren: De bevindingen bieden een mechanistische verklaring voor waarom CoT-redenering kennis ontsluit die ontoegankelijk is voor direct antwoorden: CoT activeert parametrische coderingen van meerdere taakformaten, waardoor de beperkingen van een enkele, taakspecifieke codering effectief worden omzeild.
Toekomstige Richtingen: De auteurs suggereren dat trainingsschema's die taak-invariante feitelijke coderingen stimuleren (bijv. door middel van het integreren van tussenliggende redenering tijdens de training) de betrouwbaarheid en controleerbaarheid van taalmodellen kunnen verbeteren.

De auteurs blijven bescheiden en merken op dat hun bevindingen primair bekende relationele kennis beschrijven en dat de interactie tussen deze patronen en modelschaal een openstaande vraag blijft. Zij beweren niet dat taalmodellen geen gedeelde kennis bezitten, maar dat de opslag, al is het maar gedeeltelijk, georganiseerd is op basis van het taakformaat.