💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

Oorspronkelijke auteurs: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot taalmodel voor (zoals de AI achter dit gesprek) als een enorme, meerverdiepingsfabriek. Grondstoffen (woorden) komen onderaan de begane grond binnen, worden verwerkt en bewegen naar de bovenste verdieping waar het eindproduct (een antwoord of een beslissing) wordt gemaakt.

Lange tijd hebben wetenschappers die probeerden te begrijpen hoe deze fabriek werkt, slechts naar één enkele verdieping tegelijk gekeken. Ze keken even in een kamer op de derde verdieping en zeiden: "Ah, deze machine is ergens mee bezig!" Maar ze misten een cruciaal detail: de fabriek heeft een speciaal transportsysteem (de "residual stream") dat items van de begane grond helemaal naar de bovenste verdieping vervoert, waarbij ze onderweg worden gemengd met nieuwe items.

Vanwege deze lopende band zie je, als je slechts naar één verdieping kijkt, een rommelige bende van dubbele en door elkaar gehusselde onderdelen. Je kunt niet zien welk deel van waar komt of wat het eigenlijk betekent.

Het Probleem: De "Wazige Foto"

Eerdere methoden probeerden deze rommel op te ruimen, maar ze behandelden de informatie als een gladde, continue vloeistof (zoals water). Ze probeerden patronen in het water te vinden, maar omdat het water zo vloeibaar is, bleven de patronen uiteenvallen en in elkaar overvloeien. Het was alsof je specifieke ingrediënten in een smoothie probeerde te identificeren door alleen naar de vloeistof te kijken; je weet dat ze er zijn, maar je kunt de aardbei niet gemakkelijk van de banaan scheiden.

De Oplossing: De "CLVQ-VAE" Fabriek Upgrade

De auteurs van dit artikel hebben een nieuwe tool gebouwd genaamd CLVQ-VAE. Zie dit als een slim sorteermachine die tussen twee verdiepingen van de fabriek staat.

Zo werkt het, met behulp van een eenvoudige analogie:

De Adaptieve Encoder (De Slimme Lopende Band): In plaats van alleen de grondstoffen van de lagere verdieping te pakken, past deze machine ze voorzichtig aan. Het is als een chef die een ingrediënt pakt en het een kleine, precieze aanpassing geeft om het klaar te maken voor de volgende stap, zonder de fundamentele aard ervan te veranderen.
De Discrete Bottleneck (De Stempelmachine): Dit is het belangrijkste deel. In plaats van de informatie als een wazige vloeistof te laten stromen, dwingt deze machine de informatie om "gestempeld" te worden op een van een eindige set van vooraf gedefinieerde stempels (de codebook).
- Stel je voor dat je een doos hebt met 1.000 specifieke LEGO-steentjes.
- Wanneer de machine een complex idee ziet, probeert hij niet een nieuwe vorm uit klei te bouen. In plaats daarvan zegt hij: "Dit idee lijkt het meest op Steentje #42."
- Dit verandert een rommelige, continue waas in een duidelijk, discreet label. Het dwingt de AI om te zeggen: "Ik gebruik het 'Woede'-steentje," of "Ik gebruik het 'Sport'-steentje," in plaats van een vage mix van beide.
De Decoder (De Reconstructeur): De machine probeert vervolgens de "bovenste verdieping" van de fabriek te herbouwen met behulp van alleen deze specifieke LEGO-steentjes. Als de machine er succesvol in slaagt de bovenste verdieping te herbouwen met alleen het "Woede"-steentje, dan weten we zeker dat "Woede" een cruciaal concept was voor de beslissing van de AI.

Waarom dit beter is (De Resultaten)

Het artikel testte deze nieuwe machine tegen oude methoden (zoals het bekijken van slechts één verdieping of de "vloeistof"-benadering) op drie verschillende taken: filmrecensies, het detecteren van giftige reacties en het sorteren van nieuwsartikelen.

Dit is wat ze vonden:

De "Verwijderingstest" (Getrouwheid): Wanneer de onderzoekers de specifieke "LEGO-steentjes" (concepten) die de machine vond, uit het brein van de AI verwijderden, stortte de prestatie van de AI in. In sommige gevallen werd de AI maar liefst 93% slechter in zijn taak. Dit bewijst dat de machine de werkelijke redenen vond voor de beslissingen van de AI, en niet zomaar willekeurige ruis.
De "Rechtertest" (LLM Evaluatie): Ze vroegen andere AI-modellen om als rechter op te treden en de concepten van de nieuwe machine te vergelijken met die van de oude methoden. De concepten van de nieuwe machine werden in 66,7% van de gevallen als eerste gerangschikt. De rechters vonden dat deze concepten meer zin maakten en coherenter waren.
De "Menselijke Test" (Interpretabiliteit): Ze lieten woordwolken (visualisaties van de concepten) zien aan menselijke vrijwilligers.
- Wanneer zij de concepten van de nieuwe machine te zien kregen, konden mensen in 78% van de gevallen raden waar de AI aan dacht.
- Wanneer zij de concepten van de oude methode te zien kregen, raadden ze slechts in 54% van de gevallen correct wat de AI dacht.
- Bovendien waren verschillende mensen veel meer het met elkaar eens bij het bekijken van de resultaten van de nieuwe machine, wat betekent dat de concepten duidelijker en minder verwarrend waren.

Het Geheime Recept

Het artikel benadrukt een paar "trucs" die dit werkten laten slagen:

Temperatuur Sampling: In plaats van altijd het enkel "beste" steentje te kiezen, kiest de machine soms uit de top 5 dichtstbijzijnde steentjes. Dit is alsof je de machine een beetje willekeur geeft om verschillende opties te verkennen, wat voorkomt dat de machine vastloopt in het steeds opnieuw gebruiken van dezelfde paar steentjes.
Sferisch vs. Plat: Ze ontdekten dat het organiseren van de steentjes op basis van de richting waarnaar ze wijzen (sferisch) in plaats van alleen hun afstand (plat), hielp mensen de concepten beter te begrijpen, zelfs als de "platte" methode iets beter was in het voorspellen van de ruwe getallen van de AI.

Samenvatting

Kortom, dit artikel introduceert een manier om de rommelige, overlappende gedachten van een grote AI te vertalen naar een schone, georganiseerde lijst van afzonderlijke "concepten" (zoals LEGO-steentjes). Door dit over meerdere lagen van de AI te doen, kunnen we duidelijk zien wat de AI denkt en waarom hij zijn beslissingen neemt, waardoor de "black box" van AI veel transparanter en begrijpelijker wordt voor mensen.

Technische Samenvatting: Cross-Layer Discrete Concept Discovery voor het interpreteren van taalmodellen

Probleemstelling

Het interpreteren van grote taalmodellen (LLM's) wordt bemoeilijkt door de aard van de transformer residual streams, die kenmerken lineair mengen en dupliceren over aangrenzende lagen heen. Methoden voor analyse op een enkele laag schieten vaak tekort in het vastleggen van deze cross-layer structuur, waardoor computationele patronen worden gemist die alleen zichtbaar zijn wanneer meerdere lagen gezamenlijk worden onderzocht. Hoewel recente cross-layer benaderingen zoals Sparse Autoencoders (SAEs) de menging tussen lagen aanpakken, opereren zij in continue ruimtes. In deze ruimtes "splitsen" concepten zich over vele neuronen zonder duidelijke grenzen, wat dwingt tot willekeurige drempelwaarden of combinaties van meerdere vectoren om activaties te isoleren. Deze discrepantie met het menselijk redeneren, dat steunt op discrete categorieën, beperkt de interpreteerbaarheid van dergelijke methoden.

Methodologie

De auteurs stellen CLVQ-VAE (Cross-Layer Vector Quantized-Variational Autoencoder) voor, een framework ontworpen voor het ontdekken van discrete, interpreteerbare concepten door representaties van een lagere laag ( $l$ ) te mappen naar een hogere laag ( $h$ ) via een discrete vector-quantization bottleneck. Het framework bestaat uit drie kerncomponenten:

Adaptive Residual Encoder: Om semantische informatie te behouden terwijl codebook-toewijzing mogelijk wordt gemaakt, past deze component een leerbaar interpolatiemechanisme toe op de input-embeddings van laag $l$ . Het gebruikt een mengcoëfficiënt $\alpha$ (beperkt tot $[0, 0.5]$ ) om de originele embedding te balanceren met een lineair getransformeerde versie, waardoor de destructie van linguïstische kenmerken wordt voorkomen terwijl gerichte verfijningen voor cross-layer reconstructie mogelijk zijn.
Vector Quantizer: Deze fungeert als een discrete bottleneck, waarbij continue encoder-outputs worden gemapt naar een enkele codebook-vector uit een geleerde set $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ . Om stabiele training en effectieve codebook-benutting te garanderen, hanteren de auteurs:
- Initialisatie: K-means (Euclidisch of Sferisch) of willekeurige initialisatie.
- Stochastische Sampling: In plaats van deterministische selectie, samplet het model uit de top- $k$ dichtstbijzijnde codebook-vectoren met behulp van een temperatuur-gecontroleerde waarschijnlijkheidsverdeling. Dit stimuleert uniforme codebook-benutting en concept-diversiteit.
- EMA Updates: Codebook-vectoren worden bijgewerkt met behulp van Exponential Moving Averages (EMA) van toewijzingsaantallen en geaccumuleerde vectoren in plaats van directe backpropagation, wat zorgt voor stabiliteit.
Transformer Decoder: Een bidirectionele transformer decoder reconstrueert de doel-activaties van laag $h$ met behulp van de gekwantiseerde codebook-vectoren. Het maakt gebruik van cross-attention mechanismen om informatie te benutten uit de ongekwantiseerde encoder-outputs, waardoor details voor lage-niveau reconstructie worden uitbesteed zodat het codebook zich kan richten op onderscheidende, hoog-niveau concepten.

Het model wordt getraind via een gecombineerde verliesfunctie: een reconstructieverlies (Mean Squared Error tussen de decoder-output en de doelstelling van de hogere-laag representatie) en een commitment loss (die de encoder-outputs stimuleert om zich te committeren aan codebook-vectoren).

Belangrijkste Bijdragen

Discrete Cross-Layer Mapping: In tegenstelling tot standaard VQ-VAEs die dezelfde laag reconstrueren, fungeert CLVQ-VAE als een transcoder die redundante residual-stream kenmerken van lagere lagen comprimeert tot compacte, interpreteerbare concept-vectoren in hogere lagen.
Stochastische Sampling Mechanisme: De introductie van top- $k$ temperatuur-gebaseerde sampling in combinatie met EMA codebook-updates biedt gecontroleerde exploratie van de discrete latente ruimte, wat de codebook-diversiteit behoudt en instorting (collapse) voork voorkomt.
Uitgebreide Evaluatie: Het framework wordt geëvalueerd over encoder-gebaseerde modellen (RoBERTa, BERT) en decoder-only modellen (LLaMA-2-7B, Qwen2.5-3B-Instruct) op drie datasets (ERASER-Movie, Jigsaw, AGNews).

Resultaten

De paper evalueert CLVQ-VAE tegen clustering, single-layer VQ-VAE en SAE baselines over drie assen:

Getrouwheid (Concept Ablatie): Het verwijderen van geïdentificeerde concepten uit zinsrepresentaties vermindert de nauwkeurigheid van het model aanzienlijk. CLVQ-VAE behaalde de laagste verstoorde nauwkeurigheid in 5 van de 12 settings, waarbij concept-verwijdering leidde tot nauwkeurigheidsdalingen van wel 93,2% (op RoBERTa/ERASER-Movie). Het presteerde consistent beter dan SAEs, die inconsistente of verwaarloosbare dalingen vertoonden, vooral bij decoder-modellen.
Semantische Coherentie (LLM-as-a-Judge): Een ensemble van LLM's rangschikte CLVQ-VAE concepten als eerste in 66,7% van de vergelijkingen, met een gemiddelde score van 1.890, waarmee zij single-layer VQ-VAE, SAE en clustering versloegen.
Menselijke Interpreteerbaarheid: In een menselijke studie konden annotatoren modelvoorspellingen herstellen uit CLVQ-VAE visualisaties met 78,2% nauwkeurigheid, vergeleken met 54,1% voor clustering. Annotatoren rapporteerden ook een hogere mate van vertrouwen (8.44 vs. 5.98) en bereikten een "bijna perfecte" inter-annotator overeenstemming ( $\kappa = 0.864$ ) met CLVQ-VAE visualisaties.

Daarnaast vonden de auteurs een trade-off in initialisatiestrategieën: K-means initialisatie neigde naar hogere functionele getrouwheid (betere perturbatie-resultaten), terwijl Spherical K-means concepten produceerde met hogere semantische coherentie en menselijke alignment.

Betekenis

De paper stelt dat CLVQ-VAE een robuust framework biedt voor het vertalen van opake modelmechanismen naar getrouwe, interpreteerbare concepten. Door discrete representatieleer te integreren met cross-layer analyse, adresseert de benadering de beperkingen van continue SAEs (concept splitting) en single-layer analyses (het missen van cross-layer structuur). De resultaten valideren dat de ontdekte concepten niet alleen functioneel cruciaal zijn voor modelvoorspellingen, maar ook aansluiten bij het menselijk begrip, wat een pad biedt naar meer transparante en verantwoorde taalmodellen. De auteurs merken op dat hoewel de methode effectief is, deze aanzienlijke geheugen vereist voor activatie-extractie en aparte training voor verschillende laag-combinaties.