💬 NLP

Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery

Het artikel stelt Vector Quantized Latent Concepts (VQLC) voor, een schaalbaar framework dat interpreteerbare, discrete latente concepten leert van bevroren LLM-verborgen toestanden door een computationele efficiëntie te bieden die vergelijkbaar is met K-Means, terwijl het de semantische coherentie van hiërarchische clustering bereikt.

Oorspronkelijke auteurs: Xuemin Yu, Ankur Garg, Samira Ebrahimi Kahou, Hassan Sajjad

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuemin Yu, Ankur Garg, Samira Ebrahimi Kahou, Hassan Sajjad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk slimme bibliotheek hebt (een Large Language Model, of LLM) die verhalen kan schrijven, vragen kan beantwoorden en problemen kan oplossen. Maar er is een addertje onder het gras: de boeken binnenin zijn geschreven in een geheime code. Je kunt de woorden op de pagina zien, maar je weet niet waarom de bibliothecaris juist die specifieke woorden heeft gekozen om jouw vraag te beantwoorden.

Lama tijd probeerden wetenschappers de logica van de bibliothecaris te begrijpen door naar individuele woorden (tokens) te kijken. Het is alsoer dat je een film probeert te begrijpen door naar losse frames te kijken. Je ziet de acteurs, maar je mist het plot.

Andere wetenschappers probeerden deze woorden te groeperen in "concepten" (zoals het groeperen van alle woorden over "sport" of "politiek") om een beter beeld te krijgen. Maar zij liepen tegen een muur aan:

De "Super-Organisator"-methode (Hierarchical Clustering) was geweldig in het vinden van perfecte groepen, maar was zo traag en geheugenverslindend dat het slechts een piepkleine bibliotheek kon verwerken. Als je dit op een enorme bibliotheek zou proberen, zou het vastlopen.
De "Quick-Sort"-methode (K-Means) was snel en kon enorme bibliotheken aan, maar de groepen die het maakte waren vaak rommelig en maakten semantisch gezien niet veel zin.

Ontmoet VQLC: De "Digitale Archiefkast"

De auteurs van dit artikel stellen een nieuwe methode voor genaamd VQLC (Vector Quantized Latent Concept). Denk aan het bouwen van een superefficiënte, digitale archiefkast voor de geheime code van de bibliotheek.

Zo werkt het, met behulp van een eenvoudige analogie:

1. De Archiefkast (Het Codeboek)

Stel je een kast voor met 400 laden (dit is het "codeboek"). Elke lade vertegenwoordigt een specif kind "concept" of idee, zoals "Honkbal", "Olieprijzen" of "Toxic Comments".

2. De Post Sorteren (Vector Quantization)

Wanneer de bibliotheek een zin verwerkt, zet het elk woord om in een complex datapunt. In plaats van te proberen elk woord met elk ander woord te vergelijken (wat traag is), vraagt VQLC aan elk woord: "In welke van mijn 400 laden past dit woord het best?"

Het is als een post sorteerder die een brief direct in de juiste bak gooit op basis van een postcode. Dit proces is ongelooflijk snel en vereist geen enorme hoeveelheid geheugen, ongeacht hoeveel brieven (woorden) je hebt.

3. De Labels Leren (Training)

In het begin zijn de laden leeg en zijn de labels foutief. Het systeem leest miljoenen zinnen en leert de labels aan te passen.

Als het woorden ziet als "Sheffield", "Ramirez" en "Jeter", realiseert het zich dat ze allemaal in de lade "Honkbalspelers" thuishoren.
Als het "BBP", "Olie" en "Winsten" ziet, plaatst het ze in de lade "Marktindicatoren".

Het systeem gebruikt een "reconstructie"-truc: het probeert de oorspronkelijke zin te herbouwen op basis van alleen de lade-labels. Als het de zin goed kan herbouwen, weet het dat het de woorden in de juiste laden heeft geplaatst.

4. Het Resultaat: Een Heldere Uitleg

Zodra het systeem is getraind, kun je het vragen: "Waarom voorspelde het model dat dit nieuwsverhaal over Zakelijk gaat?"
In plaats van je een rommelige lijst met woorden te tonen, wijst VQLC naar de specifieke laden die het heeft gebruikt: "Ah, het gebruikte de 'Marktindicatoren'-lade omdat het woorden zag over olieprijzen en BBP."

Waarom is dit een grote zaak?

De auteurs hebben deze nieuwe "archiefkast" getest tegen de oude methoden in 12 verschillende scenario's (met gebruik van verschillende modellen en datasets). Dit is wat ze ontdekten:

Snelheid en Grootte: In tegen tegenstelling tot de "Super-Organisator"-methode, crasht VQLC niet wanneer de bibliotheek enorm wordt. Het gebruikt zeer weinig geheugen, bijna net zoveel als de "Quick-Sort"-methode.
Kwaliteit: In tegenstelling tot de rommelige "Quick-Sort"-groepen, zijn de laden van VQLC heel duidelijk en maken ze zin.
Het Zoete Punt: VQLC vond de perfecte balans. Het is even snel als de goedkope methoden, maar net zo slim als de dure methoden.
Decoder Modellen: De auteurs merkten op dat deze methode vooral goed werkt op "decoder-only" modellen (het soort dat wordt gebruikt voor chatbots zoals de modellen die wij vandaag de dag gebruiken), waar het de duidelijkste concepten vond.

De Kern

Het artikel beweert dat VQLC een schaalbare, efficiënte manier is om de "black box" van AI te openen. Het verandert de verwarrende, hoog-dimensionale wiskunde binnen een model in een net pakket van begrijpelijke concepten, waardoor we precies kunnen zien welke ideeën de AI gebruikt om zijn beslissingen te nemen, zonder dat we een supercomputer nodig hebben om de berekeningen uit te voeren.

Noot: Het artikel richt zich strikt op het interpreteren van hoe deze modellen werken (zoals uitleggen waarom een nieuwsclassifier voor "Zakelijk" koos). Het beweert niet dat deze methode momenteel wordt gebruikt voor klinische diagnoses, juridische besluitvorming of andere specifieke toepassingen in de echte wereld buiten het begrijpen van de interne logica van het model.

Technische Samenvatting: Vector Quantized Latent Concepts (VQLC)

Probleemstelling

Large Language Models (LLM's) coderen rijke semantische informatie binnen hun verborgen toestanden (hidden states), maar het interpreteren van deze interne representaties blijft een uitdaging. Hoewel methoden voor token-niveau attributie (bijv. Integrated Gradients, SHAP) saillante inputtokens identificeren, bieden ze beperkt inzicht in de hoogwaardige semantische structuren die het model codeert. Ontdekking van latente concepten (latent concept discovery) beoogt dit aan te pakken door contextuele representaties te groeperen in discrete, interpreteerbare concepten. Bestaande benaderingen kampen echter met een fundamentele afweging tussen schaalbaarheid en conceptkwaliteit:

Hiërarchische clustering (bijv. LACOAT): Produceert coherente concepten, maar lijdt onder kwadratische geheugenkosten ( $O(N^2)$ ), wat de toepassing op kleine datasets beperkt.
K-Means Clustering: Schaalt efficiënt, maar levert vaak minder semantisch coherente concepten op en biedt een zwakkere afweging tussen schaalbaarheid en getrouwheid (faithfulness).

Het artikel stelt dat er een methode nodig is die de schaalbaarheid van centroid-gebaseerde methoden behoudt, terwijl het de semantische coherentie van hiërarchische clustering bereikt, specifiek voor grootschalige LLM's.

Methodologie: Vector Quantized Latent Concepts (VQLC)

De auteurs stellen VQLC voor, een raamwerk voor discrete concept-leren dat Vector Quantization (VQ) aanpast om continue verborgen toestanden te mappen naar een eindige set geleerde discrete codes. Het raamwerk werkt op bevroren verborgen toestanden die zijn geëxtraheerd uit een specifieke laag van een LLM.

Architectuurcomponenten:

Encoder: Een lichtgewicht residuele Multi-Layer Perceptron (MLP) mapt contextuele token-representaties ( $h^{(\ell)}_{w_i}$ ) naar een coderuimte. Het combineert een directe lineaire projectie met een niet-lineaire correctietak om de oorspronkelijke modelruimte te behouden terwijl stabiele discrete toewijzing mogelijk wordt gemaakt.
Vector Quantizer: Deze module onderhoudt een leerbare codebook $E = \{e_1, \dots, e_K\}$ $E = {e_{1}, \dots, e_{K}}$ . Elke gecodeerde representatie wordt toegewezen aan de dichtstbijzijnde codebook-vector op basis van de kwadratische Euclidische afstand.
- Initialisatie: De codebook wordt geïnitialiseerd met een "farthest-first" traject op gededupliceerde trainingsrepresentaties om een diverse dekking van de representatieruimte te garanderen.
- Leren: De codebook wordt bijgewerkt met behulp van een Exponentially Moving Average (EMA) van toegewezen encoder-outputs, in plaats van directe gradiëntstappen, om stabiliteit te waarborgen. Een "dead code recovery"-mechanisme herinitialiseert ongebruikte codes met behulp van encoder-outputs met de grootste toewijzingsfouten.
Decoder: Een residuele decoder reconstrueert de oorspronkelijke verborgen toestanden vanuit de gekwantiseerde vectoren. De trainingsdoelstelling minimaliseert de reconstructieverlies ( $L_{rec}$ ) en een commitment-verlies ( $L_{commit}$ ) om encoder-outputs dicht bij hun toegewezen codebook-vectoren te houden.

Conceptconstructie:
Na de training is het model bevroren. Een concept-constructie pass aggregeert alle gecodeerde token-representaties die aan hetzelfde code-index $k$ zijn toegewezen om een concept-vector $v_k$ te vormen. Een latent concept $c_k$ wordt gedefinieerd als het paar $(v_k, \text{toegewezen tokens})$ . Tijdens inferentie worden nieuwe token-representaties toegewezen aan de geleerde codebook, en de overeenkomstige concepten verklaren de semantische informatie die in die representaties is gecodeerd.

Belangrijkste Bijdragen

Schaalbare Discrete Leren: VQLC introduceert een vector quantization-raamwerk voor latente concept-ontdekking dat de kwadratische geheugenafhankelijkheid van hiërarchische clustering vermijdt.
Geoptimaliseerde Afweging: De methode bereikt een gunstige balans tussen getrouwheid (conceptkwaliteit) en schaalbaarheid, waarbij het een bijna constante geheugengebruik behoudt naarmate de dataset groter wordt.
Uitgebreide Evaluatie: Het artikel biedt een veelzijdige evaluatie over 12 dataset-model instellingen, inclusief:
- Schaalbaarheid: Runtime en geheugenanalyse.
- Getrouwheid: Gemeten door de verandering in modelvertrouwen en voorspellingslabels na het ablateren van de conceptrichting via orthogonale projectie.
- LLM-as-a-Judge: Evaluatie met behulp van meerdere LLM's (Claude, Gemini, DeepSeek) om de rangschikking van concept-alignement met modelvoorspellingen te bepalen.
- Kwalitatieve Analyse: Visualisatie van concept woordwolken en casestudies.
- Vergelijking met SAE's: Contrast met Sparse Autoencoders (SAE's) om het verschil tussen feature-niveau en concept-niveau verklaringen te benadrukken.

Resultaten

Schaalbaarheid: Op de ERASER-dataset met het Qwen-model schaalt VQLC lineair met het aantal tokens. Terwijl het geheugengebruik van K-Means groeide van 1,8GB naar 17,5GB en LACOAT faalde bij 200k tokens (vereiste ~229GB), bleef VQLC bijna constant en steeg slechts van 1,94GB naar 2,54GB bij 500k tokens.
Getrouwheid: VQLC behaalde de hoogste gemiddelde verandering in vertrouwen in 6 van de 12 dataset-model instellingen. Het toonde de duidelijkste winst op decoder-only modellen (Llama-2, Qwen), waarbij het baselines overtrof in 5 van de 6 decoder-instellingen, terwijl het competitief bleef met K-Means en LACOAT op encoder-gebaseerde modellen (RoBERTa).
LLM Evaluatie: In de LLM-as-a-judge rangschikkingen behaalde VQLC de beste gemiddelde rang in 8 van de 12 instellingen, wat suggereert dat de concepten meer taak-gealigneerd zijn dan die van K-Means of LACOAT.
Vergelijking met SAE's: In tegenstelling tot SAE's, die een groot aantal ijle (sparse) features met lage activatiesnelheden produceren, genereert VQLC een kleinere set concepten (bijv. ~400) die actief zijn op een aanzienlijk groter deel van de testvoorbeelden. VQLC-concepten bleken meer taak-relevante informatie te coderen voor voorspelling in de Qwen-model setting.
Kwalitatieve Bevindingen: Visualisaties toonden aan dat VQLC-concepten semantisch coherent waren (bijv. duidelijke clusters voor "Baseball Players" versus "Football" in Sports, of "Clinical Drugs" versus "Network Infrastructure" in Sci/Tech). In casestudies bood VQLC nauwkeurigere verklaringen voor modelvoorspellingen vergeleken met de bredere clusters van K-Means of LACOAT.

Betekenis en Claims

Het artikel claimt dat VQLC een praktisch en schaalbaar alternatief biedt voor clustering-gebaseerde concept-ontdekking voor LLM's. Het adresseert succesvol de geheugenbottleneck van hiërarchische clustering zonder de semantische coherentie van de ontdekte concepten op te offeren. De auteurs benadrukken dat VQLC bijzonder effectief is voor decoder-only modellen, waar het effectiever taak-relevante conceptrichtingen identificeert dan bestaande baselines.

Het werk positioneert VQLC niet als een vervanging voor mechanistische interpreteerbaarheidstools zoals SAE's, maar als een complementaire benadering die representaties organiseert in taak-niveau latente concepten in plaats van monosemantische features. De auteurs merken beperkingen op, waaronder de gevoeligheid van het raamwerk voor hyperparameters (codebook grootte, commitment gewicht) en de huidige focus op classificatietaken, wat suggereert dat het uitbreiden van deze benadering naar generatieve token-voor-token redenering een richting is voor toekomstig werk.