💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

Dit artikel introduceert DMDIntel, een nieuw interpreteerbaarheidsframework dat gebruikmaakt van dynamic mode decomposition om de verborgen toestanden van LLM's te ontbinden in prominente modi en inputtokens te rangschikken, waarbij het een superieure prestatie demonstreert ten opzichte van state-of-the-art attributiemethoden zoals PCA, integrated gradients en SHAP over meerdere datasets en modelfamilies.

Oorspronkelijke auteurs: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een goochelaar kijert die een konijn uit een hoed tovert. Je ziet de hoed, je ziet het konijn, maar de magie vindt plaats in het fractie van een seconde tussen de twee, verborgen in de mouwen van de goochelaar. Al een lange tijd is Kunstmatige Intelligentie (AI) die goochelaar. We geven het een zin, en het geeft ons een antwoord, maar niemand weet echt hoe het dat antwoord heeft besloten. De AI is een "black box", en wetenschappers zijn wanhopig op zoek naar een manier om erin te gluren om te zien naar welke woorden de computer daadwerkelijk aandacht besteedde. Dit vakgebied wordt "interpreteerbaarheid" genoemd. Om het nieuwe artikel te begrijpen, moet je eerst twee dingen weten: hoe AI tekst leest en hoe we gewoonlijk proberen erin te gluren.

AI-modellen, specifiek de modellen die "Large Language Models" (LLM's) worden genoemd, lezen woorden niet zoals wij dat doen. In plaats daarvan veranderen ze elk woord in een lange lijst met getallen (een vector) en sturen ze deze door een reeks lagen, als een estafette. Bij elke laag veranderen de getallen lichtjes, waarbij de betekenis van het huidige woord wordt vermengd met de woorden die eraan voorafgingen. Aan het einde van de race heeft het model een definitieve set getallen die het antwoord bepalen. Meestal gebruiken wetenschappers instrumenten die kijken naar de "statische" staat van het model om te achterhalen welke woorden belangrijk waren — alsof je een enkele foto maakt van de estafette en probeert te raden wie het snelst rent. Maar dit artikel suggereert dat het kijken naar een enkele foto het hele verhaal mist. Het beargumenteert dat we de film van de race moeten bekijken, door te kijken naar hoe de getallen zich van de ene stap naar de volgende ontwikkelen, omdat het geheim van het denken van de AI in die beweging zit.

Maak kennis met DMDINTEL, een nieuwe methode geïntroduceerd door Amogh Joshi en zijn team van IIT Kharagpur en de Universiteit van Manchester. Denk aan de interne verwerking van de AI niet als een statische lijst met getallen, maar als een stromende rivier. Terwijl de AI een zin leest, rimpelt en verandert de "water" (de verborgen informatie) van vorm bij elk nieuw woord. De onderzoekers gebruikten een wiskundig hulpmiddel genaamd Dynamic Mode Decomposition (DMD) — oorspronkelijk uitgevonden om te bestuderen hoe water kolkt in de fluïdummechanica — om deze rimpelingen in kaart te brengen.

Hier is hoe hun "rivier"-analogie in de praktief werkt: Wanneer de AI een zin leest, creëren de verborgen toestanden van de woorden een complex, kolkend patroon. DMDINTEL breekt dit patroon af in een paar eenvoudige, herhalende "modi" of vormen, vergelijkbaar met hoe een complexe golf in de oceaan kan worden beschreven als een combinatie van een paar basisgolfvormen. Het team ontdekte dat door te kijken naar hoe deze vormen groeien, krimpen of oscilleren terwijl de AI de zin leest, ze konden identificeren welke woorden de "drivers" waren van de uiteindelijke beslissing. Ze behandelden de AI als een dynamisch systeem, wat betekent dat ze keken naar de verandering tussen het ene woord en het volgende, in plaats van alleen naar het woord zelf.

De onderzoekers testten dit idee op drie verschillende families van AI-modellen (Llama, Qwen en Mistral) en op drie verschillende taken: bepalen of een beoordeling positief of negatief is, nepnieuws opsporen en haatzaaiende taal detecteren. Ze vergeleken hun "rivierfilm"-methode met de oude "statische foto"-methoden, waaronder technieken zoals Integrated Grients, SHAP en Principal Component Analysis (PCA).

De resultaten suggereren dat DMDINTEL een veel betere detective is. In hun experimenten vond de nieuwe methode consequent de belangrijkste woorden (de "ground truth") vaker dan de andere methoden. Bijvoorbeeld, wanneer de AI besliste of een beoordeling negatief was, rangschikte DMDINTEL woorden als "trash" en "unable" correct als de belangrijkste drivers, terwijl andere methoden soms werden afgeleid door minder belangrijke woorden zoals "scheduled" of "conference". Het artikel laat zien dat door te kijken naar de evolutie van de gedachten van de AI, DMDINTEL de logica van de zin beter vangt. Het suggereert dat de redenering van de AI niet alleen gaat over de woorden die stilzitten; het gaat over hoe de betekenis stroomt en transformeert terwijl de zin wordt opgebouwd.

De auteurs waarschuwen echter dat dit geen wondermiddel is voor elk AI-probleem. Hun methode werkt het beste wanneer de AI slechts een zin leest en een eenvoudig antwoord geeft (zoals een classificatietaak). Ze geven toe dat als de AI begint met het schrijven van een lang verhaal of het vertalen van een heel boek woord voor woord, de wiskunde ingewikkeld wordt omdat de AI zijn eigen nieuwe woorden weer terug in het systeem voert. Maar voor de specifieke taak om uit te leggen waarom een AI een zin als "haatzaaiende taal" of "nepnieuws" bestempelde, suggereert deze nieuwe manier van kijken naar de dans van de getallen een duidelijker en nauwkeuriger beeld van de geest van de machine.

Technische Samenvatting: DMDINTEL – Het interpreteren van LLM's via Dynamic Mode Decomposition

1. Probleemstelling

Het artikel behandelt de uitdaging van interpreteerbaarheid in grote taalmodellen (LLM's), specifiek met betrekking tot input-attributie in classificatietaken. Hoewel traditionele methoden zoals Integrated Gradients (IG), SHAP en Principal Component Analysis (PCA) effectief zijn in het identificeren van welke tokens het model waarneemt, stellen de auteurs dat ze aanzienlijke beperkingen hebben:

Discrete Behandeling: Ze behandelen tokens vaak als discrete, geïsoleerde entiteiten.
Gebrek aan Temporele Context: Ze falen in het vastleggen van de sequentiële evolutie van latente informatie terwijl het model een sequentie stap voor stap verwerkt.
Gefragmenteerde Momentopnames: Ze bieden een statisch beeld van redeneren in plaats van een continu narratief van hoe verborgen toestanden evolueren om een voorspelling te vormen.

Bestaand werk op het gebied van mechanistische interpreteerbaarheid richt zich vaak op statische probing of specifieke circuit-mapping, maar worstelt met het modelleren van de dynamische informatiestroom over een sequentie.

2. Methodologie: Het DMDINTEL-framework

Het voorgestelde framework, DMDINTEL, behandelt een supervised fine-tuned decoder-only LLM als een discreet-tijds dynamisch systeem. Het modelleert de evolutie van verborgen toestanden als een flow in de embedding-ruimte, waarbij de niet-lineaire modelfunctie $F$ wordt benaderd met een lineaire surrogaatoperator.

Kernworkflow

Formulering van het Dynamisch Systeem:
De toestandsverandering van het model wordt gemodelleerd als $h_{t+1} \approx F(w_{\le t})$ , waarbij $h_t$ de verborgen toestand is bij token $t$ . De auteurs benaderen deze transitie met behulp van een lineaire relatie $h_{t+1} = A h_t$ , waarbij $A$ een surrogaat lineaire operator is.
Data Matrix Constructie & Denoising:
- Laagselectie: Een heuristiek (Algoritme 1) selecteert de optimale decoderlaag ( $\ell^*$ ) door de cosinus-gelijkenis tussen de verborgen toestanden van tokens en een "instructie-bias" vector (afgeleid van een lege prompt) te analyseren. De geselecteerde laag balanceert de getrouwheid aan de input-tokens tegen de instructie-volgende bias, meestal gelegen op het kantelpunt waar de gelijkenis met de instructie-bias scherp begint te stijgen.
- Bias Verwijdering: Om het signaal van de werkelijke inputzin te isoleren van de prompt-template, trekken de auteurs de instructie-bias vector ( $b$ ) af van de verborgen toestanden: $\hat{h}_i = h_i - b$ .
- Matrixvorming: De gedebiaanseerde verborgen toestanden vormen een data-matrix $X$ .
Dynamic Mode Decomposition (DMD):
- Standaard DMD: De lineaire operator $A$ wordt benaderd vanuit de data-matrix. De eigendecompositie ervan levert DMD-modi (spatio-temporele structuren) en eigenwaarden (die groei, verval en oscillatie kwantificeren).
- Higher-Order DMD (HODMD): Om langetermijnafhankelijkheden en temporele dynamiek te vangen die standaard DMD (dat uitgaat van een Markoviaanse $h_{t+1} = A h_t$ ) mogelijk mist, gebruiken de auteurs ook HODMD. Dit construeert een Hankel-matrix uit gestapelde snapshots, waardoor het systeem verborgen toestanden kan modelleren als lineaire combinaties van voorgaande tijdstappen.
Input-Attributie (Token Ranking):
- Modi Ranking: Modi worden gerangschikt op basis van hun dynamische significantie, specifiek gebruikmakend van de magnitude van de initiële modale amplitudes of de tijdgemiddelde magnitude van de amplitudes.
- Token Scoring: Voor elk token $w_t$ wordt de bijdrage gemeten door de toestandswijziging $\Delta h_t = h_t - h_{t-1}$ . De scalaire projectie van deze wijziging op de top- $k$ dominante modi wordt berekend. De som van deze projectiemagnitudes over de top-modi levert een projectiescore ( $s_t$ ) voor het token op.
- Eindoutput: Tokens worden gerangschikt op basis van hun projectiescores om de meest invloedrijke drijvers van de voorspelling van het model te identificeren.

3. Belangrijkste Bijdragen

DMDINTEL Framework: Introductie van een input-attributie pipeline die de verborgen toestanden van LLM's decomponereert in interpreteerbare spatio-temporele modi om input-tokens te rangschikken.
Dynamisch Perspectief: Het eerste werk dat de sequentiële evolutie van verborgen toestanden in decoder-only LLM's analyseert als een dynamisch systeem specifiek voor input-attributie.
Empirische Validatie: Uitgebreide evaluatie over drie modelfamilies (Llama-3.2-3B, Qwen3-4B, Mistral-7B) en drie diverse tekstclassificatie-datasets (Sentiment, HateXplain, FakeEdit).
Prestatie-superieuriteit: Demonstratie dat DMDINTEL consequent beter presteert dan state-of-the-art baselines (PCA, IG, SHAP) in het identificeren van ground-truth tokens terwijl de gerangschikte belangrijkheid behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden het framework met behulp van Matched Count (MC), Rank-Biased Overlap (RBO) en Recall@k tegenover de ground-truth (GT) rangschikkingen gegenereerd door GPT-4.1.

Sentimentanalyse: HODMD met tijdgemiddelde amplitude-ranking presteerde het best. De auteurs schrijven dit toe aan de noodzaak van delay-factoren om de dynamiek van meerwoordige zinsdelen te vangen, wat standaard DMD mist. DMDINTEL presteerde beter dan PCA, IG en SHAP over alle metrieken.
HateXplain & FakeEdit: Standaard DMD met amplitude-gebaseerde ranking bleek het meest effectief. De auteurs suggereren dat voor deze taken, waarbij specifieke keywords (bijv. haatzaaiende termen of politieke figuren) de classificatie drijven, de toestandsevolutie een bijna-Markoviaans proces volgt dat de uitgebreide geheugen van HODMD niet vereist. DMDINTEL behaalde de hoogste Recall@10, waarbij de meeste ground-truth tokens werden opgehaald.
Kwalitatieve Analyse: DMDINTEL vertoonde een sterke overeenkomst met GT en rangschikte semantisch relevante tokens (bijv. "trash," "unable," "fa**ot") consistent nabij de top. In contrast hiermee focuste IG vaak op smalle subsets van toxische keywords terwijl de context werd gemist, en SHAP bracht soms contextueel plausibele maar GT-afwezige tokens naar voren.
Fidelity (Perturbatie): In token-masking experimenten veroorzaakte DMDINTEL consequent significante dalingen in modelaccuratesse en zelfvertrouwen (vaak de eerste of tweede plek bezetend), wat bevestigt dat de geïdentificeerde tokens inderdaad cruciaal zijn voor het besluitvormingsproces van het model.
Robuustheid: De methode toonde stabiliteit over verschillende modelfamilies en was relatief ongevoelig voor kleine variaties in de gekozen laagindex ( $\ell^*$ ).

5. Betekenis en Claims

Het artikel claimt dat DMDINTEL een robuuster en effectiever venster biedt voor input-attributie vergeleken met traditionele statische of gradiënt-gebaseerde methoden. Door het LLM te beschouwen als een dynamisch systeem, vangt het framework het continue narratief van modelredenering op in plaats van gefragmenteerde momentopnames.

De auteurs benadrukken dat:

De verborgen toestanden van fine-tuned modellen, wanneer ze worden gedecomponeerd in lager-dimensionale spatio-temporele modi, interpreteerbare patronen onthullen die dienen als robuuste indicatoren van de informatiestroom.
Dit dynamische perspectief de identificatie mogelijk maakt van tokens die de output-classificatie drijven met hogere getrouwheid, vooral in taken waar sequentiële context of specifieke token-niveau triggers cruciaal zijn.
De aanpak slaagt erin de kloof te overbruggen tussen complexe niet-lineaire modelgedrag en interpreteerbare lineaire structuren (modi) zonder voorafgaande kennis van de sturende vergelijkingen van het systeem te vereisen.

6. Beperkingen

De auteurs erkennen specifieke grenzen van hun huidige werk:

Taakbereik: Het framework wordt momenteel alleen geëvalueerd op classificatietaken met korte outputs (1-2 tokens). Er wordt opgemerkt dat het toepassen hiervan op auto-regressieve generatie (bijv. machinale vertaling) uitdagend is omdat gegenereerde tokens terug in het model worden gevoed, wat de formulering van de DMD-matrix compliceert.
Modelbereik: De studie richt zich op supervised instruction fine-tuned modellen voor specifieke downstream taken. General-purpose instruction-tuned modellen die door bedrijven worden uitgebracht, blijven in deze context onverkend.