💬 NLP

Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs

Deze paper introduceert HETA, een nieuw attribuutframework dat speciaal is ontworpen voor decoder-only taalmodellen door Hessian-gebaseerde gevoeligheid, semantische transitievectoren en KL-divergentie te combineren om de interpretatie van autoregeneratieve generaties nauwkeuriger en menselijker te maken dan bestaande methoden.

Oorspronkelijke auteurs: Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

HETA: De "Super-Detective" voor Taalmodellen

Stel je voor dat een groot taalmodel (zoals de AI die je nu gebruikt) een enorme, donkere fabriek is. Als de AI een zin schrijft, is het alsof er een productielijn draait. Maar als je vraagt: "Waarom koos de AI precies dit woord?", kijken de meeste huidige methoden alleen naar de schaduwen op de muur. Ze zeggen: "Ah, deze lamp brandde toen het woord werd gekozen!" Maar dat zegt nog niets over wat er echt in de machine gebeurt.

Deze paper introduceert HETA (Hessian-Enhanced Token Attribution). Dit is een nieuwe, slimme manier om te kijken hoe een AI denkt, speciaal voor modellen die zinnen woord voor woord opbouwen (zoals wij spreken).

Hier is hoe HETA werkt, uitgelegd met drie simpele metaforen:

1. De "Causale Stroom" (De Rivier van Betekenis)

Stel je voor dat de zin die de AI schrijft een rivier is. Elk woord is een druppel water.

Oude methoden kijken alleen naar waar de stroom naar toe kijkt (de aandacht). Maar soms kijkt de stroom naar een rots, terwijl het water eigenlijk ergens anders naartoe stroomt.
HETA volgt de stroomlijn. Het kijkt niet alleen naar waar de AI naar kijkt, maar naar welke druppels water daadwerkelijk de volgende druppel hebben aangestoten. Het zorgt ervoor dat we alleen kijken naar woorden die een echte, causale link hebben met het woord dat nu wordt gekozen. Het is alsof je een bootje volgt dat precies de route vaart die het water heeft genomen, in plaats van alleen naar de wind te kijken.

2. De "Krulkracht" (De Hessian)

Stel je voor dat je op een trampoline springt.

Oude methoden kijken alleen naar hoe steil de helling is op het moment dat je springt (de eerste graad). Maar als je precies op een plat vlak landt (een vlakke plek in de helling), zeggen ze: "Geen helling, dus geen kracht!" Terwijl je er wel degelijk een enorme duw nodig hebt om daar vandaan te komen.
HETA kijkt naar de kromming (de Hessian). Het voelt niet alleen de helling, maar ook hoe de trampoline buigt. Als een woord op een "plat" punt staat, maar een kleine verandering toch een groot effect heeft, ziet HETA dat. Het begrijpt dat de wereld van AI niet altijd rechtlijnig is; soms is de kracht verborgen in de bocht.

3. De "Verdwijntruc" (De KL-divergentie)

Stel je voor dat je een puzzel oplost.

Oude methoden proberen te raden welke stukjes belangrijk zijn door ze een beetje te verplaatsen.
HETA doet een verdwijntruc. Het neemt een woord weg (maskert het) en kijkt: "Hoeveel is de puzzel nu veranderd?" Als je het woord "hond" weghaalt en de zin wordt ineens onbegrijpelijk, dan was dat woord cruciaal. Als je "de" weghaalt en de zin blijft hetzelfde, was het niet zo belangrijk. HETA meet precies hoeveel informatie er verloren gaat als een woord wegvalt.

Waarom is dit zo cool?

De auteurs hebben een nieuwe speelset (een dataset) gemaakt om deze methoden te testen. Ze hebben een zin gemaakt met twee delen:

Een leuk verhaal over een winterstorm (afleidingsmanoeuvre).
Een feitelijke zin over fotosynthese (het echte antwoord).

Als je de AI vraagt: "Waar gebeurt fotosynthese?", moeten de oude methoden vaak verward raken door het winterverhaal. Ze zeggen: "Oh, het woord 'winter' is belangrijk!"
HETA daarentegen zegt: "Nee, kijk naar het tweede deel! Het woord 'bladeren' is de enige echte sleutel."

De Conclusie in één zin

HETA is als een super-detective die niet alleen kijkt naar wie in de kamer was (aandacht), maar ook voelt hoe de vloer trilt (kromming) en wat er gebeurt als je een persoon uit de kamer haalt (informatie). Hierdoor begrijpen we eindelijk écht waarom een AI het antwoord geeft dat hij geeft, en niet alleen wat hij doet.

Dit maakt AI veiliger, betrouwbaarder en minder een "zwarte doos".

Probleemstelling

Bestaande methoden voor attributie (het verklaren van modelvoorspellingen door de bijdrage van invoertokens te kwantificeren) hebben aanzienlijke beperkingen wanneer ze worden toegepast op autoregressieve decoder-only taalmodellen:

Architecturale ongeschiktheid: De meeste methoden (zoals LIME, Integrated Gradients, Attention Rollout) zijn ontworpen voor encoder-architecturen (zoals BERT) die bidirectionele aandacht gebruiken. Decoder-only modellen genereren tekst sequentieel met causale masking, wat directe toepassing van deze methoden problematisch maakt.
Lineariteitsaannames: Traditionele methoden vertrouwen vaak op lineaire of eerste-orde benaderingen (gradiënten). In autoregressieve modellen zijn token-interacties echter sterk niet-lineair en contextafhankelijk. Gradiënten kunnen verdwijnen (vanish) in vlakke regio's van de activatiefuncties, waardoor ze significante invloeden missen die op hogere ordes manifesteren.
Causale onnauwkeurigheid: Aandachtsgewichten (attention weights) geven aan waar het model naar "kijkt", maar niet noodzakelijk wat de output daadwerkelijk beïnvloedt. Ze kunnen worden verstoord zonder de voorspelling te veranderen en missen vaak indirecte invloedspaden via residual connections en MLP-lagen.
Instabiliteit: Bestaande methoden vertonen vaak inconsistentie bij veranderingen in decodeer-hyperparameters (zoals temperatuur of top-p) en bij syntactische herschrijvingen van de invoer.

Methodologie: HETA

De auteurs stellen Hessian-Enhanced Token Attribution (HETA) voor, een unificerend framework dat specifiek is ontworpen voor decoder-only modellen. HETA combineert drie complementaire componenten om een contextbewuste, causaal trouwe en semantisch onderbouwde attributie te genereren:

Semantische Transitie Invloed (Causal Gating):
- Om causale richting te garanderen, traceert HETA de stroom van waarden (value flow) die door de attention-mechanismen wordt versterkt, maar beperkt tot paden die eindigen bij het doeltoken ( $T$ ).
- Dit wordt berekend via een "attention rollout" over de lagen en heads, waarbij alleen paden worden meegenomen die causaal verbonden zijn met de target.
- Dit resulteert in een normalisatiefactor $M_T[i]$ die attributie beperkt tot tokens met een causaal pad naar de output.
Hessiaanse Gevoeligheid (Second-Order Sensitivity):
- Om niet-lineaire effecten te vangen, berekent HETA de Hessiaan (de tweede-orde afgeleide) van de log-waarschijnlijkheid van het doeltoken ten opzichte van de invoerembeddings.
- Omdat het expliciet berekenen van de volledige Hessiaan onhaalbaar is voor grote modellen, worden Hessian-Vector Products (HVPs) gebruikt met Hutchinson-schatters (via Pearlmutter's trick).
- Dit meet de kromming (curvature) van het beslissingsoppervlak, waardoor invloeden worden gedetecteerd zelfs als de eerste-orde gradiënt nul is (bijv. in verzadigde regio's).
KL-Divergentie voor Informatieverlies (Information-Theoretic Impact):
- Om de informatiebijdrage te kwantificeren, wordt de verdeling van het doeltoken vergeleken met en zonder de informatie van een specifiek token $x_i$ .
- Dit wordt gemeten via Kullback-Leibler (KL) divergentie: $I(x_i \to x_T) = D_{KL}(P_{orig} || P_{masked})$ .
- Dit geeft een probabilistische maatstaf voor hoe veel onzekerheid er verloren gaat als een token wordt gemaskeerd.

De Eindscore:
De attributiescore voor een token $x_i$ wordt berekend als:
$Attr(x_i \to x_T) = M_T[i] \cdot (\beta \cdot S_i^{(T)} + \gamma \cdot I(x_i \to x_T))$
Waarbij $\beta$ en $\gamma$ gewichten zijn voor respectievelijk de Hessiaanse gevoeligheid en de informatiebijdrage. De term $M_T[i]$ fungeert als een "causale poort" die attributie toekent aan tokens die daadwerkelijk invloed hebben op het doel.

Belangrijkste Bijdragen

HETA Framework: Een nieuwe attributiemethode die semantische stroom, tweede-orde gevoeligheid en informatie-theoretische impact integreert, specifiek voor decoder-only LLMs.
Gecurateerde Benchmark Dataset: De auteurs introduceren een nieuwe dataset van 2.000 voorbeelden (een combinatie van NarrativeQA en SciQ) om attributie-eigenschappen systematisch te evalueren. Deze dataset bevat een "distractor" segment en een "antwoord-dragend" segment om te testen of attributiemethoden de juiste causale tokens kunnen isoleren.
DSA Metric: Een nieuwe metriek, de Dependent Sentence Attribution (DSA), die meet hoeveel attributiegewicht correct op het relevante bewijsmateriaal wordt gelegd versus op irrelevante context.
Uitgebreide Evaluatie: Experimenten uitgevoerd op vier verschillende decoder-only modellen (GPT-J, LLaMA-3.1, Phi-3, Qwen2.5) en diverse benchmarks.

Resultaten

De experimentele resultaten tonen aan dat HETA consistent presteert boven bestaande state-of-the-art methoden (zoals ContextCite, Integrated Gradients, ReAgent, en Attention Rollout):

Faithfulness (Betrouwbaarheid): HETA behaalt de hoogste scores op Soft-NC en Soft-NS (metrieken die de verschuiving van de outputverdeling meten bij invoerperturbaties). Bijvoorbeeld, op GPT-J 6B scoort HETA een Soft-NC van 10.3, terwijl de volgende beste methode (ReAgent) rond de 1.68 ligt.
Alignement met Menselijke Annotatie: Op de nieuwe dataset behaalt HETA een DSA-score van >4.2 over alle modellen, terwijl andere methoden vaak negatieve of zeer lage scores halen. Dit betekent dat HETA veel beter in staat is om de juiste bewijswoorden te identificeren.
Robuustheid: HETA is uitzonderlijk stabiel onder veranderingen in decodeer-hyperparameters (temperatuur, top-p, top-k). De variatie in scores is <1%, terwijl baselines variaties van 2-5% vertonen. Ook bij syntactische herschrijvingen (actief/passief) behoudt HETA zijn consistentie.
Ablatie Studies: Verwijdering van een van de drie componenten (Semantische Flow, Hessiaan, of KL) leidt tot een significante daling in prestaties, wat aantoont dat alle drie de onderdelen noodzakelijk en complementair zijn.

Betekenis en Conclusie

HETA stelt een nieuwe standaard voor interpretability in autoregressieve taalmodellen. Door de beperkingen van lineaire benaderingen en puur aandacht-gebaseerde methoden te overwinnen, biedt het een causaal getrouw inzicht in hoe generatieve modellen werken.

Theoretische Implicatie: Het paper onderstreept dat tweede-orde informatie (kromming) essentieel is voor het begrijpen van niet-lineaire taalmodellen, vooral in regio's waar gradiënten falen.
Praktische Toepassing: De methode maakt het mogelijk om betrouwbaar te debuggen, hallucinaties te traceren en de besluitvorming van LLMs in hoog-risico domeinen (zoals gezondheidszorg en finance) te verklaren.
Beperkingen: De belangrijkste beperking is de hogere rekenkosten en geheugengebruik door het berekenen van Hessiaanse benaderingen. De auteurs bieden echter efficiënte varianten (zoals low-rank benaderingen en windowing) die de kosten aanzienlijk verlagen met minimale kwaliteitsverlies.

Samenvattend biedt HETA een robuust, theoretisch onderbouwd en empirisch superieur framework om de "black box" van autoregressieve generatieve modellen te openen.