💬 NLP

Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs

Der Artikel stellt HETA (Hessian-Enhanced Token Attribution) vor, ein neuartiges Framework zur Interpretation autoregressiver Sprachmodelle, das durch die Kombination von semantischen Übergangsvektoren, Hessian-basierten Sensitivitätswerten und KL-Divergenz eine genauere und kausal treuere Token-Zuschreibung ermöglicht als bisherige Methoden.

Ursprüngliche Autoren: Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vishal Pramanik, Maisha Maliha, Nathaniel D. Bastian, Sumit Kumar Jha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wer hat das Wort gewählt?

Stellen Sie sich vor, ein KI-Modell (ein „Autoregressives Sprachmodell") ist wie ein unermüdlicher Geschichtenerzähler. Er sitzt an einem Tisch und schreibt Satz für Satz. Wenn er das nächste Wort schreibt, schaut er sich alle vorherigen Wörter an.

Aber hier liegt das Problem: Wir Menschen wissen oft nicht genau, welches der vorherigen Wörter den Erzähler dazu gebracht hat, genau dieses eine Wort zu wählen. War es das erste Wort des Satzes? War es das Adjektiv drei Wörter vorher? Oder war es einfach nur der Zufall?

Bisherige Methoden, um das herauszufinden (die „Attributionsmethoden"), waren wie blinde Detektive.

Die „Aufmerksamkeits"-Methode: Sie schaut nur, wohin der Erzähler hinsieht. Aber manchmal schaut er nur aus Höflichkeit auf ein Wort, während er eigentlich an etwas ganz anderem denkt.
Die „Gradienten"-Methode: Sie misst, wie stark sich das Ergebnis ändert, wenn man ein Wort ganz leicht anstößt. Das Problem: In der Welt der KI gibt es viele „flache Täler", in denen ein kleiner Stoss nichts bewirkt, obwohl das Wort eigentlich wichtig ist. Die Detektive denken dann fälschlicherweise: „Das Wort ist unwichtig."

Die Lösung: HETA (Der dreiköpfige Detektiv)

Die Forscher haben eine neue Methode namens HETA (Hessian-Enhanced Token Attribution) entwickelt. Man kann sich HETA wie ein Detektiv-Team aus drei Spezialisten vorstellen, die gemeinsam den Fall lösen. Jeder bringt eine andere Fähigkeit mit, um sicherzustellen, dass sie die Wahrheit finden.

1. Der Wegweiser (Semantischer Fluss)

Die Metapher: Stellen Sie sich vor, das KI-Modell ist ein riesiges Straßennetz. Nicht jede Straße führt zum Ziel.
Die Aufgabe: Dieser Spezialist schaut sich nur die Straßen an, die tatsächlich zum Zielwort führen. Er ignoriert alle Sackgassen und Umwege. Er stellt sicher: „Hey, dieses Wort hier hat einen direkten Weg zum Ziel, also ist es wichtig."
Warum es hilft: Er verhindert, dass Wörter als wichtig markiert werden, nur weil sie zufällig in der Nähe stehen, aber keinen echten Einfluss haben.

2. Der Kurven-Experte (Hessian-Sensitivität)

Die Metapher: Die Welt der KI ist nicht flach wie eine Wiese, sondern bergig wie ein Schweizer Alpenpanorama.
Das Problem: Die alten Detektive (Gradienten) waren wie Wanderer, die nur den Boden unter ihren Füßen abtasteten. Wenn sie auf einem flachen Plateau standen, dachten sie: „Hier geht es nicht weiter." Aber sie sahen nicht die steile Klippe, die nur einen Meter weiter liegt.
Die Aufgabe: Der Kurven-Experte hat eine Luftaufnahme. Er sieht die ganze Landschaft. Er erkennt: „Auch wenn der Boden hier flach wirkt, ist die Kurve dahinter steil! Wenn wir dieses Wort ändern, stürzt das Ergebnis in die Tiefe."
Warum es hilft: Er findet die wichtigen Wörter, die die alten Methoden übersehen haben, weil sie in „flachen Zonen" lagen.

3. Der Informations-Messer (KL-Divergenz)

Die Metapher: Stellen Sie sich vor, Sie nehmen ein Puzzle und entfernen ein Teil.
Die Aufgabe: Dieser Spezialist fragt: „Was passiert mit dem Bild, wenn wir dieses eine Wort aus dem Text löschen?"
- Wenn das Bild danach immer noch klar ist, war das Wort unwichtig.
- Wenn das Bild plötzlich unkenntlich wird oder der Erzähler ein völlig anderes Wort wählt, war das Wort entscheidend.
Warum es hilft: Er misst den echten Informationsverlust. Er bestätigt: „Ohne dieses Wort wäre die Geschichte kaputt."

Das Ergebnis: Ein stabiler Kompass

Wenn diese drei Spezialisten ihre Ergebnisse zusammenführen, entsteht HETA.

Stabilität: Früher änderten sich die Antworten der Detektive, wenn man die „Stimmung" des Erzählers leicht änderte (z. B. durch zufällige Parameter). HETA ist wie ein schwerer Anker: Egal wie das Wetter (die Parameter) ist, er zeigt immer auf das gleiche, wichtige Wort.
Genauigkeit: In Tests hat HETA gezeigt, dass er viel öfter die richtigen Wörter findet als alle anderen Methoden. Er versteht nicht nur, wohin der Erzähler schaut, sondern warum er dort hinschaut und was passiert, wenn man den Blick wegwendet.

Fazit für den Alltag

Früher waren wir wie Zuschauer, die einem Zauberer zusahen und nur raten konnten, wie der Trick funktioniert. Mit HETA bekommen wir endlich eine durchsichtige Anleitung. Wir können sehen, welche Wörter im Text wie die Räder in einer Uhr funktionieren, die den nächsten Schritt der KI antreiben.

Das ist ein riesiger Schritt, um KI-Modelle nicht mehr als „Blackbox" zu betrachten, sondern als verständliche Systeme, denen wir vertrauen können – besonders in wichtigen Bereichen wie Medizin oder Recht, wo man genau wissen muss, warum eine KI eine bestimmte Entscheidung trifft.

1. Problemstellung und Motivation

Die Interpretierbarkeit von Sprachmodellen ist entscheidend für deren Einsatz in hochriskanten Bereichen wie Gesundheitswesen und Finanzen. Bestehende Methoden zur Attribution (Zuordnung von Beiträgen von Eingabetokens zu Ausgaben) stoßen jedoch bei autoregressiven Decoder-only-Modellen an ihre Grenzen:

Limitationen linearer Approximationen: Die meisten etablierten Methoden (z. B. Integrated Gradients, LIME) basieren auf ersten Ableitungen (Gradienten) und nehmen lokale Linearität an. In autoregressiven Modellen sind Token-Interaktionen jedoch stark nichtlinear und kontextabhängig. Gradienten können in flachen Regionen (z. B. bei saturierten Aktivierungsfunktionen) verschwinden, obwohl das Token einen signifikanten Einfluss auf die Ausgabe hat.
Fehlerhafte Kausalität bei Attention: Attention-Gewichte zeigen lediglich, wohin das Modell „schaut", nicht aber, was kausal die Ausgabe beeinflusst. Attention allein ignoriert oft indirekte Pfade durch Residualverbindungen und MLP-Schichten.
Architekturelle Diskrepanz: Methoden, die für Encoder-Modelle (bidirektional) entwickelt wurden, lassen sich nicht direkt auf Decoder-Modelle (unidirektional, autoregressiv) übertragen, da diese eine tokenweise Attribution erfordern, die die kausale Maskierung respektiert.

Ziel ist es daher, eine Attribution zu entwickeln, die kausal treu, kontextbewusst und semantisch fundiert ist, indem sie nichtlineare Effekte und Informationsverluste berücksichtigt.

2. Methodik: Hessian-Enhanced Token Attribution (HETA)

HETA ist ein neuartiges Framework, das drei komplementäre Komponenten vereint, um den Beitrag eines Eingabetokens $x_i$ zur Vorhersage eines Ziel-Tokens $x_T$ zu quantifizieren. Die finale Attribution $Attr(x_i \to x_T)$ wird durch folgende Formel berechnet:

$Attr(x_i \to x_T) = M_T[i] \cdot (\beta \cdot S_i^{(T)} + \gamma \cdot I(x_i \to x_T))$

Dabei sind die drei Kernkomponenten:

A. Semantischer Übergangseinfluss (Semantic Transition Influence)

Dieser Teil stellt den kausalen Gate-Mechanismus dar.

Funktionsweise: Es wird der gewichtete Fluss von Attention-Value-Vektoren über alle Schichten und Köpfe hinweg verfolgt, der am Ziel-Token $T$ endet.
Kausalität: Durch die Nutzung der kausalen Maske des Decoders werden nur Pfade berücksichtigt, die tatsächlich von $x_i$ zu $x_T$ führen.
Berechnung: Die Bedeutung $M_T[i]$ wird durch die Summe der normierten Value-Vektoren ( $V$ ) multipliziert mit den Attention-Gewichten ( $A$ ) und der Output-Projektion ( $W_O$ ) entlang der Pfade zu $T$ bestimmt. Dies gewichtet Tokens basierend auf ihrer semantischen Stärke und kausalen Reichweite.

B. Hessian-basierte Sensitivität (Hessian-Based Sensitivity)

Dieser Teil erfasst nichtlineare Effekte zweiter Ordnung.

Problem: Gradienten (erste Ordnung) versagen in Regionen, wo die Funktion flach ist, aber empfindlich auf endliche Störungen reagiert.
Lösung: HETA nutzt die Hesse-Matrix (zweite Ableitung) der Log-Likelihood-Funktion bezüglich der Token-Embeddings.
Berechnung: Da die explizite Berechnung der Hesse-Matrix für große Modelle unmöglich ist, werden Hessian-Vector-Products (HVPs) mittels Hutchinson-Schätzer und Pearlmutter-Trick approximiert. Die Sensitivität $S_i^{(T)}$ misst die lokale Krümmung und erfasst Interaktionseffekte zwischen Tokens, die lineare Methoden übersehen.

C. Informations-theoretischer Beitrag (KL-Divergenz)

Dieser Teil quantifiziert den Informationsverlust.

Funktionsweise: Es wird gemessen, wie stark sich die Vorhersageverteilung für $x_T$ ändert, wenn der Token $x_i$ maskiert wird.
Metrik: Die Kullback-Leibler (KL)-Divergenz zwischen der ursprünglichen Verteilung $P_{orig}$ und der maskierten Verteilung $P_{masked}$ dient als Maß für den Informationsbeitrag.
Ziel: Dies stellt sicher, dass Tokens, deren Entfernung die Unsicherheit des Modells signifikant erhöht, höher bewertet werden.

Die Gewichte $\beta$ und $\gamma$ balancieren die Sensitivität zweiter Ordnung und den Informationsgewinn, während $M_T[i]$ sicherstellt, dass nur kausal relevante Tokens Attribution erhalten.

3. Schlüsselbeiträge

HETA-Framework: Einführung einer Attribution für Decoder-only-Modelle, die semantische Flussverfolgung, Hessian-Krümmung und KL-basierte Informationsverluste integriert.
Neuer Benchmark-Datensatz: Erstellung eines kuratierten Datensatzes (Kombination aus NarrativeQA und SCIQ), der speziell zur Bewertung der Attribution in generativen Szenarien entwickelt wurde. Er enthält absichtlich irrelevante, aber semantisch reiche Distraktoren, um die Fähigkeit der Modelle zu testen, kausale Beweise von Rauschen zu trennen.
Umfassende Evaluation: Experimente über vier verschiedene Decoder-only-Modelle (GPT-J, Phi-3, LLaMA-3.1, Qwen2.5) und ein breites Spektrum an Baselines (einschließlich ContextCite, Integrated Gradients, ReAgent).

4. Ergebnisse und Evaluation

Die empirischen Ergebnisse zeigen, dass HETA bestehende Methoden in allen relevanten Metriken deutlich übertrifft:

Attribution Faithfulness (Treue): HETA erreicht auf Benchmarks wie LongRA, TellMeWhy und WikiBio die höchsten Scores bei Soft-NC und Soft-NS (Metriken zur Robustheit gegenüber Eingabestörungen). Auf dem GPT-J-6B-Modell übertrifft HETA die zweitbeste Methode (ReAgent) um mehr als das Doppelte (z. B. 10.3 vs. 1.68 bei Soft-NC auf LongRA).
Menschliche Ausrichtung (Alignment): Auf dem kuratierten Datensatz misst die neue Metrik DSA (Dependent Sentence Attribution), wie gut die Attribution auf die tatsächlich relevanten Textsegmente (die Antwortquelle) konzentriert ist. HETA erzielt hier konsistent die höchsten Werte (z. B. 4.80–5.10), während Gradienten- und Attention-basierte Methoden oft negative Werte liefern (d. h. sie gewichten Distraktoren höher als die Antwort).
Robustheit:
- Hyperparameter-Stabilität: HETA ist extrem robust gegenüber Änderungen in Dekodierungs-Hyperparametern (Temperature, Top-p, Top-k). Die relative Änderung der Metriken liegt bei <1%, während Baselines Schwankungen von 2–5% zeigen.
- Syntaktische Invarianz: HETA bleibt stabil bei Umformulierungen (Aktiv/Passiv), was auf eine tiefere semantische Erfassung hindeutet.
Ablationsstudien: Das Entfernen einer der drei Komponenten (Transition, Hessian oder KL) führt zu einem signifikanten Leistungsabfall, was die Notwendigkeit der Kombination aller drei Perspektiven bestätigt.

5. Bedeutung und Fazit

HETA stellt einen neuen Standard für die Interpretierbarkeit von autoregressiven Sprachmodellen dar.

Theoretische Überlegenheit: Durch die Einbeziehung von Krümmungsinformationen (Hessian) löst HETA das Problem der „flachen Regionen", bei denen Gradientenmethoden versagen.
Praktische Relevanz: Die Methode liefert nicht nur stabilere, sondern auch kausal treuere Erklärungen, was für das Debuggen von Modellen, die Entdeckung von Halluzinationen und die Sicherstellung von Fairness entscheidend ist.
Skalierbarkeit: Obwohl die Berechnung der Hesse-Matrix rechenintensiv ist, demonstriert das Paper, dass effiziente Approximationen (Low-Rank-Hessians, Windowing) die Kosten drastisch senken, ohne die Qualität signifikant zu beeinträchtigen.

Zusammenfassend bietet HETA einen prinzipiellen Ansatz, der die Lücke zwischen der Komplexität moderner Decoder-only-Modelle und der Notwendigkeit nach transparenten, verlässlichen Erklärungen schließt. Der Code und der Datensatz sind öffentlich verfügbar, um die Reproduzierbarkeit zu gewährleisten.