🤖 machine learning

IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients

Dieses Paper führt IG-Lens ein, eine neuartige Methode, die durch die Anwendung von teleskopierenden Integrated Gradients entlang eines einzelnen Pfades eine exakte, additive Wahrscheinlichkeitsattribution über Transformer-Layer hinweg erreicht und dadurch die Nichtlinearitäts- und Bias-Beschränkungen bestehender logit-basierter oder nicht-additiver Readout-Tools überwindet, während sie Vollständigkeit ohne Diskretisierungsfehler gewährleistet.

Ursprüngliche Autoren: Duc Anh Nguyen

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Duc Anh Nguyen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie das, welches diesen Chat steuert) als eine mehrstöckige Fabrik vor, in der eine rohe Idee unten eintritt und ein fertiges Produkt (ein vorhergesagtes Wort) oben herauskommt.

Lange Zeit haben Forscher versucht, eine einfache Frage zu beantworten: „Auf exakt welcher Etage dieser Fabrik wird die Entscheidung für das Wort ‚Hanoi‘ eigentlich getroffen?“

Bestehende Werkzeuge haben versucht, diese Frage zu beantworten, aber sie waren wie schlechte Buchhalter:

Einige Werkzeuge schauen sich jede Etage an und schätzen, wie „zuversichtlich“ die Fabrik ist, aber ihre Schätzungen ergeben zusammen nicht 100 %. Es ist, als würde man sagen: Etage 1 ist zu 40 % sicher, Etage 2 zu 60 % und Etage 3 zu 80 % sicher – das summiert sich auf 180 %, was keinen Sinn ergibt.
Andere Werkzeuge betrachten die Rohzahlen (Logits), bevor diese in Prozentsätze umgewandelt werden. Aber das Umwandeln von Rohzahlen in Wahrscheinlichkeiten ist wie das Backen eines Kuchens; man kann nicht einfach Mehl und Eier separat zusammenzählen und dann das Gewicht des fertigen Kuchens erwarten. Das „Backen“ (die mathematische Operation namens Softmax) verändert alles.
Eine dritte Gruppe von Werkzeugen versucht, die geleistete Arbeit auf jeder Etage zu messen, aber sie messen jede Etage gegen einen anderen Ausgangspunkt, sodass ihre Zahlen nicht zusammenpassen, um die gesamte geleistete Arbeit anzuzeigen.

Hier kommt IG-Lens: Der perfekte Buchhalter

Das Paper stellt IG-Lens vor, eine neue Methode, die wie ein perfekter Buchhalter für diese Fabrik fungiert. Sie löst das Problem durch einen „teleskopierenden“ Trick (denken Sie an ein ausziehbares Teleskop, das sich ausfahren und wieder einfahren lässt).

So funktioniert es in einfachen Worten:

1. Die „Einmalige-Momentaufnahme“-Regel
Anstatt das Wort durch die ganze Fabrik wandern zu lassen und sich an jeder Kehre mit anderen Wörtern zu vermischen, macht IG-Lens eine „Momentaufnahme“ des Zustands des Wortes zu bestimmten Etagen. Dann stellt es die Frage: „Wenn wir den Zustand von Etage 10 nehmen und ihn nur durch die finale ‚Veredelungsmaschine‘ (den Teil, der Rohdaten in eine Wahrscheinlichkeit umwandelt) laufen ließen, was wäre das Ergebnis?“

2. Die Teleskop-Summe
IG-Lens unterteilt die Reise in Segmente (z. B. Etage 10 zu 11, 11 zu 12 usw.).

Es berechnet die Wahrscheinlichkeit des Wortes auf Etage 10.
Es berechnet die Wahrscheinlichkeit auf Etage 11.
Die Differenz zwischen beiden ist die exakte Menge an Arbeit, die auf diesem spezifischen Segment geleistet wurde.
Da es die Veränderung an jedem Schritt misst, ergibt die Summe aller Veränderungen von unten nach oben exakt die gesamte Veränderung vom Anfang bis zum Ende. Es gibt keine fehlende Mathematik, keinen „Backfehler“ und keine Rundungsfehler.

3. Der „Vorhersage-bewusste“ Filter
Die meisten Methoden schauen darauf, wie stark die Zahlen schwanken (Gradienten), um die Wichtigkeit zu erraten. Aber manchmal schwanken Zahlen stark, ohne dass dies die endgültige Entscheidung tatsächlich beeinflusst.
IG-Lens ist klüger. Es schreibt einer Etage nur dann Arbeit zu, wenn sich die tatsächliche Wahrscheinlichkeit des Wortes geändert hat. Wenn die Zahlen schwanken, die Vorhersage aber gleich bleibt, ignoriert IG-Lens dieses Schwanken. Es ist wie ein Manager, der Arbeiter nur für die Tage bezahlt, an denen sie tatsächlich eine Aufgabe abgeschlossen haben, und nicht nur für Tage, an denen sie lediglich damit beschäftigt waren, Kisten hin und her zu bewegen.

Warum das wichtig ist (laut dem Paper)

Es ist exakt: Im Gegensatz zu früheren Werkzeugen, die Ihnen nur eine Annäherung liefern, garantiert IG-Lens, dass, wenn Sie die Beiträge jeder Schicht zusammenzählen, Sie exakt die endgültige Wahrscheinlichkeit erhalten. Es ist mathematisch perfekt (bis an die Grenzen der Computerberechnung).
Es findet den „Beginn“ (Onset): Es kann Ihnen die exakte Schicht nennen, in der das Modell sich für ein Wort entschieden hat. Zum Beispiel könnte es zeigen, dass für das Wort „capital“ die Entscheidung hauptsächlich durch Schicht 12 getroffen wurde, aber für „Hanoi“ die Entscheidung viel später, etwa um Schicht 15 oder 16, stattfand.
Es ist ehrlich über seine Grenzen: Das Paper gibt einen Kompromiss zu. Da IG-Lens eine Momentaufnahme des Zustands eines Wortes zu einer bestimmten Schicht betrachtet, zählt es die Arbeit, die diese Schicht vielleicht später leistet, während das Wort nach oben wandert, nicht mit. Es misst: „Wie viel hat diese Schicht zum Endergebnis beigetragen, gegeben der Tatsache, wo wir gestartet sind?“ statt „Was war der Gesamteffekt dieser Schicht auf das gesamte System?“

Das Fazit

IG-Lens ist eine neue Art, in KI-Modelle hineinzuschauen, die endlich die Frage beantwortet: „Wann hat das Modell sich entschieden?“ – mit einer mathematisch perfekten „Quittung“, die 100 % ergibt. Es rät nicht; es berechnet die exakte Änderung der Wahrscheinlichkeit Schicht für Schicht und filtert das Rauschen heraus, um Ihnen genau zu zeigen, wo die Entscheidung getroffen wurde.

Die Autoren planen, dies zu testen, indem sie das Modell an den Schichten „kaputtmachen“, die IG-Lens identifiziert hat, um zu sehen, ob das Modell dort tatsächlich aufhört, korrekt zu funktionieren, was beweisen würde, dass die Methode die echten Entscheidungspunkte findet.

Technisches Resümee: IG-Lens

Problemstellung

Decoder-only Transformer werden oft als iterative Inferenzprozesse konzipiert, bei denen der Residual Stream eine laufende Schätzung des nächsten Tokens verfeinert. Eine kritische Interpretierbarkeitsfrage lautet: In welcher spezifischen Schicht wird die Wahrscheinlichkeit eines vorhergesagten Tokens tatsächlich entschieden?

Bestehende Werkzeuge für die schichtweise Auslesung (Readout) scheitern daran, dies präzise im Wahrscheinlichkeitsraum zu beantworten:

Logit Lens & Tuned Lens: Diese berichten das Wahrscheinlichkeitsniveau pro Schicht, bieten jedoch keine additive Zerlegung. Ihre Schätzungen sind verzerrt und nicht monoton über die Tiefe hinweg, was bedeutet, dass die Summe der pro-Schicht-Wahrscheinlichkeiten keine mathematische Bedeutung hat.
Direct Logit Attribution (DLA) & Embedding-Methoden: Diese sind zwar additiv, operieren jedoch im Logit-Raum. Da die Softmax-Funktion hochgradig nichtlinear ist, lässt sich eine additive Zerlegung der Logits nicht in eine additive Zerlegung der Wahrscheinlichkeiten übertragen – und genau dies ist die Größe von praktischem Interesse.
Layer Conductance & Layer Integrated Gradients (IG): Diese Methoden integrieren Gradienten pro Schicht, attribuieren jede Schicht jedoch an ihren eigenen, unabhängigen Baseline. Infolgedessen „teleskopieren“ die einzelnen Schicht-Terme nicht (sie summieren sich nicht auf) zur gesamten Änderung der Vorhersagewahrscheinlichkeit.

Methodik: IG-Lens

Die Autoren führen IG-Lens ein, eine Methode, die eine exakte additive Zerlegung der Wahrscheinlichkeit über Transformer-Schichten hinweg ermöglicht.

Kernkonzept

IG-Lens wendet eine teleskopierende Anwendung von Integrated Gradients (IG) entlang eines einzelnen Pfades durch die Hidden States von einer Baseline zur finalen Schicht an.

Pfaddefinition: Die Methode wählt eine Sequenz von Schichten $0 = L_0 < L_1 < \dots < L_k = n$ und definiert einen Pfad der Hidden States $h_{L_0} \to h_{L_1} \to \dots \to h_{final}$ .
Head-Once Readout: Entscheidend ist, dass die Readout-Funktion $f(h)$ als das finale Unembedding definiert ist, das nur einmal auf einen einzelnen Hidden Vektor angewendet wird: $f(h) = \text{softmax}(\text{head}(\text{norm}(h)))_{y_t}$ . Diese Funktion enthält keinen Attention- oder MLP-Mechanismus; jegliches Cross-Token-Mixing wird als bereits im Forward Pass der erzeugten, isolierten Hidden States erfolgt vorausgesetzt.
Teleskopierende Attribution: Der Beitrag der Schicht $L_j$ wird als das Segment-IG von $f$ entlang der geraden Linie von $h_{L_{j-1}}$ zu $h_{L_j}$ definiert. Durch das Gradiententheorem entspricht das Integral des Gradienten über ein Segment der Differenz der Endpunktwerte. Die Summation dieser Segmente ergibt eine teleskopierende Summe:
$\sum_{j=1}^k IGL_j = f(h_{final}) - f(h_{base}) = \Delta p$
Dies stellt sicher, dass die Summe der Attributionen exakt der Änderung der Zielwahrscheinlichkeit entspricht, wobei Softmax und LayerNorm innerhalb des Integrationspfades integriert und nicht linearisiert oder eingefroren werden.

Prädiktionsbewusster Schätzer (Prediction-Aware Estimator)

Obwohl das Integral exakt ist, führen endliche Schritt-Schätzer üblicherweise Diskretisierungsfehler ein. IG-Lens verwendet als Standard einen prädiktionsbewussten Schätzer (inspiriert durch IDGI):

Anstatt Schritte basierend auf Rohgradienten zu kreditieren, wird jeder Schritt durch die beobachtete Änderung der Zielwahrscheinlichkeit ( $f(h^{(s)}) - f(h^{(s-1)})$ ) kreditiert.
Für ein skalares Wahrscheinlichkeits-Readout kollabiert dies in eine teleskopierende Summe von Endpunktwerten.
Ergebnis: Die Vollständigkeit (Completeness) bleibt bei der Verwendung von Fließkommazahlen auch bei beliebiger Schrittanzahl ( $m \ge 1$ ) erhalten. Schritte, in denen das Modell zwar Gradientensensitivität zeigt, aber keine Änderung der Ausgabe bewirkt, werden natürlich herausgefiltert, wodurch der Riemannsche Diskretisierungsfehler eliminiert wird.

Implementierung

Die Methode nutzt einen Single-Pass-Batch-Algorithmus, der die vollständige Token-pro-Schicht-Map berechnet, ohne einen Backward-Pass (Autograd) zu benötigen.

Durch das Stapeln aller Interpolationspunkte in einen einzigen Tensor und die Evaluierung der punktweisen Funktion $f$ in einem einzigen Forward Pass vermeidet die Methode den Overhead der Gradientenberechnung.
Diese Effizienz ist spezifisch durch das „Head-Once“-Design möglich, welches die Unabhängigkeit zwischen den Token-Punkten im Batch sicherstellt.

Zentrale Beiträge

Exakte additive Zerlegung: IG-Lense ist die erste Methode, die eine exakte additive Zerlegung der Wahrscheinlichkeit (nicht der Logits) über Schichten hinweg bereitstellt, wobei die Summe der Attributionen $\Delta p$ entspricht.
Teleskopierende Identität: Das Paper liefert einen formalen Beweis (Proposition 1), dass die Segment-Integrale zu der totalen Änderung der Vorhersage teleskopieren und dabei den Softmax innerhalb des Integrationspfades halten.
Prädiktionsbewusster Schätzer: Der Standard-Schätzer gewährlecht maschinengenaue Vollständigkeit unabhängig von der Schrittanzahl $m$ und filtert Schritte mit „Sensitivität ohne Antwort“ heraus.
Effiziente Implementierung: Eine Single-Pass-Forward-Evaluierung berechnet die vollständige Attributions-Map ohne Backward-Aufrufe, was sie recheneffizient macht.
Positionierung: Die Autoren grenzen klar ab, warum bestehende Methoden im Wahrscheinlichkeitsraum versagen (Logit-Raum-Additivität, Bias oder mangelnde Teleskopierung) und positionieren IG-Lens als das Gegenstück zu Logit-Raum-Methoden im Wahrscheinlichkeitsraum.

Ergebnisse und Evaluationsplan

Numerische Verifizierung: In kontrollierten Tests und einem realen Modell (Llama-3.2-1B-Instruct) reproduziert der Standard-Schätzer die pro-Segment-Endpunktdifferenzen bis auf $\sim 10^{-7}$ (Float32-Präzision). Die teleskopierende Summe hält exakt zur Fließkommapräzision, unabhängig von der Anzahl der Schritte $m$ .
Illustrative Ausgabe: In Experimenten mit dem Prompt „What is the capital of Vietnam?“ konzentriert die Methode die Attributionsmasse erfolgreich in den spezifischen Schichtsegmenten, in denen der Logit-Lens-Wert von niedrig zu hoch transitiert. Die Summe der Attributionen für jedes Token stimmt bis auf Fließkommapräzision mit $\Delta p$ überein.
Evaluationsstrategie: Die Autoren räumen ein, dass der „Onset“ (Beginn) keinen intrinsischen Grundwert (Ground Truth) besitzt. Daher schlagen sie vor, die Methode mittels kausaler Ablation zu validieren: Wenn IG-Lens die Schicht $L$ als Onset identifiziert, sollte eine Ablation von $L$ die Zielwahrscheinlichkeit stärker senken als die Ablation von Schichten mit niedrigeren Onset-Scores. Dieser Test ist darauf ausgelegt, kostengünstig zu sein und die Behauptung widerlegbar zu machen.

Bedeutung und Ansprüche

Das Paper positioniert IG-Lens als eine quantitative Verfeinerung der iterativen Inferenz-Sichtweise. Während der Logit Lens fragt: „Was ist die laufende Vorhersage in dieser Schicht?“, fragt IG-Lens: „Wie viel der finalen Wahrscheinlichkeit wird jeder Schicht zugeschrieben?“ und garantiert, dass sich diese Verantwortlichkeiten zum Ganzen aufsummieren.

Bescheidene Ansprüche und Limitationen:

Bedingte Marginale: Die Autoren stellen explizit klar, dass IG-Lens eine bedingte Marginale misst: die zusätzliche Wahrscheinlichkeit, die Norm+Head aus $h_L$ lesen kann, gegeben $h_{L-1}$ . Es verwirft den Effekt von $h_L$ , wenn dieses durch obere Attention- und MLP-Blöcke geroutet wird.
Trade-off: Die Methode priorisiert „Summe = $\Delta p$ “ gegenüber dem „totalen kausalen Effekt durch den vollständigen Forward-Pass“. Für totale kausale Effekte bleibt die Komponentenzersetzung (wie DLA) das angemessene Werkzeug.
Nicht-Monotonie: Die Methode behandelt nicht-monotone Wahrscheinlichkeitstrajektorien (bei denen Wahrscheinlichkeit aufgebaut und teilweise wieder abgebaut wird), indem sie vorzeichenbehaftete Attributionen verwendet, was eine treuere Sicht auf die Schichtbeiträge als absolutwertbasierte Methoden bietet.

Die zentrale offene Frage bleibt empirischer Natur: Ob der IG-Lens-Onset die Schicht vorhersagt, bei der eine kausale Ablation die Vorhersage am stärksten senkt, insbesondere bei Token mit nicht-monotonen Trajektorien.