💬 NLP

Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift

Dieser Beitrag stellt den Geometry-Adaptive Explainer (GAE) vor, eine gradientenfreie Methode, die wörterbuchbasierte Interpretierbarkeitswerkzeuge mit aktivierenden Subräumen außerhalb der Trainingsverteilung neu ausrichtet, um die kausale Zuverlässigkeit unter Verteilungsverschiebungen erheblich zu verbessern.

Ursprüngliche Autoren: Sungjun Lim, Heedong Kim, Andrew Lee, Kyungwoo Song

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sungjun Lim, Heedong Kim, Andrew Lee, Kyungwoo Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochqualifizierten Übersetzer, der jahrelang einen bestimmten Dialekt einer Sprache gelernt hat. Er ist hervorragend darin, Geschichten zu übersetzen, die in diesem Dialekt geschrieben sind. Eines Tages wird er jedoch gebeten, eine Geschichte zu übersetzen, die in einem leicht abweichenden Dialekt verfasst ist, bei dem die Grammatikregeln und die Wortstellung subtil verschoben wurden.

Da der Übersetzer so sehr an die alten Regeln gewöhnt ist, versucht er, die neue Geschichte in die alte Struktur zu zwingen. Was ist das Ergebnis? Die Übersetzung ist verwirrend, ungenau und erfasst nicht die wahre Bedeutung der neuen Geschichte.

Genau dieses Problem behandelt die Arbeit „Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift", wobei es jedoch nicht um einen menschlichen Übersetzer geht, sondern um KI-Modelle und die Werkzeuge, die wir verwenden, um zu verstehen, wie sie denken.

Hier ist eine Aufschlüsselung der Ideen der Arbeit unter Verwendung einfacher Analogien:

1. Das Problem: Die „steife Karte"

KI-Forscher verwenden Werkzeuge namens Dictionary-Based Explainer (wie Sparse Autoencoder), um zu verstehen, was innerhalb eines neuronalen Netzwerks vor sich geht. Betrachten Sie diese Erklärer als ein Wörterbuch oder eine Karte.

Wie sie funktionieren: Die Karte wird basierend darauf gezeichnet, wie sich die KI verhält, wenn sie „normale" Daten sieht (wie Standard-Englischsätze). Die Karte sagt uns: „Wenn die KI dieses Muster sieht, aktiviert sie dieses spezifische Merkmal."
Das Problem: Wenn die KI auf Out-of-Distribution (OOD)-Daten trifft (wie einen neuen Slangbegriff, ein anderes Thema oder einen seltsam formulierten Satz), ändert sich die innere „Geometrie" der KI. Es ist, als hätte sich die Landschaft selbst gedreht.
Das Ergebnis: Die alte Karte passt nicht mehr zur neuen Landschaft. Die KI verwendet andere „Richtungen" zum Denken, aber der Erklärer versucht immer noch, die Karte in der alten Ausrichtung zu lesen. Dies erzeugt eine „Faithfulness Gap" (Treue-Lücke). Die Erklärung ist nicht mehr treu zu dem, was die KI tatsächlich tut.

2. Die Entdeckung: Es ist ein Geometrieproblem

Die Autoren erkannten, dass dies nicht nur ein zufälliger Fehler ist, sondern eine geometrische Fehlausrichtung.

Die Analogie: Stellen Sie sich die inneren Gedanken der KI als eine Wolke von Punkten vor, die im dreidimensionalen Raum schweben. Wenn sich die Daten ändern, dreht sich die gesamte Wolke.
Der alte Erklärer ist ein steifer Rahmen, der gebaut wurde, um die Wolke in ihrer ursprünglichen Position zu umfassen.
Wenn sich die Wolke dreht, erfasst der Rahmen die Punkte nicht mehr korrekt. Die Arbeit beweist, dass je mehr sich die Wolke dreht (die „Shift der zweiten Momente"), desto größer die Lücke zwischen Rahmen und Wolke wird und desto schlechter die Erklärung ausfällt.

3. Die Lösung: GAE (Der „drehende Rahmen")

Die Autoren schlagen eine neue Methode namens GAE (Geometry-Adaptive Explainer) vor. Anstatt die alte Karte wegzuwerfen und eine brandneue von Grund auf neu zu zeichnen (was viel Zeit und Rechenleistung erfordert), macht GAE etwas Cleveres:

Schritt 1: Der Spin. Es nimmt die alte Karte und dreht sie physisch, um sie mit der neuen Ausrichtung der Gedanken der KI abzugleichen. Es verwendet einen mathematischen Trick (Orthogonal Procrustes), um den perfekten Winkel zu finden, um den alten Rahmen mit der neuen Datenwolke auszurichten.
Schritt 2: Das Fine-Tune. Sobald der Rahmen gedreht ist, nimmt es winzige Anpassungen an den einzelnen „Linealen" innerhalb des Rahmens vor, damit sie perfekt zu den spezifischen Punkten der neuen Daten passen, ohne die ursprüngliche Struktur der Karte zu zerstören.

Das Beste daran: GAE macht dies ohne jegliches Training.

Traditionelle Methoden sind wie der Versuch, eine neue Sprache zu lernen, indem man eine Million Bücher liest (was Stunden oder Tage Computerzeit in Anspruch nimmt).
GAE ist wie das Betrachten einiger Sätze, das Erkennen, dass sich die Grammatik verschoben hat, und das sofortige Drehen Ihrer mentalen Karte, um sie anzupassen. Es dauert Sekunden und erfordert keine Gradienten-Updates (kein schweres mathematisches Training).

4. Die Ergebnisse: Schnell und präzise

Die Arbeit testete GAE an großen Sprachmodellen (wie GPT-2 und Pythia) mit verschiedenen Arten von „Shifts" (neue Zeiträume, Finanzdokumente und adversarische Tricks).

Geschwindigkeit: Während andere Methoden Minuten oder Stunden benötigten, um sich anzupassen, schloss GAE in unter 3 Sekunden ab.
Genauigkeit: Obwohl es im traditionellen Sinne nicht „trainiert" wurde, produzierte GAE Erklärungen, die treuer (genauer im Verhalten der KI) waren als Methoden, die Stunden damit verbrachten, das Modell neu zu trainieren.
Der „Circuit"-Test: In einem Experiment untersuchten sie, wie die KI entschied, das Wort „American" vorherzusagen. Die alte Karte (Fixed) wies die KI in die falsche Richtung. GAE drehte die Karte, und plötzlich wies die Erklärung korrekt auf das Konzept der Nationalität hin, obwohl die zugrunde liegenden „Merkmale" (die Wörter, die die KI bemerkte) exakt gleich blieben.

Zusammenfassung

Die Arbeit argumentiert, dass sich der innere „Denkraum" von KI-Modellen dreht, wenn sie auf neue Datentypen treffen. Unsere alten Werkzeuge zum Verständnis bleiben in der alten Ausrichtung stecken.

GAE ist eine schnelle, mathematische Lösung, die einfach unsere Verständigungswerkzeuge dreht, um sie mit der neuen Realität abzugleichen. Es ist ein Weg, unsere Erklärungen genau und vertrauenswürdig zu halten, ohne dass wir Tage damit verbringen müssen, die Werkzeuge neu zu trainieren, und macht sie zu einer praktischen Lösung, um KI in einer sich wandelnden Welt interpretierbar zu halten.

Technische Zusammenfassung: Geometrie-adaptiver Erklärer für vertrauenswürdige, wörterbuchbasierte Interpretierbarkeit unter Verteilungsverschiebung

Problemstellung

Die mechanistische Interpretierbarkeit stützt sich auf wörterbuchbasierte Erklärer, wie z. B. Sparse Autoencoder (SAEs) und Transcoder, um verborgene Aktivierungen neuronaler Netze in sparse, interpretierbare Merkmalsrichtungen zu zerlegen. Eine kritische Anforderung für diese Erklärungen ist Vertrauenswürdigkeit (Faithfulness): Der Erklärer muss die Berechnungen, die das Modell tatsächlich durchführt, genau widerspiegeln.

Bestehende Erklärer werden jedoch typischerweise auf in-Distribution (ID)-Daten trainiert. Wenn ein Modell out-of-Distribution (OOD)-Eingaben verarbeitet, ändert sich die geometrische Struktur seiner verborgenen Aktivierungen. Die Arbeit identifiziert, dass eine Verteilungsverschiebung den OOD-aktiven Unterraum (die Richtungen, die das Modell aktiv nutzt) vom ID-trainierten Erklärer-Unterraum wegdreht. Diese Fehlausrichtung, bezeichnet als Vertrauenswürdigkeitslücke (faithfulness gap), führt dazu, dass ID-trainierte Wörterbücher OOD-Aktivierungen nicht vertrauenswürdig rekonstruieren können. Vorangegangene Arbeiten haben dies durch heuristisches Nachtrainieren oder Residualmodule adressiert, fehlte es jedoch an einer prinzipiellen Diagnose der zugrunde liegenden geometrischen Fehlausrichtung oder einer Methode, diese ohne vollständiges Nachtrainieren zu korrigieren.

Methodik: Geometrie-adaptiver Erklärer (GAE)

Die Autoren schlagen den Geometrie-adaptiven Erklärer (GAE) vor, eine geschlossene, post-hoc-Methode, die einen ID-trainierten Erklärer unter Verwendung nur ungelabelter OOD-Aktivierungen mit dem OOD-aktiven Unterraum neu ausrichtet. GAE arbeitet ohne Gradientenupdates oder iteratives Training.

Theoretische Grundlage

Die Arbeit formalisiert das Problem unter Verwendung der Zweitmomentenmatrix der verborgenen Aktivierungen, $M_e = \mathbb{E}[h(X)h(X)^\top]$ .

Vertrauenswürdigkeitslücke ( $\Delta$ ): Definiert als Frobenius-Abstand zwischen dem Unterraum des Erklärers ( $\Pi_{dec}$ ) und dem OOD-aktiven Unterraum ( $\Pi_{OOD}$ ).
Geometrischer Mechanismus: Die Autoren beweisen (Proposition 1), dass die Vertrauenswürdigkeitslücke eines ID-trainierten Erklärers nach oben durch die Größe der Zweitmomentenverschiebung ( $\|M_{OOD} - M_{ID}\|_F$ ) begrenzt ist.
Kontrolle der Verschlechterung: Sie beweisen weiter (Proposition 2), dass die vom Erklärer abhängige Komponente des OOD-Vertrauenswürdigkeitsverlusts eng durch das Quadrat der Vertrauenswürdigkeitslücke kontrolliert wird. Daher ist die Reduzierung der Lücke notwendig und hinreichend, um die OOD-Vertrauenswürdigkeit zu verbessern.

Algorithmus

GAE passt das Wörterbuch in zwei Schritten an:

Schritt 1: Unterraumrotation (Orthogonaler Prokrustes):
Das ID-trainierte Wörterbuch $W_{dec}^{ID}$ wird so rotiert, dass sein Spaltenraum mit dem geschätzten OOD-aktiven Unterraum $\hat{\Pi}_{OOD}$ (abgeleitet aus den Top- $r$ -Eigenvektoren der OOD-Zweitmomentenmatrix) ausgerichtet wird. Die Rotationsmatrix $T^\star$ wird so gewählt, dass der Abstand zum ursprünglichen Wörterbuch minimiert wird, wobei die ursprüngliche Struktur der Merkmale so weit wie möglich erhalten bleibt. Dieser Schritt eliminiert die Vertrauenswürdigkeitslücke ( $\Delta = 0$ ) durch Konstruktion.
Schritt 2: Eingeschränktes Decoder-Refit:
Während Schritt 1 den Unterraum ausrichtet, optimiert er nicht die Rekonstruktion auf Ebene der einzelnen Stichproben. Schritt 2 passt die Decoder-Gewichte über eine geschlossene, eingeschränkte Ridge-Regression an. Dieser Schritt minimiert den Rekonstruktionsfehler bei OOD-Aktivierungen, bestraft gleichzeitig Abweichungen vom in Schritt 1 rotierten Wörterbuch und stellt sicher, dass der Decoder innerhalb des OOD-aktiven Unterraums bleibt.

Die gesamte Pipeline ist analytisch und erfordert keine Backpropagation.

Hauptbeiträge

Geometrische Diagnose: Die Arbeit identifiziert die Vertrauenswürdigkeitslücke als den geometrischen Mechanismus, der die Verschlechterung der OOD-Vertrauenswürdigkeit bei wörterbuchbasierten Erklärern antreibt. Sie liefert theoretische Schranken, die zeigen, dass diese Lücke mit der Zweitmomentenverschiebung wächst und den reduzierbaren Anteil des OOD-Vertrauenswürdigkeitsverlusts direkt steuert.
GAE-Algorithmus: Eine trainingsfreie, geschlossene Methode, die das Wörterbuch des Erklärers mit dem OOD-aktiven Unterraum neu ausrichtet. Sie bietet eine theoretische Garantie (Theorem 1), dass der adaptierte Erklärer den nicht adaptierten ID-Erklärer strikt verbessert, wobei die Verbesserung quadratisch mit der anfänglichen Fehlausrichtung wächst.
Empirische Überlegenheit: GAE erreicht oder übertrifft alle trainingsbasierten Baselines (einschließlich vollständigen Nachtrainierens von Grund auf und Fine-Tuning) in der kausalen Vertrauenswürdigkeit über mehrere Modelle und OOD-Szenarien hinweg, obwohl null Gradientenberechnungen erforderlich sind und nur $\sim2.000$ ungelabelte OOD-Stichproben verwendet werden.

Experimentelle Ergebnisse

Die Autoren evaluierten GAE an GPT-2 Small und Pythia-1.4B unter Verwendung sowohl von Transcodern als auch von Top-K-SAEs. Die Evaluation umfasste drei Arten von Verteilungsverschiebungen:

Temporal: Webtexte, die nach dem Pretraining-Cutoff des Modells gesammelt wurden (FineWeb).
Domain: Finanzdokumente mit spezialisiertem Vokabular (Edgar).
Adversarial: Prompting, das Halluzinationen induziert (HaluEval).

Leistungsmetriken:

Kausale Vertrauenswürdigkeit: Gemessen via Normalized AOPC (nAOPC) und Normalized Comprehensiveness (nComp).
Rekonstruktionsqualität: Gemessen via Delta Cross-Entropy ( $|\Delta CE|$ ).

Wichtige Erkenntnisse:

GAE vs. Trainingsbasierte Baselines: GAE übertraf Methoden wie Retrain (Training von Grund auf auf OOD-Daten) und Finetune (warm-started Fine-Tuning) in der Mehrheit der Szenarien. Beispielsweise verbesserte GAE bei GPT-2-Transcodern unter adversarieller Verschiebung nComp um 4,6 % gegenüber der stärksten Baseline (SAEBoost) und reduzierte den Rekonstruktionsfehler ( $|\Delta CE|$ ) um 93 %.
Effizienz: Während trainingsbasierte Baselines die Verarbeitung von Millionen von Tokens und Stunden an GPU-Zeit erforderten, schloss GAE die Adaptation in unter 3 Sekunden ab (0,5 s für GPT-2, 2,9 s für Pythia-1.4B) unter Verwendung nur eines einzigen Forward-Passes über 2.048 Stichproben.
Mechanismusvalidierung: Ablationsstudien bestätigten, dass Schritt 1 (Unterraumrotation) die Vertrauenswürdigkeitslücke erfolgreich schloss, während Schritt 2 notwendig war, um die kausale Kohärenz (Merkmalsattribution) wiederherzustellen, ohne die geometrische Ausrichtung zu opfern.
Fallstudien: Bei Aufgaben zur Schaltungsattribution (z. B. Vorhersage von „American" oder „Henry") korrigierte GAE die Richtung des Decoders und stellte sicher, dass identifizierte Merkmale das Modell in Richtung der korrekten semantischen Klasse drückten, wohingegen der feste ID-Erklärer oft von der Zielklasse wegwies.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GAE eine prinzipielle, effiziente und theoretisch fundierte Lösung für das Problem der OOD-Vertrauenswürdigkeit in der mechanistischen Interpretierbarkeit bietet. Indem die Autoren das Problem als geometrische Fehlausrichtung und nicht als Problem der Datenabdeckung rahmen, zeigen sie, dass vertrauenswürdige Erklärungen ohne die Rechenkosten des Nachtrainierens wiederhergestellt werden können.

Die Autoren weisen darauf hin, dass GAE besonders für On-the-Fly-Adaptationsszenarien bedeutsam ist, in denen sich Einsatzverteilungen dynamisch ändern und ein Nachtrainieren unpraktikabel ist. Sie räumen bescheiden Einschränkungen ein, insbesondere dass die Methode auf einer Top- $r$ -SVD-Trunkierung beruht (was residuale Merkmalsinformationen verwirft) und noch nicht an Modellen größerer Skala evaluiert wurde. Die Ergebnisse deuten jedoch darauf hin, dass die geometrische Neuausrichtung ein mächtiger und untergenutzter Hebel zur Aufrechterhaltung der Robustheit der Interpretierbarkeit ist.