💻 computer science

Uncovering Model Processing Strategies with Non-Negative Per-Example Fisher Factorization

Dieses Paper führt NPEFF ein, eine neuartige Interpretierbarkeitmethode, die per-Beispiel-Fisher-Matrizen in positiv semidefinite Komponenten zerlegt, um die spezifischen Verarbeitungsstrategien aufzudecken und selektiv zu manipulieren, die Sprachmodelle über verschiedene Aufgaben hinweg anwenden.

Ursprüngliche Autoren: Michael Matena, Colin Raffel

Veröffentlicht 2026-06-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michael Matena, Colin Raffel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum brauchen wir das?

Stellen Sie sich einen riesigen, superintelligenten Roboter vor (ein Large Language Model), der Geschichten schreiben, Fragen beantworten und Probleme lösen kann. Wir wissen, dass er funktioniert, aber wir wissen nicht wirklich, wie er entscheidet, was er als Nächstes sagt. Es ist wie der Blick in eine Blackbox: Man gibt eine Frage ein, und eine Antwort kommt heraus, aber die Zahnräder im Inneren sind verborgen.

Forscher haben schon früher versucht, in den Roboter hineinzuschauen. Eine gängige Methode ist wie das Betrachten eines einzelnen Schnappschusses des „Denkprozesses“ (genannt Gradient) des Roboters für eine spezifische Frage und das Gruppieren ähnlicher Schnappschüsse.

Das Problem: Diese alte Methode hat zwei große Mängel:

Sie sieht nur einen Winkel: Sie betrachtet nur die Reaktion des Roboters auf eine mögliche Antwort und ignoriert die anderen Optionen, die er in Erwägung gezogen hat.
Sie erzwingt eine einzige Identität: Sie geht davon aus, dass der Roboter für jede Frage nur einen einzigen einfachen Trick anwendet. In der Realität nutzt der Roboter jedoch oft eine Mischung aus mehreren verschiedenen Tricks gleichzeitig (wie etwa eine Karte, einen Kompass und eine Erinnerung an das Gelände gleichzeitig zu nutzen, um ein Ziel zu finden).

Die Lösung: NPEFF (Der „mehrschichtige Röntgenblick“)

Die Autoren führen ein neues Werkzeug namens NPEFF (Non-Negative Per-Example Fisher Factorization) ein. Denken Sie an NPEFF als eine hochtechnologische, mehrschichtige Röntgomaschine, die den gesamten Denkprozess des Roboters für einen einzelnen Satz sehen kann, nicht nur einen Bruchteil davon.

So funktioniert es, Schritt für Schritt:

1. Die „Fisher-Matrix“ (Die vollständige Sensitivitätskarte)

Anstatt nur zu beobachten, wie der Roboter auf die Antwort reagiert, die er tatsächlich gewählt hat, betrachtet NPEFF, wie sich die internen Einstellungen des Roboters ändern würden, wenn irgendeine beliebige Antwort gewählt würde.

Analogie: Stellen Sie sich vor, der Roboter ist ein riesiges Orchester. Alte Methoden hören nur beim Streichquartett zu, wenn das Lied beendet ist. NPEFF hört zu, wie das gesamte Orchester (Violinen, Trommeln, Trompeten usw.) reagieren würde, wenn der Dirigent das Tempo, die Tonart oder die Lautstärke ändern würde. Es erfasst die „Sensitivität“ des gesamten Systems.

2. Die „Faktorisierung“ (Den Knoten entwirren)

Die Daten aus dieser „Sensitivitätskarte“ sind riesig und chaotisch. NPEFF nutzt einen speziellen mathematischen Trick, um sie zu entwirren. Es bricht die komplexe Karte in eine Reihe von einfachen, Baustein-artigen Mustern herunter, die Komponenten genannt werden.

Analogie: Stellen Sie sich einen Smoothie vor, der aus Erdbeeren, Bananen und Spinat besteht. Alte Methoden würden vielleicht nur sagen: „Das ist ein Frucht-Smoothie.“ NPEFF ist wie eine Maschine, die den Smoothie wieder in seine einzelnen Bestandteile zerlegen kann: „Hier ist der Erdbeer-Teil, hier ist der Bananen-Teil und hier ist der Spinat-Teil.“
Der „polygene“ Vorteil: Da NPEFF diese Zutaten trennt, kann es erkennen, dass ein einzelner Satz möglicherweise durch einen „Erdbeer-Teil“ (eine spezifische Grammatikregel) und einen „Bananen-Teil“ (einen spezifischen Tonfall) gleichzeitig verarbeitet wird. Dies ist das, was das Paper als polygenes Verhalten bezeichnet (beeinflusst von vielen Faktoren).

3. Die „Nicht-Negativitäts-Regel“

Die Mathematik stellt sicher, dass diese „Zutaten“ immer positiv sind. Man kann keine „negativen Erdbeeren“ haben.

Warum das wichtig ist: Es macht die Ergebnisse für Menschen leichter verständlich. Es bedeutet, dass eine Komponente eine spezifische „Strategie“ oder „Heuristik“ darstellt, die der Roboter verwendet, anstatt einer verwirrenden Mischung aus positiven und negativen Zahlen.

Was haben sie herausgefunden?

Die Forscher haben NPEFF bei verschiedenen Aufgaben getestet, wie z. B. der Sentiment-Analyse (Ist diese Bewertung gut oder schlecht?) und der Themenidentifikation (Worum geht es in dieser Frage?).

Es fand klare Themen: Wenn sie die „Top-Beispiele“ für eine bestimmte Komponente betrachteten, fanden sie klare Muster. Eine Komponente aktivierte sich zum Beispiel nur, wenn der Roboter Fragen über „schnelles Abnehmen“ las. Eine andere leuchtete nur bei Fragen über „Filmregisseure“ auf.
Es schlägt die Konkurrenz: Sie verglichen NPEFF mit älteren Methoden (wie Gradient Clustering und Sparse Autoencoders).
- Alte Methoden fanden hauptsächlich „monogene“ Verhaltensweisen (ein Trick pro Frage).
- NPEFF fand „polygene“ Verhaltensweisen (Mischungen von Tricks). Es war viel besser darin, die subtilen, komplexen Strategien zu finden, die der Roboter nutzt, wenn es viele mögliche Antworten gibt.
Es funktioniert bei verschiedenen Modellen: Sie testeten NPEFF an verschiedenen Größen von Robotern (SmolLM2 und GPT-2), und es funktionierte bei allen gut.

Der „Zauberstab“-Test (Perturbationen)

Um zu beweisen, dass diese Komponenten real und nicht nur mathematische Tricks waren, führten die Forscher einen „Stresstest“ durch.

Das Experiment: Sie nahmen die mathematische „Richtung“ einer spezifischen Komponente (z. B. die „Filmregisseur“-Strategie) und veränderten die internen Einstellungen des Roboters in dieser Richtung leicht.
Das Ergebnis: Als sie dies taten, änderte sich das Verhalten des Roboters speziell für die Fragen, die zu dieser Komponente passten. Wenn sie die „Filmregisseur“-Einstellungen veränderten, wurde der Roboter speziell bei Filmfragen verwirrt, aber nicht bei Mathefragen.
Die Schlussfolgerung: Dies beweist, dass NPEFF nicht nur rät; es hat tatsächlich reale, physische „Schalter“ im Inneren des Roboters gefunden, die spezifische Verhaltensweisen steuern.

Eine günstigere Version: G-NPEFF

Die Berechnung der vollständigen „Sensitivitätskarte“ (Fisher-Matrix) ist sehr teuer und langsam, wie der Einsatz eines Supercomputers, um Sandkörner zu zählen.

Die Abkürzung: Die Autoren entwickelten eine günstigere Version namens G-NPEFF. Sie nutzt eine einfachere, schnellere Berechnung (nur den Gradienten der vorhergesagten Antwort) anstelle der vollständigen Karte.
Der Kompromiss: Wenn der Roboter sehr sicher ist (niedrige Entropie, wenige Auswahlmöglichkeiten), arbeitet die günstige Version fast so gut wie die teure. Aber wenn der Roboter unsicher ist und viele mögliche Antworten hat (hohe Entropie, viele Auswahlmöglichkeiten), übersieht die günstige Version die komplexen „Mischungen“ von Strategien und sieht nur die dominante Strategie.

Zusammenfassung

NPEFF ist eine neue Art, in die Gehirne von KI hineinzuschauen.

Alter Weg: Einen einzelnen Schnappschuss betrachten, von einer einzigen einfachen Ursache ausgehen.
NPEFF-Weg: Das gesamte Bild betrachten, die Mischung der Ursachen entwirren und die spezifischen „Strategien“ finden, die die KI anwendet.
Beweis: Man kann das Gehirn der KI mithilfe dieser Erkenntnisse physisch manipulieren, um bestimmte Strategien ein- oder auszuschalten, was beweist, dass man die echten „Zahnräder“ der Maschine gefunden hat.

Dies hilft uns zu verstehen, warum eine KI eine Entscheidung trifft, was ein entscheidender Schritt ist, um KI sicherer und zuverlässiger zu machen.

Technisches Resümee: Aufdeckung von Verarbeitungsstrategien von Sprachmodellen mittels nicht-negativer pro-Beispiel Fisher-Faktorisierung

Problemstellung

Das Verständnis der Heuristiken und Algorithmen, die das Verhalten eines Sprachmodells konstituieren, ist entscheidend für einen sicheren und zuverlässigen Einsatz. Während frühere Arbeiten zu Transformer-Schaltkreisen (Transformer Circuits) erfolgreich interpretierbare Rechengraphen für spezifische, vorab festgelegte Verhaltensweisen (z. B. Identifizierung des indirekten Objekts) identifiziert haben, erfordern diese Ansätze, dass Forscher die Verhaltensweisen von Interesse im Voraus definieren. Dies führt zu einer Voreingenommenheit (Bias) und birgt das Risiko, unintuitive Strategien des Modells zu übersehen.

Neuere unüberwachte Methoden, wie das Gradienten-Clustering, versuchen, Modellverhaltensweisen zu entdecken, indem sie Beispiele basierend auf den Gradienten des Verlusts in Bezug auf die Modellparameter gruppieren. Diese Methoden leiden jedoch unter zwei primären Einschränkungen:

Monogener Ansatz: Sie operieren unter der Annahme, dass ein einzelnes internes Modul das Verhalten für jedes Beispiel steuert. In der Realität sind Modellverhaltensweisen jedoch oft „polygen“, was bedeutet, dass sie gleichzeitig von mehreren Faktoren beeinflusst werden (z. B. ambivalente Kontexte mit mehreren möglichen Fortsetzungen). Das Gradienten-Clustering erzwingt eine einzige Zuweisung von Faktoren und scheitert daran, diese Komplexität zu erfassen.
Begrenzter Umfang der Gradienten: Gradienten einer einzelnen Log-Wahrscheinlichkeit (oder eines Verlusts) erfassen nur einen engen Ausschnitt der prädiktiven Verteilung des Modells. Sie sind zugunsten der spezifisch vorhergesagten Klasse verzerrt, was sie ungeeignet macht, um Faktoren zu erfassen, die Vorhersagen über verschiedene Klassen hinweg beeinflussen, insbesondere in Szenarien mit hoher Entropie oder multiplen Klassen.

Methodik: NPEFF

Die Autoren führen NPEFF (Non-Negative Per-Example Fisher Factorization) ein, eine Interpretabilitätsmethode, die darauf ausgelegt ist, polygene Verhaltensfaktoren ohne vorherige Spezifikation zu entdecken.

1. Per-Example Fisher (PEF) Matrizen

Anstatt Verlustgradienten zu verwenden, nutzt NPEFF die Per-Example Fisher (PEF) Matrix, $F(x)$ , definiert als:
$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$
Die PEF ist eine positiv semidefinite (PSD) Matrix, die den Zusammenhang zwischen Parameterperturbationen und Änderungen in der gesamten prädiktiven Verteilung des Modells beschreibt. Im Gegensatz zu Gradienten, die sich auf ein einzelnes Ergebnis konzentrieren, erfasst die PEF die Sensitivität über alle potenziellen Vorhersagen hinweg. Dies macht sie geeignet für die Analyse polygener Verhaltensweisen, bei denen mehrere Faktoren die Verteilung beeinflussen.

2. Effiziente Berechnung via Random Projections

PEF-Matrizen sind aufgrund ihrer Größe (Quintillionen von Einträgen) für moderne Modelle rechnerisch nicht handhabbar. Um dies zu adressieren, nutzen die Autoren Random Projections (Achliptas, 2003), um die PEF zu approximieren. Sie konstruieren eine Low-Rank-Matrix-Repräsentation (LRM-PEF) und wenden Random Projections an, um die Dimensionalität zu reduzieren. Entscheidend ist, dass sie zeigen, dass diese Projektionen mittels Compressed Sensing Techniken (Donoho, 2006) „umgekehrt“ werden können, um dünnbesetzte (sparse) Vektoren im Parameterraum zu rekonstruieren, was die Identifizierung spezifischer Modellrichtungen entsprechend der Verhaltensfaktoren ermöglicht.

3. Nicht-negative Dekomposition

Der Kern von NPEFF ist ein Dekompositionsalgorithmus, der eine Menge von PEFs als eine nicht-negative Kombination von Rank-1 PSD-Matrizen approximiert:
$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{unter der Nebenbedingung} \quad W_{ij} \geq 0$
Hierbei stellt $h_j h_j^T$ die „Pseudo-Fisher“ der Komponente $j$ dar, und $W_{ij}$ sind nicht-negative Koeffizienten. Diese Formulierung erlaubt es, jedes Beispiel durch eine gewichtete Kombination mehrerer Faktoren zu erklären, wodurch die Polygenität direkt modelliert wird. Der Algorithmus alterniert zwischen der Aktualisierung der Koeffizienten (mittels multiplikativer Updates ähnlich wie bei der NMF) und der Aktualisierung der Pseudo-Fisher-Vektoren (mittels Gradientenabstieg).

4. G-NPEFF Variante

Um die Rechenkosten zu senken, schlagen die Autoren G-NPEFF vor, welches denselben Dekompositionsalgorithmus auf Rank-1-Matrizen anwendet, die aus dem Gradienten der Log-Wahrscheinlichkeit der vorhergesagten Klasse/des Tokens konstruiert wurden. Obwohl G-NPEFF kostengünstiger ist, zeigt sich, dass es weniger effektiv darin ist, polygene Faktoren zu erfassen, wenn die Anzahl der Klassen steigt, da es weiterhin zugunsten der dominanten vorhergesagten Klasse verzerrt bleibt.

Wichtigste Beiträge und Ergebnisse

1. Entdeckung interpretierbarer polygener Faktoren

Durch menschliche und LLM-basierte Evaluationen auf Aufgaben wie Sentiment-Analyse (SST2), Themenidentifikation (Yahoo Answers Topics) und Intent-Klassifizierung (CLINC150) demonstrieren die Autoren, dass NPEFF-Komponenten interpretierbaren Themen entsprechen (z. B. „Fragen über schnellen Gewichtsverlust“ oder „positive Beschreibungen von Schauspielern“).

Polygenität: Im Gegensatz zum Gradienten-Clustering, das fast ausschließlich „monogene“ (ein-faktorige) Verhaltensweisen rekonstruiert, rekonstruiert NPEFF erfolgreich einen signifikanten Anteil an polygenen Faktoren. Dies wird durch einen hohen Prozentsatz an Komponenten belegt, die zwar auf die Ground-Truth-Labels abgestimmt sind, aber nicht auf die spezifischen Vorhersagen des Modells (LnP-tuned), was darauf hindeutet, dass sie Faktoren erfassen, die die Verteilung über die Top-Vorhersage hinaus beeinflussen.
Vergleich: NPEFF übertrifft Baselines wie Gradienten-Clustering, Activation Sparse Autoencoders (SAEs) und SVD auf Gradienten/Aktivierungen bei der Identifizierung dieser nuancierten, Multi-Faktor-Verhaltensweisen.

2. Kausale Validierung via Parameterperturbation

Die Autoren validieren die kausale Bedeutung der NPEFF-Komponenten durch die Rekonstruktion von Parameter-Raum-Vektoren aus projizierten Pseudo-Fishern mittels Compressed Sensing. Sie wenden Perturbationen entlang dieser Richtungen an und beobachten, dass:

Perturbationen die Vorhersagen des Modells bei Beispielen, bei denen die Komponente einen hohen Koeffizienten aufweist, signifikant stören.
Die Störung selektiv ist und gezielte Beispiele weitaus stärker beeinflusst als zufällige Beispiele.
Dies bestätigt, dass die durch NPEFF entdeckten Richtungen kausal mit der Verarbeitung spezifischer Verhaltensfaktoren durch das Modell verknüpft sind.

3. Analyse von In-Context Learning (ICL)

Die Autoren wenden NPEFF an, um ICL zu analysieren. Sie konstruieren einen linearen Klassifikator basierend auf Zero-Shot NPEFF-Komponenten-Tunings. Dieser Klassifikator erreicht eine Genauigkeit, die mit 6-Shot ICL vergleichbar ist, und trifft sehr ähnliche Vorhersagen.

Ergebnis: Dies deutet darauf hin, dass ein Großteil des Leistungszuwachses durch ICL daraus resultiert, dass das Modell seine bestehenden Zero-Shot-Verhaltensfaktoren neu gewichtet, um sich an die Aufgabenformulierung anzupassen, anstatt völlig neue Verhaltensweisen aus dem Kontext zu lernen.

4. Effizienz und Skalierbarkeit

G-NPEFF: Die Arbeit zeigt, dass G-NPEFF für Aufgaben mit wenigen Klassen ähnlich gut performt wie das vollständige NPEFF und somit eine kosteneffiziente Alternative bietet.
Ablationsstudien: Experimente zu Random-Projection-Größen und Komponentenzahlen zeigen, dass die Methode robust ist. Selbst bei aggressiver Dimensionsreduktion behält die Dekomposition signifikante Informationen über das Modellverhalten bei.

Bedeutung und Ansprüche

Das Paper behauptet, dass NPEFF eine neuartige und gut geeignete Methode zur Aufdeckung von Faktoren polygener Modellverhaltensweisen darstellt und damit eine kritische Lücke lässt, die durch gradientenbasierte Clustering-Methoden hinterlassen wurde.

Methodische Neuheit: Durch die Nutzung von Per-Example Fisher-Matrizen und einer nicht-negativen Dekomposition über Rank-1 PSD-Matrizen bietet NPEFF einen Rahmen, der der Multi-Faktor-Natur der Sprachverarbeitung gerecht wird.
Kausale Interpretierbarkeit: Die Fähigkeit, Komponenten auf Parameter-Raum-Richtungen abzubilden und diese selektiv zu stören, liefert starke kausale Beweise dafür, dass diese Komponenten echte Verarbeitungsstrategien des Modells repräsentieren.
Praktischer Nutzen: Die Methode ermöglicht die Zerlegung komplexer Verhaltensweisen (wie ICL) in ihre konstituierenden Faktoren und bietet somit einen Weg für gezieltere Modellmodifikationen und Sicherheitsinterventionen.

Die Autoren bleiben hinsichtlich des Umfangs ihrer Arbeit bescheiden und merken an, dass NPEFF zwar die Richtungen im Parameterraum identifiziert, die für bestimmte Verhaltensweisen wichtig sind, die Konstruktion der expliziten Algorithmen oder Rechenschaltkreise (Computational Circuits), die diesen Richtungen entsprechen, jedoch im Bereich der zukünftigen Transformer-Circuit-Forschung liegt. Sie warnen zudem davor, dass die Modifikation des Modellverhaltens im großen Maßstab zwar durch ihre Perturbations-Codes möglich ist, aber das Risiko birgt, unbeabsichtigt seltene, aber kontextuell angemessene Verhaltensweisen zu entfernen.