Structural Inference: Interpreting Small Language Models with Susceptibilities

Die Autoren entwickeln ein lineares Antwortframework, das neuronale Netze als bayessche statistisch-mechanische Systeme behandelt, um durch lokale Störungen der Datenverteilung effizient berechenbare Suszeptibilitäten zu ermitteln, die als Attributionswerte dienen und funktionale Module in kleinen Transformern aufdecken.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung aus dem Papier „Structural Inference", verpackt in eine Geschichte und mit anschaulichen Bildern.

Das große Rätsel: Wie denkt eine kleine KI wirklich?

Stell dir vor, du hast einen winzigen, aber sehr cleveren Roboter (ein kleines neuronales Netzwerk mit nur 3 Millionen Parametern). Dieser Roboter hat Texte gelesen und gelernt, das nächste Wort in einem Satz vorherzusagen. Aber wie genau funktioniert sein Gehirn? Welche Teile sind für welche Aufgabe zuständig?

Bisher war das wie ein schwarzer Kasten. Forscher haben oft Teile des Gehirns herausgeschnitten (abgeschnitten), um zu sehen, was passiert. Aber das ist wie der Versuch, ein Auto zu verstehen, indem man die Motorhaube aufreißt und den Motor herausnimmt – man sieht zwar, dass das Auto dann nicht mehr fährt, aber man versteht nicht, wie die Teile zusammenarbeiten.

Die neue Idee: Der „Empfindlichkeits-Test" (Susceptibility)

Die Autoren dieses Papers haben eine neue Methode entwickelt, die sie „Strukturelle Inferenz" nennen. Sie vergleichen das neuronale Netzwerk mit einem magnetischen Material (wie Eisen).

Die Analogie:
Stell dir vor, du hast einen Eisenklotz. Wenn du ihn einem Magneten näherbringst (eine kleine Störung), richten sich die winzigen Atome im Eisen aus und werden magnetisch. Die Stärke dieser Reaktion nennt man in der Physik „Suszeptibilität" (Empfindlichkeit).

Die Autoren machen das Gleiche mit der KI:

1. Der Magnet: Sie nehmen die Daten, die die KI gelernt hat (z. B. normale Texte), und fügen ganz leicht eine neue Sorte hinzu (z. B. nur Code aus GitHub oder nur juristische Texte). Das ist wie das Anbringen des Magneten.
2. Die Reaktion: Sie beobachten, wie sich die winzigen Teile der KI (die sogenannten „Attention Heads", die wie kleine Detektoren im Gehirn arbeiten) verhalten.
3. Die Messung: Sie messen nicht nur, ob die KI besser oder schlechter wird, sondern wie empfindlich jeder einzelne Detektor auf diese neue Datenart reagiert.

Was haben sie herausgefunden?

Wenn sie diese „Empfindlichkeits-Tests" durchführen, passiert etwas Wunderbares: Die KI offenbart ihre innere Struktur.

Stell dir vor, du hast ein Orchester. Wenn du nur klassische Musik spielst, reagieren die Geigen stark. Wenn du Rockmusik spielst, reagieren die Schlagzeuge. Wenn du Jazz spielst, reagieren die Saxophone.

Die Autoren haben gezeigt, dass die verschiedenen „Detektoren" (Attention Heads) in der KI genau so funktionieren:

• Einige Detektoren werden sehr empfindlich, wenn sie Code sehen. Sie „schreien" quasi: „Achtung, hier kommt Programmiersprache!"
• Andere Detektoren reagieren stark auf juristische Texte.
• Wieder andere sind spezialisiert auf das Erkennen von Mustern, bei denen sich Wörter wiederholen (sogenannte „Induktions-Muster").

Das Geniale: „Ausdrücken" vs. „Unterdrücken"

Das Papier erklärt zwei Arten von Reaktionen, die man sich wie ein Team von Detektiven vorstellen kann:

1. Ausdrücken (Negative Empfindlichkeit): Ein Detektor sagt: „Hey, wenn wir diesen Text lesen, ist es sehr wahrscheinlich, dass das nächste Wort 'X' ist!" Er hilft dem Satz voranzukommen.
2. Unterdrücken (Positive Empfindlichkeit): Ein anderer Detektor sagt: „Warte mal! Wenn wir diesen Text lesen, darf das Wort 'X' nicht kommen! Das wäre falsch!" Er blockiert eine falsche Vorhersage.

Das ist wie ein Team, bei dem einer die Idee vorschlägt und ein anderer sofort sagt: „Nein, das passt nicht, lass uns etwas Besseres sagen."

Das Ergebnis: Ein Landkarten-Zeichner

Indem die Autoren alle diese Reaktionen aufschreiben und mathematisch analysieren (ähnlich wie man bei einem großen Datensatz Muster sucht), können sie eine Landkarte des KI-Gehirns zeichnen.

Sie haben entdeckt, dass sich die KI selbstorganisiert hat:

• Es gibt eine Gruppe von Detektoren, die sich spezialisiert hat, um Wörter zu trennen (Wo fängt ein neues Wort an?).
• Es gibt eine Gruppe, die Wiederholungen erkennt (Induktions-Schaltung).
• Es gibt sogar eine Gruppe, die Klammern und Anführungszeichen im Auge behält, damit sie nicht verloren gehen.

Warum ist das wichtig?

Früher mussten Forscher raten oder raten, was ein Teil der KI tut. Mit dieser neuen Methode können sie einfach „hinhören", wie die KI auf verschiedene Daten reagiert, und sofort sehen: „Aha, dieser Teil ist für Mathematik zuständig, dieser hier für Code."

Es ist, als ob man statt den Motor auseinanderzubauen, einfach ein paar verschiedene Kraftstoffe (Daten) durch das Auto laufen lässt und genau hört, welche Zylinder wie stark arbeiten. So versteht man das Innere der Maschine, ohne sie zu zerstören.

Zusammenfassend:
Die Autoren haben eine Art „Röntgenbild" für KI-Gehirne entwickelt. Sie zeigen, dass selbst kleine KIs eine sehr klare, organisierte Struktur haben, bei der verschiedene Teile unterschiedliche Aufgaben übernehmen – manche fördern Ideen, andere blockieren Fehler. Und das alles, ohne die KI zu kaputtzumachen, sondern nur durch sanftes „Stupsen" mit neuen Daten.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Structural Inference: Interpreting Small Language Models with Susceptibilities" in deutscher Sprache.

Titel: Structural Inference: Interpretation kleiner Sprachmodelle mittels Suszeptibilitäten

1. Problemstellung

Die mikroskopische Organisation und die interne Struktur neuronaler Netze, die deren komplexes Verhalten ermöglichen, sind nach wie vor schlecht verstanden. Bestehende Methoden der mechanistischen Interpretierbarkeit (z. B. Ablationen oder Analyse von Logits) stoßen oft an Grenzen, insbesondere wenn es darum geht, das Gleichgewicht zwischen „Expression" (Förderung) und „Suppression" (Unterdrückung) von Mustern in Modellen zu verstehen. Zudem fehlt es oft an einem theoretisch fundierten Rahmen, der Datenstrukturen direkt mit der internen Geometrie des Modells verknüpft.

Das Paper zielt darauf ab, eine neue, auf statistischer Physik und Bayesscher Lerntheorie basierende Methode zu entwickeln, um die innere Struktur von neuronalen Netzen zu entschlüsseln und funktionale Module (wie z. B. Induktionskreise) automatisch zu identifizieren.

2. Methodik: Suszeptibilitäten und Strukturelle Inferenz

Das Kernkonzept der Arbeit ist die Suszeptibilität (Susceptibility), adaptiert aus der statistischen Physik (insbesondere der magnetischen Suszeptibilität).

• Theoretischer Rahmen: Das neuronale Netz wird als Bayessches statistisch-mechanisches System betrachtet. Eine infinitesimale Störung der Datenverteilung (z. B. eine Verschiebung hin zu GitHub-Code oder juristischen Texten) induziert eine lineare Antwort (First-Order Response) in der erwarteten Leistung einer spezifischen Netzwerkkomponente (z. B. einem Attention-Head).
• Definition der Suszeptibilität:
  Die Suszeptibilität $\chi$ eines Observablen $\phi$ (z. B. der Verlust eines bestimmten Heads) gegenüber einer Störung der Datenverteilung $q_h$ wird definiert als die Ableitung des posterior-erwarteten Werts nach dem Störparameter $h$ bei $h=0$:
  $$\chi = \frac{1}{n\beta} \frac{\partial}{\partial h} \langle \phi \rangle_{\beta, h} \Big|_{h=0}$$
  Gemäß Lemma 2.2 lässt sich dies als negative Kovarianz zwischen dem Observablen und der Änderung des Verlusts ($\Delta L$) unter dem ungestörten Posterior ausdrücken:
  $$\chi = -\text{Cov}_{\beta}[\phi, \Delta L]$$
• Lokale Suszeptibilität: Da das globale Sampling aus dem Posterior bei großen Modellen rechnerisch unmöglich ist, wird eine lokale Suszeptibilität eingeführt. Hier wird der Prior durch einen Gaußschen Prior um einen lokalen Minimierer $w^*$ (den trainierten Checkpoint) zentriert. Dies ermöglicht die Schätzung mittels Stochastic Gradient Langevin Dynamics (SGLD) in der Nähe des trainierten Gewichts.
• Per-Token-Suszeptibilität: Die Methode wird auf Token-Ebene angewendet. Für ein Token-Paar $(x, y)$ wird berechnet, wie empfindlich ein Head auf das Erscheinen von $y$ im Kontext $x$ reagiert, wenn die Datenverteilung leicht verändert wird.
• Interpretation der Vorzeichen:
  • Negative Suszeptibilität: Bedeutet Expression. Variationen der Gewichte, die den Verlust für das spezifische Token-Paar senken, senken auch den Gesamtverlust. Der Head „fördert" also das Muster.
  • Positive Suszeptibilität: Bedeutet Suppression. Variationen, die den Verlust für das Token-Paar senken, erhöhen den Gesamtverlust. Der Head wirkt diesem Muster entgegen (z. B. durch Vorhersage einer Alternative).
• Strukturelle Inferenz: Die geschätzten Suszeptibilitäten werden zu einer Response-Matrix zusammengefasst (Zeilen: Datenverteilungen/Patterns, Spalten: Heads). Durch Principal Component Analysis (PCA) auf dieser Matrix werden die internen Strukturen des Modells (Loadings) den Mustern in den Daten (Principal Components) zugeordnet.

3. Hauptbeiträge

1. Neues Interpretierbarkeits-Paradigma: Entwicklung eines theoretischen Rahmens, der Suszeptibilitäten aus der Singular Learning Theory und statistischer Physik ableitet, um die Reaktion von Modellkomponenten auf Datenverschiebungen zu quantifizieren.
2. Methodologie der Strukturellen Inferenz: Einführung eines Verfahrens, das interne Strukturen (wie funktionale Kreise) durch Analyse der linearen Algebra von Suszeptibilitätsmatrizen entdeckt, ohne auf manuelle Hypothesen oder Ablationen angewiesen zu sein.
3. Empirische Validierung: Anwendung auf ein 3-Millionen-Parameter-Transformer-Modell (nur Attention-Layer, trainiert auf dem Pile-Datensatz), das zeigt, dass die Methode bekannte funktionale Module präzise trennt.

4. Ergebnisse

Die Autoren wendeten die Methode auf ein kleines Transformer-Modell an und analysierten die Suszeptibilitäten gegenüber verschiedenen Daten-Subsets (z. B. GitHub, Wikipedia, arXiv) und Token-Mustern (Wortstart, Wortende, Induktionsmuster, Klammern).

• Identifikation funktioneller Module:
  • PC1 (Wortsegmentierung): Zeigt eine uniforme Reaktion über alle Heads hinweg, die stark mit der Erkennung von Wortgrenzen (Word Endings) korreliert.
  • PC2 (Induktionskreis): Trennt erfolgreich den bekannten Induktionskreis (Induction Heads) von den restlichen Heads. Die Induktionsheads (Layer 1: Heads 6, 7) zeigen eine starke positive Ladung (Expression) für Induktionsmuster, während Layer-1-Multigram-Heads (Heads 0-5) diese Muster unterdrücken (negative Ladung). Dies bestätigt und erweitert frühere Arbeiten (z. B. Wang et al., 2024).
  • PC3 (Klammern-Matching): Identifiziert Heads, die für das Matching von Klammern (Dyck-Sprachen) verantwortlich sind, sowie Heads, die mit Verb-Partikel-Phrasen umgehen.
• Robustheit: Die Ergebnisse waren über vier unabhängig trainierte Seeds hinweg konsistent.
• Unterscheidung von Ablationen: Im Gegensatz zu reinen Loss-Änderungen nach Ablationen (die oft durch „Self-Repair" (Selbstreparatur) in späteren Schichten maskiert werden) offenbaren Suszeptibilitäten die zugrunde liegende Rolle der Heads (Expression vs. Suppression) klarer.

5. Bedeutung und Ausblick

• Theoretische Fundierung: Die Arbeit bietet eine tiefere mathematische Grundlage für Interpretierbarkeit, die über heuristische Methoden hinausgeht und Verbindungen zur Singular Learning Theory (Watanabe) herstellt.
• Skalierbarkeit: Obwohl das Paper ein kleines Modell (3M Parameter) untersucht, argumentieren die Autoren, dass die Methode (basierend auf SGLD) prinzipiell auf größere Modelle skalierbar ist, da die Kosten logarithmisch mit der Anzahl der Trainingsschritte wachsen und parallelisierbar sind.
• Neue Einsichten: Die Unterscheidung zwischen „Expression" und „Suppression" auf Basis von Suszeptibilitäten bietet ein neues Werkzeug, um zu verstehen, wie Modelle komplexe Muster lernen, indem sie einige fördern und andere aktiv unterdrücken. Dies hilft, die „Black Box" von Transformer-Modellen durch die Analyse ihrer Reaktion auf externe Felder (Datenvariationen) zu durchdringen.

Zusammenfassend stellt das Paper einen Brückenschlag zwischen statistischer Physik, Bayesscher Inferenz und mechanistischer Interpretierbarkeit dar und liefert ein robustes, datengesteuertes Werkzeug zur Entschlüsselung der funktionalen Organisation neuronaler Netze.