🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

Dieser Artikel schlägt ein Framework der Feldtheorie mit kontinuierlicher Tiefe vor, das Transformer-Aktivierungs-Patching als lokale Quelleneinfügungen modelliert und downstreame Verhaltensänderungen über Green-Funktions-Antworten vorhersagt, wodurch eine mathematische Sprache von Sensitivitäten und propagierten Feldern etabliert wird, um mechanistische Interventionen zu organisieren und abzuleiten.

Ursprüngliche Autoren: David N. Olivieri, Antonio F. Pérez Rodríguez

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: David N. Olivieri, Antonio F. Pérez Rodríguez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Transformer (die Art von KI, die hinter Modellen wie GPT-2 steht) nicht als Stapel von Computercode vor, sondern als einen riesigen, fließenden Fluss.

In diesem Fluss:

Tiefe ist die Strecke, die das Wasser flussabwärts zurückgelegt hat (von der Quelle bis zum Ozean).
Tokens (die Wörter in einem Satz) sind wie verschiedene Boote, die nebeneinander im Fluss treiben.
Der Residual-Stream ist das Wasser selbst, das alle Informationen trägt, während es von einer Schicht des Modells zur nächsten fließt.

Dieser Artikel schlägt eine neue Methode vor, um zu verstehen, wie wir diese KI-Modelle „justieren" oder „patchen" können, um ihr Verhalten zu ändern. Anstatt nur zu raten, welcher Teil des Codes behoben werden muss, behandeln die Autoren das Modell wie ein physikalisches Feld, in dem wir genau vorhersagen können, wie eine kleine Änderung durch das System wellenartig weitergegeben wird.

Hier ist die Aufschlüsselung ihrer Ideen mit alltäglichen Analogien:

1. Der „Stein im Teich" (Patching als Quelle)

Normalerweise führen Forscher, wenn sie sehen wollen, was ein bestimmter Teil der KI tut, ein „Activation Patching" durch. Dies ist wie das Machen eines Schnappschusses des KI-Gehirns zu einem bestimmten Moment, das Ersetzen dieses Schnappschusses durch einen aus einem anderen Szenario und das Beobachten, wie sich die Ausgabe verändert.

Die Autoren beschreiben dies als das Werfen eines Steins in den Fluss.

Der Stein: Der „Patch" (die Änderung, die Sie vornehmen).
Die Welle: Der Effekt, der flussabwärts durch den Rest des Modells wandert.
Die Theorie: Sie argumentieren, dass man, wenn man die Form des Flusses (die Struktur des Modells) kennt, genau vorhersagen kann, wie sich diese Welle ausbreitet, wie groß sie wird und welche Boote (Tokens) sie trifft, ohne den Stein eine Million Mal werfen zu müssen, um es herauszufinden.

2. Die „Empfindlichkeitskarte" (Vorhersage des Effekts)

Um vorherzusagen, wohin eine Welle geht, benötigen Sie eine Karte. Die Autoren führen ein Sensitivitätsfeld ein.

Stellen Sie sich dies wie eine Wetterkarte vor, die Windgeschwindigkeiten anzeigt. Einige Stellen im Fluss sind sehr empfindlich (ein kleiner Stein erzeugt eine riesige Welle); andere sind ruhig (ein Stein macht kaum eine Spritzwelle).
Der Artikel zeigt, dass man diese „Windkarte" einmal berechnen kann. Sobald man sie hat, muss man nicht jede einzelne Richtung testen, in die man einen Stein werfen könnte. Man kann mathematisch vorhersagen: „Wenn ich hier einen Stein in diese Richtung werfe, trifft die Welle die Antwort mit dieser Kraft."
Das Ergebnis: Sie stellten fest, dass diese Vorhersage für kleine Änderungen unglaublich genau ist. Es ist wie zu wissen, dass eine sanfte Brise eine Feder bewegt, aber ein Hurrikan einen Baum umwerfen wird.

3. Die „Green-Funktion" (Der Wellenverbreiter)

Der Artikel verwendet ein Konzept namens Green-Funktion. Einfach ausgedrückt ist dies ein „Wellen-Regelbuch".

Es beantwortet die Frage: „Wenn ich das Wasser an Punkt A störe, wie bewegt sich das Wasser an Punkt B?"
Die Autoren stellten fest, dass diese Wellen nicht nur geradeaus nach unten gehen; sie breiten sich seitlich auf andere Wörter (Tokens) aus und reisen tiefer in das Modell hinein.
Sie testeten dies, indem sie maßnahmen, wie eine Änderung in einer Schicht Schichten weit flussabwärts beeinflusste. Sie stellten fest, dass das „Wellen-Regelbuch" gut funktioniert, aber nur, wenn die Änderung nicht zu groß ist. Wenn man einen Felsbrocken wirft (eine massive Änderung), wird das Wasser chaotisch und die einfachen Regeln brechen zusammen. Aber für kleine Stöße halten die Regeln perfekt.

4. Die „Rückwärtsentwicklung" (Finden des richtigen Steins)

Normalerweise versuchen Forscher zufällige Patches, um zu sehen, was passiert. Dieser Artikel dreht das Spiel um. Sie schlagen ein inverses Problem vor.

Das Ziel: „Ich möchte, dass die KI 'Paris' sagt statt 'London'."
Der alte Weg: Versuchen, jede Schicht und jedes Wort zu patchen, bis man Glück hat.
Der neue Weg: Verwenden Sie das „Wellen-Regelbuch" (Green-Funktion) und die „Empfindlichkeitskarte", um mathematisch genau zu berechnen, wo und wie der Stein geworfen werden muss, um diese spezifische Welle zu erzeugen.
Es ist wie ein Tontechniker, der genau weiß, welchen Regler er drehen muss, um eine bestimmte Frequenz in einem Song zu korrigieren, anstatt alle Regler zufällig zu drehen.

5. Die „Übersetzung" zwischen Modellen (Skalierung)

Schließlich schlagen die Autoren eine Methode vor, um Wissen von einem kleinen Modell auf ein großes Modell zu übertragen.

Stellen Sie sich vor, Sie haben einen kleinen Teich (ein kleines KI-Modell) und einen riesigen Ozean (ein großes KI-Modell).
Wenn Sie einen Stein in den kleinen Teich werfen und die Wellen beobachten, können Sie dieses Muster nutzen, um zu erraten, wo Sie einen Stein in den Ozean werfen müssen, um ein ähnliches Ergebnis zu erzielen.
Sie nennen dies eine „gemeinsame latente Antwortgeometrie". Im Wesentlichen könnte die „Physik" des Informationsflusses in kleinen und großen Modellen gleich sein, nur in unterschiedlichen Maßstäben. Dies könnte uns ermöglichen herauszufinden, wie man ein riesiges Modell repariert, indem man zuerst ein winziges untersucht.

Zusammenfassung der Ergebnisse

Die Autoren testeten diese Ideen an GPT-2-Modellen und stellten fest:

Kleine Änderungen verhalten sich vorhersehbar: Wenn man das Modell sanft stößt, sagt die Mathematik das Ergebnis fast perfekt voraus.
Wellen breiten sich aus: Änderungen bleiben nicht lokal; sie reisen durch die Schichten und beeinflussen verschiedene Wörter auf strukturierte Weise.
Es gibt hochsensible Stellen: Nur wenige spezifische „Wurfstellen" im Fluss sind für die endgültige Antwort am wichtigsten.
Prompt-Änderungen sind nur Wellen: Das Ändern des Eingabesatzes (z. B. von „Hauptstadt von Spanien" zu „Hauptstadt von Frankreich") ist mathematisch ähnlich dem Werfen eines bestimmten Steins in den Fluss. Das Modell reagiert auf diese „Verschiebung" auf eine vorhersehbare Weise, was uns ermöglicht, die Antwort zu steuern.

Kurz gesagt: Dieser Artikel liefert eine mathematische „Physik der KI", die das trial-and-error-Patching in eine vorhersagbare, berechenbare Wissenschaft verwandelt. Er legt nahe, dass wir KI-Eingriffe wie Ingenieursprobleme behandeln können, bei denen wir die genaue Kraft und den genauen Ort berechnen können, die für ein gewünschtes Ergebnis erforderlich sind.

Technisches Fazit: Kontinuierliche Tiefen-Feldtheorie für Transformer-Patching und Mechanistische Interpretierbarkeit

Problemstellung
Die mechanistische Interpretierbarkeit zielt darauf ab, die internen Schaltkreise zu identifizieren, die für das Verhalten von Transformern verantwortlich sind, indem in Aktivierungen eingegriffen wird (z. B. Aktivierungs-Patching, kausales Tracing, Pfad-Patching). Während diese Methoden erfolgreich verhaltensrelevante Stellen und Richtungen lokalisieren, verlassen sie sich häufig auf eine exhaustive Enumeration von Schichten, Tokens und Unterräumen. Dieser Beitrag adressiert die komplementäre Frage: Können solche Eingriffe unter Verwendung eines einheitlichen feldtheoretischen Rahmens über Tiefe und Token-Position organisiert, vorhergesagt und rekonstruiert werden? Die Autoren schlagen vor, den Residualstrom nicht als diskrete Folge von Schichten, sondern als kontinuierliches Feld zu betrachten, wodurch Patching als Problem der lokalisierten Quelleneinfügung innerhalb eines Linear-Response-Formalismus formuliert werden kann.

Methodik
Der Beitrag entwickelt eine kontinuierliche Tiefen-Feldtheorie, bei der der Residualstrom $R(t, x)$ des Transformers als Feld über einem Tiefen-Token-Gitter modelliert wird. Hierbei wird der Schichtenindex $\ell$ auf eine Tiefenkoordinate $t \in [0, T]$ abgebildet, und der Token-Index wird auf eine räumliche Koordinate $x$ abgebildet.

Feldtheoretische Formulierung:
- Patching als Quelleneinfügung: Ein Aktivierungs-Patch wird als lokalisierter Quellterm $J(t, x)$ modelliert, der zur Tiefen-Evolutionsgleichung hinzugefügt wird: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- Response-Objekte: Der Rahmen definiert zwei primäre Response-Objekte:
  - Sensitivitätsfeld ( $a(t, x)$ ): Die Funktionalableitung einer Observablen $y$ (z. B. Logit-Differenz) bezüglich des Residualfelds, $a(t, x) = \delta y / \delta R(t, x)$ . Dies sagt den Effekt eines Patches voraus.
  - Green-Funktion ( $G(t, x; t', x')$ ): Die Zwei-Punkt-Response-Funktion $\delta R(t, x) / \delta R(t', x')$ , die beschreibt, wie sich eine Störung bei $(t', x')$ zu $(t, x)$ ausbreitet.
- Linearer Response: In einem lokalen linearen Regime wird die Änderung einer Observablen durch $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ approximiert.
- Inverses Problem (Patch-Inferenz): Der Rahmen fasst die Patch-Stellen-Inferenz als ein eingeschränktes Variationsproblem neu. Gegeben eine gewünschte Verhaltensverschiebung, sucht man nach einer spärlichen Quelle $J$ , die die Integralgleichung $\Delta R_{target} \approx \int G J$ erfüllt. Dies wird unter Verwendung eines Wirkungsprinzips mit einem adjungierten Feld (Kostate) $\lambda(t, x)$ gelöst, das dem Sensitivitätsfeld entspricht.
Empirische Validierung:
Die Theorie wird an GPT-2-artigen autoregressiven Transformern mit diskreten Residualstrom-Eingriffen getestet. Die Experimente messen:
- Lokale Linearität und Superposition: Überprüfung, ob kleine Störungen eine lineare Skalierung aufweisen und ob die Effekte kombinierter Eingriffe sich linear summieren.
- Sensitivitätsvorhersage: Vergleich der gemessenen Patch-Effekte mit Vorhersagen, die aus ersten Ordnung-Sensitivitäten (Autograd-Gradienten) abgeleitet wurden.
- Residual-Ausbreitung: Messung des durch einen lokalisierten Patch induzierten nachgelagerten Residualfelds $\delta R$ , um die „Green-Response" zu charakterisieren.
- Komposition: Test, ob die Ausbreitung durch eine Zwischenschicht das Produkt von Green-Operatoren approximiert ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- Reduzierte Darstellungen: Analyse von „geschnittenen" Green-Operatoren (komponentenweise Ausbreitung zwischen festen Stellen) und Sensitivitätsstellen-Scores zur Dimensionsreduktion.
- Prompt-Verschiebungen: Behandlung der Differenz zwischen zwei Prompts als lokalisierte Quelle, um zu testen, ob sie als Transformationsrichtung wirkt.

Hauptbeiträge

Feldtheoretischer Rahmen: Der Beitrag etabliert einen Formalismus, bei dem Patching als lokalisierte Quelleneinfügung, Attribution als Sensitivitätsfeld-Vorhersage und Ausbreitung als empirische Green-Funktions-Response betrachtet wird.
Adjungierte Inferenzformulierung: Er fasst die Patch-Stellen-Inferenz als ein inverses Problem neu, das über ein adjungiertes Variationsprinzip lösbar ist, und geht damit über eine einfache Enumeration hinaus zu einem eingeschränkten Rekonstruktionsproblem.
Empirisches Linear-Response-Regime: Die Autoren identifizieren ein begrenztes lokales lineares Regime in GPT-2-Modellen, in dem Sensitivitäten erster Ordnung Patch-Effekte genau vorhersagen und die Superposition gilt.
Strukturierte Ausbreitung: Experimente zeigen, dass sich Residualstörungen über Tiefe und Token-Position strukturiert und anisotrop ausbreiten und annähernde kompositionelle Eigenschaften aufweisen, die mit der linearisierten Theorie konsistent sind.
Reduzierte Beschreibungen: Der Beitrag zeigt, dass hochsensitiven Stellen und geschnittene Green-Operatoren handhabbare, niedrigdimensionale Beschreibungen des ansonsten hochdimensionalen Residual-Response-Raums liefern.
Skalierungshypothese: Es wird eine theoretische Proposal unterbreitet, dass die Response-Geometrie (Green-Funktions-Fingerabdrücke) über Modellskalen hinweg geteilt werden könnte. Dies legt nahe, dass Response-Informationen aus einem kleineren Modell Kandidaten-Patch-Stellenkarten für ein größeres Modell definieren könnten, sofern lokale Anker verwendet werden.

Ergebnisse

Linearität: Lokale Störungen zeigen ein begrenztes lineares Regime, in dem Nichtlinearität und Superpositionsfehler für moderate Amplituden niedrig bleiben (unter 20 % in getesteten Bereichen).
Vorhersagegenauigkeit: Autograd-Sensitivitäten ( $a(t, x)$ ) sagen gemessene skalare Patch-Effekte über verschiedene Residualstellen und Richtungen hinweg erfolgreich voraus und validieren die Approximation erster Ordnung.
Ausbreitungsstruktur: Lokalisierte Eingriffe erzeugen strukturierte nachgelagerte Response-Felder, die sich anisotrop ausbreiten. Der Kompositionstest bestätigt, dass intermediate Residualfelder ausreichende Informationen enthalten, um nachgelagerte Responses innerhalb des perturbativen Regimes zu reproduzieren.
Stellen-Konzentration: Sensitivitäts-Scores ( $\|a(t, x)\|$ ) sind stark inhomogen und konzentrieren sich auf eine kleine Menge von Schichten-Token-Stellen, was die Reduktion des Suchraums für Eingriffe ermöglicht.
Prompt-Verschiebung: Unterschiede zwischen Prompts wirken als lokale Transformationsrichtungen. Ihre Effekte werden durch kausale Sensitivitäten vorhergesagt, sind in späteren Schichten am effektivsten und können erfolgreich die Ränge von Zielantworten im Vokabular verschieben.

Bedeutung und Behauptungen
Der Beitrag beansprucht, eine „praktische Sprache" zur Organisation von Patching-Experimenten bereitzustellen und das Paradigma von der Enumeration von Eingriffen hin zur Schätzung von Response-Größen (Sensitivitäten und Kerne) zu verschieben. Durch die empirische Etablierung der Linear-Response-Grundlage macht die Arbeit die Rekonstruktion interner Mechanismen mathematisch wohlgestellt: Die Green-Funktion dient als Vorwärtsoperator für ein inverses Problem, das Patch-Stellen und -Richtungen identifiziert.

Die Autoren formulieren ihre Skalierungshypothese bescheiden als Motivation für zukünftige Arbeiten und nicht als bewiesenes Ergebnis, wobei sie darauf hinweisen, dass sie auf einer „Shared-Latent-Response-Hypothese" beruht und lokale Anker (Gewichte, Aktivierungen oder spärliche Patches) erfordert, um realisierbar zu sein. Der Hauptbeitrag ist die Vereinheitlichung von Werkzeugen der mechanistischen Interpretierbarkeit (Patching, Tracing, Steering) unter einer einzigen kontinuierlichen Tiefen-Feldtheorie, die einen prinzipiellen Weg von der Messung zur Inferenz und potenziell zum Modell-Skalen-Transfer bietet.