🤖 machine learning

Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams

Dieser Beitrag stellt Geometrische Evolutionskarten (GEMs) vor, eine Methode, die die gerichtete Trajektorie von Konzepten in den Residualströmen von Transformern verfolgt, um stabile „Übergabeschichten" zu identifizieren, in denen Repräsentationen zur Ruhe kommen, und dadurch zuverlässigere Konzeptproben als traditionelle Ansätze mit festen Schichten oder Peak-Scores über diverse Architekturen hinweg extrahiert.

Ursprüngliche Autoren: James Henry

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James Henry

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Transformer-KI-Modell als eine riesige, mehrstöckige Fabrik vor, in der rohe Ideen im Erdgeschoss eintreten und Schicht für Schicht verarbeitet werden, bis sie oben als fertiges Produkt ankommen.

Lange Zeit folgten Forscher, die versuchten zu verstehen, woran die KI denkt (z. B. ob sie „Wut", „Wahrheit" oder „Gefahr" versteht), einer einfachen Regel: Schauen Sie einfach ganz nach oben. Sie gingen davon aus, dass eine Idee, sobald sie die letzte Schicht erreicht hat, vollständig geformt und stabil ist.

Diese Arbeit argumentiert, dass diese Regel falsch ist. Es ist, als würde man versuchen, ein Rezept zu verstehen, indem man nur das fertige, angerichtete Gericht betrachtet und ignoriert, dass die Zutaten auf jeder einzelnen Etage vor dem Ankommen völlig unterschiedlich gehackt, gemischt, erhitzt und gerührt wurden.

Hier ist die einfache Zusammenfassung dessen, was die Arbeit entdeckt und vorgeschlagen hat:

1. Das Problem: Ideen drehen sich wie ein Kreisel

Die Autoren stellten fest, dass sich die Art und Weise, wie eine KI ein Konzept (wie „Ironie" oder „Bedrohung") in ihrem internen Gedächtnis repräsentiert, wild dreht, während sie die Fabrikgeschosse hinaufwandert.

Die Analogie: Stellen Sie sich eine Gruppe von Menschen vor, die versuchen, eine Menschenpyramide zu bilden. Unten greifen sie sich nur an den Händen und drehen sich im Kreis, um ihr Gleichgewicht zu finden. Sie sind überall verstreut.
Die Daten: Die Arbeit maß diesen „Dreh". In den meisten Fällen war die Richtung der Idee am Anfang des Montageprozesses fast völlig anders (wie Nord gegen Süd) als dort, wo sie endete.
Der Fehler: Wenn Sie versuchen, die Idee zu „proben" (zu erkennen), während sie sich noch mitten in der Fabrik dreht, könnten Sie sie in die falsche Richtung fangen. Sie könnten denken, die KI denke an „Gefahr", während sie eigentlich nur die Teile organisiert, um schließlich an Gefahr zu denken.

2. Die Lösung: Die „Übergabe"-Schicht

Die Autoren führten eine neue Methode namens Geometrische Evolutionskarten (GEMs) ein. Anstatt zu raten, welche Schicht man betrachten soll, verfolgen GEMs die Idee auf ihrem Weg nach oben, um den exakten Moment zu finden, in dem sie aufhört zu drehen und sich festsetzt.

Die Analogie: Denken Sie an eine Staffel. Die Läufer (Schichten) geben den Staffelstab (das Konzept) hin und her. Eine Weile wackelt der Stab und wird ungeschickt übergeben. Aber dann gibt es einen bestimmten Moment – die Übergabe –, an dem der Läufer den Stab endlich fängt, seinen Griff stabilisiert und geradeaus läuft.
Die Entdeckung: Die Arbeit fand heraus, dass dieser „stabile Griff" auf einer bestimmten Etage stattfindet, die sie Übergabe-Schicht nennen. Sobald die Idee diese Schicht passiert hat, hört sie auf zu drehen und bleibt bis zum oberen Ende stabil.
Das Ergebnis: Wenn Sie wissen wollen, woran die KI denkt, sollten Sie nicht ganz nach oben schauen (wo sie vielleicht abgedriftet ist) oder in die Mitte (wo sie sich noch dreht). Sie sollten genau auf die Übergabe-Schicht schauen, wo sich die Idee in ihre endgültige, stabile Form gesetzt hat.

3. Testen der Theorie

Die Forscher testeten dies an 23 verschiedenen KI-Modellen (von winzigen bis zu sehr großen) und 17 verschiedenen Konzepttypen (wie „Ironie", „Dringlichkeit", „Täuschung" usw.).

Der Vergleich: Sie verglichen ihre neue „Übergabe"-Methode mit der alten „Peak"-Methode (Betrachten der Etage, an der die Idee am lautesten schien, auch wenn sie sich noch drehte).
Das Ergebnis: Die Übergabe-Methode war 68 % der Zeit besser. In vielen Fällen war sie deutlich genauer.
Der Haken: Sie funktioniert am besten bei größeren Modellen. Bei sehr kleinen Modellen ist der „Dreh" manchmal so chaotisch oder die Fabrik so kurz, dass die Idee keine Zeit hat, sich ordentlich zu setzen, bevor sie oben ankommt.

4. Sonderregeln für verschiedene Fabriktypen

Die Arbeit stellte fest, dass verschiedene Arten von KI-Fabriken sich unterschiedlich verhalten:

Standard-Fabriken (MHA): Diese haben fast immer eine klare „Übergabe"-Schicht, an der sich die Idee setzt. Die neue Methode funktioniert hier hervorragend.
Gruppierte Fabriken (GQA): Diese haben eine komplexere interne Struktur. Sie setzen sich manchmal früher oder verhalten sich anders, sodass die „Übergabe"-Methode weniger dominant, aber dennoch nützlich ist.
Die „Nahe-oben"-Regel: Manchmal setzt sich die Idee so spät fest, dass sie fast ganz oben ist. Wenn Sie die Idee dort prüfen, könnten Sie sie versehentlich mit dem letzten „Verpackungs"-Schritt (Vorbereitung zum Sprechen) vermischen. Die Autoren erstellten eine spezielle Regel für diese seltenen Fälle, um sicherzustellen, dass sie nicht durch den Verpackungsprozess verwirrt werden.

5. Was dies bedeutet (und was nicht)

Was es beweist: Die Arbeit beweist, dass KI-Konzepte nicht statisch sind; sie sind dynamische Prozesse, die sich bewegen und drehen, bevor sie stabilisieren. Um sie zu verstehen, müssen Sie den Moment finden, an dem sie aufhören, sich zu bewegen.
Was es nicht behauptet: Die Arbeit behauptet nicht, dass dies die KI sicherer macht oder dass wir das KI-Verhalten nun perfekt kontrollieren können. Sie liefert lediglich ein besseres „Mikroskop", um zu sehen, wo die Gedanken der KI tatsächlich stabil sind.
Ein Versagen: Die Arbeit gibt zu, dass ein bestimmtes kleines Modell (gpt2) die Regeln brach. In dieser winzigen Fabrik fand die „Übergabe" so nahe am oberen Ende statt, dass die Methode durch den Verpackungsprozess verwirrt wurde. Dies ist eine bekannte Einschränkung, kein Fehler in der allgemeinen Theorie.

Zusammenfassung

Stellen Sie sich das Gehirn der KI als einen Fluss vor. Die alte Art, es zu untersuchen, bestand darin, in den Ozean zu schauen, wo der Fluss endet, und anzunehmen, das Wasser sei ruhig. Diese Arbeit sagt: „Nein, das Wasser wirbelt und dreht sich den ganzen Weg hinunter."

Die Geometrische Evolutionskarte ist wie ein Sensor, der den Fluss hinuntertreibt und auf den exakten Moment wartet, an dem das Wasser aufhört zu wirbeln und gerade fließt. Sobald es diesen ruhigen Punkt (die Übergabe-Schicht) findet, macht es ein Foto. Dieses Foto ist ein viel klareres, genaueres Bild dessen, woran die KI tatsächlich denkt, als jedes Foto, das oben oder unten gemacht wurde.

Technische Zusammenfassung: Geometrische Evolutionskarten (GEMs)

Problemstellung

Lineare Proben, die aus den Reststrom-Strömen von Transformern extrahiert werden, sind nur so zuverlässig wie die spezifische Schicht, aus der sie extrahiert werden. Die aktuelle Literatur stützt sich auf drei naive Heuristiken für die Schichtauswahl: das Abtasten der letzten Schicht, das Abtasten der Schicht mit dem höchsten Trennungswert oder das Abtasten einer festen mittleren bis späten Schicht.

Die Arbeit argumentiert, dass diese Ansätze eine fundamentale strukturelle Realität nicht berücksichtigen: Konzeptrepräsentationen in den Reststrom-Strömen von Transformern sind nicht statisch. Sie entstehen allmählich, durchlaufen während ihrer Assemblierungsphase (innerhalb der Konzept-Allokationszone oder CAZ) eine erhebliche Richtungsrotation und stabilisieren sich erst in einer charakteristischen „Übergabeschicht" nach der primären CAZ in einer stabilen Richtung. Das Abtasten am Trennungsgipfel (der innerhalb der CAZ auftritt) oder am CAZ-Eintritt extrahiert eine Richtung, die sich noch nicht stabilisiert hat, was zu unzuverlässigen Konzeptproben führt.

Methodik: Geometrische Evolutionskarten (GEMs)

Die Arbeit stellt Geometrische Evolutionskarten (GEMs) vor, eine Methode, um die vollständige Richtungsbahn eines Konzepts durch Reststrom-Aktivierungen zu verfolgen, um die genaue Schicht zu identifizieren, in der sich die Konzeptionrichtung stabilisiert.

Kern-Definitionen

Konzeptrichtung ( $u^{(l)}$ ): In jeder Schicht $l$ wird die dominante Konzeptrichtung als der $L_2$ -normalisierte Unterschied zwischen den mittleren Reststrom-Aktivierungen positiver und negativer kontrastiver Paare (Differenz der Mittelwerte) definiert.
Winkelgeschwindigkeit ( $\omega^{(l)}$ ): Die Rate der Richtungsänderung wird berechnet als $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$ . Eine hohe Geschwindigkeit zeigt eine aktive Rotation an; eine niedrige Geschwindigkeit zeigt Stabilität an.
Konzept-Allokationszone (CAZ): Der Schichtbereich, in dem ein Konzept sein primäres Trennungsereignis durchläuft, detektiert über Fisher-normalisierte Trennungswerte.
Übergabeschicht ( $L_H$ ): Operativ definiert als die erste Schicht unmittelbar nach dem CAZ-Ende, in der die Winkelgeschwindigkeit unter einen Schwellenwert fällt ( $\epsilon = 0,05$ ). Dies ist die Schicht, in der sich die Konzeptrichtung „einschaltet".
Stabilisierte Probe: Die extrahierte Probe ist der Einheitsvektor $u^{(L_H)}$ an der Übergabeschicht.

Adaptive Breiten-Regel

Bei der Evaluierung von Proben durch Ablation führt die Arbeit eine adaptive Breiten-Regel ( $w$ ) ein. Standardmäßig werden 3 aufeinanderfolgende Schichten ab $L_H$ ablatiert. Für Übergaben in der Nähe der letzten Schicht ( $L_H/N > 0,85$ ) besteht jedoch das Risiko, dass das Ablatieren von 3 Schichten in die unembedding-Vorbereitungszone hineinreicht und das Signal verwässert. Für diese Fälle setzt die Regel $w=1$ , um die Richtung exakt am Konvergenzpunkt zu extrahieren.

Hauptbeiträge

Formalisierung von GEM: Eine handhabbare Methode zur Berechnung der Übergabeschicht und zur Extraktion der stabilisierten Konzeptrichtung.
Empirische Validierung der Rotation: Es wurde nachgewiesen, dass sich Konzeptrichtungen während der Assemblierung erheblich drehen. Über 391 Konzept-Modell-Paare (23 Modelle, 17 Konzepte) hinweg beträgt der mittlere Eintritts-Austritts-Kosinus (EEC) innerhalb der CAZs 0,233, wobei 93,9 % der Paare einen EEC < 0,5 aufweisen. Dies bestätigt, dass das Abtasten am CAZ-Eintritt oder am Trennungsgipfel eine Richtung erfasst, die orthogonal zum finalen stabilisierten Zustand steht.
Überlegenheit von Übergabe-Proben: GEM-extrahierte Proben sind in 68,5 % (268/391) der Versuche mindestens so präzise wie Gipfel-Schicht-Proben und übertreffen diese in 66,2 % (259/391) strikt. Ein Wilcoxon-Vorzeichen-Rang-Test auf pro-Modell-Anteilen bestätigt die Signifikanz ( $p=0,010$ ; $p=0,0036$ unter Ausschluss von gpt2).
Architekturspezifische Befunde:
- MHA vs. GQA: MHA-Modelle bevorzugen die Übergabeschicht in 78,3 % der Versuche, während GQA-Modelle dies nur in 47,1 % tun.
- Skalierung: Die GEM-Struktur existiert auch in 70M-Modellen, aber die Probenqualität verbessert sich signifikant im Bereich >500M.
Richtungs-Spezifitätskontrolle: Die Ablation der spezifischen Konzeptrichtung unterdrückt die Trennung mit einer medianen Rate, die 377 $\times$ höher ist als bei der Ablation zufälliger Richtungen (45,6 % vs. 0,24 %), was bestätigt, dass der Effekt von der Konzeptrichtung selbst getragen wird und nicht nur von der Tiefe.
Tiefenangepasste Kontrolle: Ein Kontrollversuch, der GEM mit einer nicht-stabilisierenden Schicht in derselben relativen Tiefe verglich, bestätigte, dass das Stabilisierungskriterium einen zusätzlichen +32,5 Prozentpunkte an Trennungsunterdrückung beiträgt, wodurch die Extraktionstiefe als alleiniger Treiber ausgeschlossen wird.
Strukturierte Fehlermodi:
- gpt2: Identifiziert als echter Fehlermodus, bei dem die Ablation an der Übergabeschicht (aufgrund der Nähe zum Unembedding in einem 12-Schichten-Modell) die Trennung pathologisch erhöht.
- OPT-6.7b: Erschien zunächst als Fehler in einem kleineren Korpus (41 % Verbesserung), erreichte jedoch bei $N=250$ eine 76 %ige Verbesserung, was darauf hindeutet, dass der anfängliche Befund korpusgrößenabhängig war.

Ergebnisse und Beobachtungen

Übergabetiefe: Die meisten Konzepte stabilisieren sich in den letzten 15–30 % der Modelltiefe. Sicherheitsrelevante und epistemische Konzepte (z. B. threat_severity, certainty) wechseln am tiefsten über (mittlere relative Tiefe $\ge$ 0,86), während syntaktische Konzepte (z. B. specificity, plurality) früher übergeben.
Relais-Struktur: Multi-Knoten-Ablationsexperimente an pythia-6.9b zeigen, dass Konzepte oft in einem kausalen Relais existieren. Der tiefste GEM-Knoten ist der kausal konzentrierteste Eingriffspunkt, aber flache Knoten sind kausal stromaufwärts (bei 9/15 Multi-Knoten-Konzepten wurde eine Quer-Störung beobachtet).
Wirksamkeit der adaptiven Breite: Die Regel für die Nähe zum Ende ( $w=1$ ) verbessert die Probenqualität in 75,9 % der ausgelösten Fälle (60/79), mit einem durchschnittlichen Gewinn von +7,44 pp für diese Fälle.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GEM die Extraktionsmethodik liefert, die den CAZ-Validierungs- und PRH-Papieren in diesem Forschungsprogramm zugrunde liegt. Ihre primäre Bedeutung liegt in:

Korrektur der Probenextraktion: Die Feststellung, dass die „stabilisierte" Richtung an der Übergabeschicht die geometrisch präzise Repräsentation eines Konzepts ist, die den transienten Richtungen an Trennungsgipfeln überlegen ist.
Kartierung der Assemblierungsdynamik: Bereitstellung einer Methode zur Visualisierung und Quantifizierung der „Rotation" von Konzepten, was offenlegt, dass Konzepte nicht statisch sind, sondern einen dynamischen Assemblierungsprozess durchlaufen, bevor sie sich stabilisieren.
Kausale Charakterisierung: Der Nachweis, dass GEM die am besten zugänglichen Punkte in einem kausalen Relais für Interventionen identifiziert, wobei jedoch nicht behauptet wird, die gesamte Konzeptkodierung zu erfassen (die weiterhin verteilt bleibt).

Die Arbeit bleibt hinsichtlich ihres Umfangs bescheiden: Sie behauptet nicht, den vollständigen Mechanismus der Konzeptkodierung zu erklären (z. B. die spezifischen Beiträge von Attention- gegenüber MLP-Subschichten), noch behauptet sie, alle Konzeptinformationen zu erfassen, sondern nur die „Gipfel" der Verteilung, wo das Signal groß genug ist, um isoliert und getestet zu werden. Sie weist ausdrücklich darauf hin, dass eine verhaltensbasierte Ablation (Messung von Änderungen in nachgelagerten Ausgaben) geplant, aber noch nicht im großen Maßstab durchgeführt wurde.