🤖 machine learning

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions

Dieser Beitrag stellt Residualized Sparse Autoencoders (ReSAEs) vor, eine Methode, die mehrschichtige sparse Autoencoder auf den unerklärten Residuen zwischen gekoppelten Transformer-Schichten trainiert, um die Redundanz des Decoders zu verringern und die Wirksamkeit mehrschichtiger Interventionen im Vergleich zu traditionellen schichtweisen Ansätzen erheblich zu verbessern.

Ursprüngliche Autoren: Prathyush Poduval, Calvin Yeung, Neel Desai, Mohsen Imani

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Prathyush Poduval, Calvin Yeung, Neel Desai, Mohsen Imani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Echokammer" der KI-Schichten

Stellen Sie sich ein großes Sprachmodell (wie die, die Chatbots antreiben) als eine riesige Fabrik mit vielen Fertigungsstraßen (Schichten) vor. Während eine Informationseinheit (ein Satz) die Straße hinunterwandert, fügt jede Station ein wenig neue Arbeit hinzu.

Allerdings gibt es einen Haken: Die Stationen sind Echokammern.
Da der Informationsfluss als kontinuierlicher Strom erfolgt, hört Station 10 fast alles, was Station 9 gesagt hat, plus ein winziges bisschen Neues. Station 11 hört alles von 9 und 10, plus noch ein winziges bisschen mehr.

Forscher nutzen Werkzeuge namens Sparse Autoencoder (SAEs), um diesen Stationen „zuzuhören", um zu verstehen, woran die KI denkt. Sie wollen die spezifischen „Konzepte" (wie „Höflichkeit" oder „Programmierlogik") finden, an denen jede Station arbeitet.

Der alte Weg (Das Problem):
Früher trainierten Forscher ein separates Zuhörwerkzeug für jede einzelne Station unabhängig voneinander.

Das Problem: Wenn Station 9 über „Höflichkeit" spricht und Station 10 genau diese „Höflichkeit" nur wiederholt (weil sie weitergetragen wird), würden die alten Zuhörwerkzeuge versuchen, „Höflichkeit" doppelt zu lernen.
Die Folge: Wenn Forscher versuchten, die KI zu korrigieren oder zu verändern, indem sie die Arbeit mehrerer Stationen gleichzeitig austauschten, liefen die Dinge schief. Die Werkzeuge waren redundant (verschwendeten Platz für dieselben Informationen), und die Änderungen addierten sich nicht ordnungsgemäß. Es war, als würde man versuchen, einen Film zu schneiden, indem man dieselbe Szene aus drei verschiedenen Kameras entfernt; das Endergebnis war chaotisch und unvorhersehbar.

Die neue Lösung: „Residualisierte" Autoencoder (ReSAEs)

Die Autoren schlagen einen intelligenteren Weg vor, um zuzuhören, den sie Residualized Sparse Autoencoders (ReSAEs) nennen.

Die Analogie: Der Filter „Was ist neu?"
Stellen Sie sich vor, Sie machen sich während eines langen Meetings Notizen.

Alte Methode: Sie schreiben alles auf, was der vorherige Sprecher gesagt hat, und dann alles, was der aktuelle Sprecher gesagt hat. Ihre Notizen sind riesig und voller Wiederholungen.
ReSAE-Methode: Sie hören dem aktuellen Sprecher zu und fragen: „Was hat er gesagt, das der vorherige Sprecher nicht bereits abgedeckt hat?" Sie schreiben nur die neuen Informationen auf (den „Residual").

Wie es funktioniert:

Vorhersage des Echos: Bevor das Zuhörwerkzeug für eine spätere Station trainiert wird, verwendet das System eine einfache mathematische Formel, um genau vorherzusagen, was diese Station sagen sollte, basierend auf der früheren Station.
Subtraktion des Echos: Das System subtrahiert diese Vorhersage von den tatsächlichen Daten.
Training auf den Resten: Das Zuhörwerkzeug wird nun nur auf den „Resten" trainiert – den einzigartigen, neuen Informationen, die die frühere Station noch nicht abgedeckt hat.
Rekonstruktion des Films: Wenn sie das Ergebnis sehen wollen, nehmen sie die „neuen" Notizen und fügen sie mathematisch zu den „alten" Notizen hinzu, um das vollständige Bild wiederherzustellen.

Was sie fanden (Die Ergebnisse)

Die Forscher testeten dies an zwei verschiedenen KI-Modellen (Pythia und Gemma) und stellten einige überraschende Ergebnisse fest:

1. Weniger „Rauschen", mehr „Signal"
Obwohl die ReSAE-Werkzeuge technisch gesehen „schlechter" darin waren, die Rohdaten wiederherzustellen (sie verpassten einige der repetitiven Echos), waren sie viel besser darin, die nützlichen Teile des Denkens der KI zu erfassen.

Analogie: Es ist wie ein Radio-Tuner. Die alten Werkzeuge versuchten, die gesamte Sendung aufzunehmen, einschließlich des Rauschens und der wiederholten Werbespots. Die neuen Werkzeuge filterten das Rauschen heraus und konzentrierten sich nur auf die Musik. Die Gesamtlautstärke war zwar niedriger, aber die Musik war klarer.

2. Glattere Gruppeninterventionen
Als die Forscher versuchten, das Verhalten der KI zu ändern, indem sie mehrere Schichten gleichzeitig anpassten, funktionierten die ReSAE-Werkzeuge viel besser zusammen.

Das Ergebnis: Die Änderungen waren vorhersehbar. Wenn sie Schicht A und Schicht B änderten, war das Ergebnis genau das, was sie erwartet hatten. Mit den alten Werkzeugen verursachte das Ändern zweier Schichten oft, dass die KI glitchte oder sich seltsam verhielt, weil die Schichten sich gegenseitig störten.

3. Besser im Finden spezifischer Konzepte
Als sie diese Werkzeuge nutzten, um spezifische Themen (wie „Bias" in Texten) zu finden oder sie zu entfernen, waren die ReSAE-Werkzeuge im Allgemeinen genauer. Sie konnten die „neuen" Ideen, die die KI formte, präzise lokalisieren, ohne sich durch die alten Ideen verwirren zu lassen, die sie nur weitertrug.

Das Fazit

Das Paper argumentiert, dass wir, wenn wir KI-Modell Schicht für Schicht verstehen oder reparieren wollen, jede Schicht nicht als isolierte Insel behandeln sollten. Da der Informationsfluss kontinuierlich ist, müssen wir zuerst die „übertragenen" Informationen entfernen.

Indem wir unsere Werkzeuge darauf trainieren, sich nur auf das, was neu ist, an jedem Schritt zu konzentrieren, statt auf das, was wiederholt wird, erhalten wir eine sauberere, zuverlässigere Karte davon, wie die KI denkt. Dies macht es viel einfacher, sicher in die KI einzugreifen und sie zu reparieren, wenn wir es brauchen.

Eine Einschränkung: Das Paper stellt fest, dass dies kein Allheilmittel für jede Aufgabe ist. In einigen spezifischen Fällen (wie dem Entfernen bestimmter schlechter Assoziationen) funktionierten die alten „rohen" Werkzeuge immer noch etwas besser. Aber für das Verständnis der Kernlogik der KI und das Durchführen von Änderungen auf mehreren Schichten ist der neue „residualisierte" Ansatz eine signifikante Verbesserung.

Technische Zusammenfassung: Residualisierte Sparse Autoencoder für Eingriffe in mehrschichtige Transformer

Problemstellung

Sparse Autoencoder (SAEs) sind ein Hauptinstrument für die mechanistische Interpretierbarkeit, da sie verborgene Zustände von Transformern in sparse, interpretierbare Merkmale zerlegen. Die Standardpraxis trainiert SAEs jedoch unabhängig auf den rohen Aktivierungen jeder Schicht. Dieser Ansatz ignoriert eine fundamentale strukturelle Eigenschaft von Transformern: Der Residualstream ist über die Tiefe hinweg stark gekoppelt. Ein erheblicher Anteil der Aktivierung einer beliebigen Schicht besteht aus Informationen, die von früheren Schichten weitergetragen oder nur leicht transformiert wurden.

Das unabhängige Training von SAEs auf rohen Aktivierungen erzeugt zwei praktische Probleme für Eingriffe auf mehreren Schichten:

Kapazitätsredundanz: Unterschiedliche schichtspezifische Wörterbücher verschwenden Kapazität, indem sie dieselben vorhersehbaren, weitergetragenen Informationen neu erlernen.
Unvorhersehbare Interaktionen: Wenn mehrere Schichten gleichzeitig ersetzt werden (z. B. durch Feature-Ablation oder Rekonstruktion), sind die Interaktionen zwischen den Schichten nicht additiv. Wenn dieselben Informationen in mehreren Wörterbuchen repräsentiert sind, kann ein gleichzeitiger Ersatz dazu führen, dass sich Features verdoppeln, aufheben oder Aktivierungen außerhalb der Trainingsverteilung treiben, was zu kumulierten Fehlern und einer verschlechterten Modellleistung (Cross-Entropy) führt.

Methodik: Residualisierte Sparse Autoencoder (ReSAEs)

Die Autoren schlagen Residualisierte Sparse Autoencoder (ReSAEs) vor, um schichtspezifische Informationen von vorhersehbaren querschichtlichen Strukturen zu entkoppeln. Die Methode umfasst drei Schlüsselstufen:

1. Paarweise affine Residualisierung

Für eine ausgewählte Teilmenge von Schichten $L = (\ell_1, \ell_2, \dots, \ell_M)$ passt die Methode eine affine Abbildung zwischen aufeinanderfolgenden ausgewählten Schichten an. Für ein Paar $(\ell_m, \ell_{m+1})$ wird eine affine Transformation $A_m h^{(\ell_m)} + c_m$ mittels ridge-regulierter gewöhnlicher kleinsten Quadrate gelernt, um die Aktivierung der späteren Schicht aus der früheren vorherzusagen.
Die residualisierte Aktivierung $r^{(\ell_{m+1})}$ wird dann als die Komponente der Aktivierung der späteren Schicht definiert, die nicht durch diese affine Abbildung erklärt wird:
$r^{(\ell_{m+1})} = h^{(\ell_{m+1})} - (A_m h^{(\ell_m)} + c_m)$
Die erste Ankerschicht wird durch ihren empirischen Mittelwert zentriert.

2. Unabhängiges Training pro Schicht (SAE)

Jeder SAE wird auf dem Residuum und nicht auf der rohen Aktivierung trainiert.

Eingang: Die residualisierte Aktivierung wird normalisiert (via Block-RMS-Normalisierung pro Block) und in einen Standard-BatchTopK-SAE eingespeist.
Ziel: Der SAE minimiert den Rekonstruktionsverlust des Residuum-Ziels.
Unabhängigkeit: Gradienten fließen nicht zwischen SAEs verschiedener Blöcke; jeder SAE lernt nur die „neuen" Informationen, die an seiner spezifischen Schicht eingeführt werden.

3. Rekonstruktion im Originalraum und Online-Eingriff

Um ReSAEs mit Standardprotokollen zu evaluieren, wird das rekonstruierte Residuum über die angepasste affine Kette zurück in den ursprünglichen Aktivierungsraum abgebildet.

Rekonstruktion: $\hat{h}^{(\ell_{m+1})} = A_m \hat{h}^{(\ell_m)} + c_m + S^{-1}_{m+1} \hat{z}^{(m+1)}$ , wobei $\hat{z}$ die SAE-Rekonstruktion des Residuums ist.
Online-Eingriff: Während eines Vorwärtsdurchlaufs mit Hooks wird der Residuum-Eingang für Schicht $\ell_m$ berechnet, indem der vorhergesagte Beitrag der zuvor rekonstruierten Schicht $\hat{h}^{(\ell_{m-1})}$ von der aktuellen eingehenden Aktivierung subtrahiert wird. Dies stellt sicher, dass der SAE an Schicht $\ell_m$ eine Eingangsverteilung sieht, die seinem Trainingsziel ähnelt, selbst wenn vorgelagerte Schichten modifiziert wurden.

Hauptbeiträge

ReSAE-Architektur: Einführung eines Trainingsparadigmas, bei dem SAEs auf der Komponente der Aktivierung trainiert werden, die nicht linear von einer vorherigen ausgewählten Schicht vorhersehbar ist, wobei Rekonstruktionen über eine affine Kette zusammengesetzt werden.
Verbesserter Eingriff auf mehreren Schichten: Nachweis, dass ReSAEs trotz der Rekonstruktion weniger roher Varianz die Transformer-Cross-Entropy bei gleichzeitigem Ersatz mehrerer Schichten treuer wiederherstellen als rohe SAEs.
Reduzierte Redundanz: Belege dafür, dass die Residualisierung orthogonalere Decoder-Richtungen erzeugt, was darauf hindeutet, dass die Kapazität auf schichtlokale Informationen gelenkt wird und nicht auf duplizierte querschichtliche Strukturen.
Umfassende Evaluierung: Umfangreiche Benchmarks an Pythia-1.4B und Gemma-2-9B, die Rekonstruktionsqualität, Cross-Entropy-Verschlechterung, Decoder-Ähnlichkeit, sparse Probing, gezielte Proben-Perturbation (TPP) und Entfernung spurioser Korrelationen (SCR) abdecken.

Ergebnisse

Experimente wurden an Pythia-1.4B (Schichten 0, 6, 12, 18) und Gemma-2-9B (verschiedene Schichtabstände) durchgeführt.

Rekonstruktion vs. Funktionalität: ReSAEs weisen im Vergleich zu rohen SAEs eine geringere Erklärte Varianz (EV) im ursprünglichen Aktivierungsraum auf, da sie absichtlich linear vorhersehbare Strukturen verwerfen. Diese niedrigere EV korreliert jedoch mit einer geringeren Decoder-Kosinus-Ähnlichkeit (weniger Redundanz).
Wiederherstellung der Cross-Entropy: Unter sequenziell-online-Ersatz mehrerer Schichten (wo sich Fehler fortpflanzen) übertreffen ReSAEs rohe SAEs bei der Wiederherstellung der Cross-Entropy des Modells signifikant, insbesondere bei höheren Sparsitätsniveaus ( $k \ge 160$ ). In Teacher-Forced-Szenarien (keine Fehlerfortpflanzung) erreichen ReSAEs konsistent die beste Wiederherstellung der Cross-Entropy.
Überinteraktion: Rohe SAEs zeigen eine große negative „Überinteraktion" (nicht-additive Verschlechterung), wenn mehrere Schichten ersetzt werden. ReSAEs reduzieren diese Metrik Richtung Null, was darauf hindeutet, dass ihre schichtweisen Ersatzoperationen vorhersehbarer zusammenspielen.
Feature-Qualität:
- Sparse Probing & TPP: ReSAEs übertreffen rohe SAEs im Allgemeinen bei der Genauigkeit des sparse Probing und der gezielten Proben-Perturbation, was darauf hindeutet, dass die gelernten Features für lineare Auslesung und selektive Ablation nützlicher sind.
- Entfernung spurioser Korrelationen (SCR): ReSAEs übertreffen rohe SAEs hier nicht einheitlich; in einigen Settings (insbesondere bei schichtweisen gemeinsamen Ablationen an Pythia) erzielen rohe SAEs höhere Werte. Dies legt nahe, dass residualisierte Features weniger selektiv für die Entfernung spezifischer spurioser Attribute sind, ohne Task-Signale zu beschädigen.
Skalierung und Abstand: Die Vorteile von ReSAEs bleiben im größeren Gemma-2-9B-Modell über verschiedene Schichtabstände hinweg bestehen, mit konsistenten Reduktionen der Decoder-Redundanz und Verbesserungen der Cross-Entropy-Wiederherstellung.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass es für effektive Eingriffe auf mehreren Schichten entscheidend ist, den Transformer-Residualstream als gekoppeltes Objekt und nicht als Sammlung isolierter Schichten zu behandeln.

Kapazitätsallokation: Durch das Entfernen linear vorhersehbarer querschichtlicher Strukturen zwingen ReSAEs das sparse Wörterbuch dazu, sich auf die Komponenten der Aktivierung zu konzentrieren, die für die downstream-Berechnung des Modells an dieser spezifischen Schicht am relevantesten sind.
Stabilität von Eingriffen: Die Methode bietet einen stabileren Standard für Eingriffe auf mehreren Schichten und reduziert die kumulierten Fehler und unvorhersehbaren Interaktionen, die Standard-SAE-Bereitstellungen plagen.
Kompromiss: Die Autoren erkennen an, dass ReSAEs keine universelle Verbesserung für alle Interpretierbarkeitsaufgaben sind (z. B. sind die SCR-Ergebnisse gemischt). Für das spezifische Ziel des Ersatzes mehrerer Schichten und feature-basierter Eingriffe ist der Kompromiss aus geringerer roher Varianz zugunsten höherer funktionaler Treue und reduzierter Redundanz jedoch vorteilhaft.

Die Arbeit legt nahe, dass das Entfernen vorhersehbarer Strukturen durch affine Regression ein nützlicher Vorverarbeitungsschritt für SAEs in Mehrschicht-Szenarien ist, obwohl die optimale Wahl des Prädiktors (affin vs. nichtlinear) und die Schichtauswahl weiterhin ein offener Gestaltungsbereich bleiben.