💬 NLP

Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

Dieses Paper führt turn-gemittelte spärliche Autoencoder (Sparse Autoencoders, SAEs) ein, die die durchschnittlichen Modellaktivierungen über gesamte Gesprächsturns hinweg rekonstruieren, um die Skalierbarkeitsbeschränkungen standardmäßiger Token-basierter SAEs zu überwinden und dadurch eine umfassendere Feature-Entdeckung sowie eine vereinfachte Attributionsanalyse für Langkontext-Transkripte von Sprachmodellen zu ermöglichen.

Ursprüngliche Autoren: Kevin Der, Harish Kamath, Ben Thompson

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kevin Der, Harish Kamath, Ben Thompson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange, komplexe Konversation zwischen einem Menschen und einer KI zu verstehen. Sie möchten wissen, warum die KI das gesagt hat, was sie sagte.

In der Welt der KI-Forschung verwenden Wissenschaftler ein Werkzeug namens Sparse Autoencoder (SAE). Betrachten Sie ein SAE als einen superorganisierten Bibliothekar, der die Gedanken der KI in winzige, spezifische „Notizzettel“ zerlegt.

Der alte Weg: Der „Token-für-Token“-Bibliothekar

Traditionell betrachtet dieser Bibliothekar die Konversation Wort für Wort (oder „Token“ für „Token“).

Das Problem: Wenn die Konversation 1.000 Wörter lang ist, schreibt der Bibliothekar 1.000 Notizzettel. Wenn die Konversation 100.000 Wörter lang ist, schreibt er 100.000 Notizen.
Das Ergebnis: Die Notizen sind unglaublich detailliert. Ein Notizzettel könnte sagen: „Das Wort ‚Apfel‘ erschien hier.“ Ein anderer könnte sagen: „Das Wort ‚laufen‘ erschien dort.“ Aber wenn man versucht, die gesamte Geschichte zu betrachten, ertrinkt man in einem Meer von Notizzetteln. Es ist unmöglich, den Wald vor lauter Bäumen zu sehen. Man kann nicht einfach feststellen, ob die KI „unhöflich“, „kreativ“ oder „über Mathematik sprechend“ war, weil diese großen Ideen über tausende winzige Notizen verstreut sind.

Die neue Idee: Der „Turn-Averaged“-Bibliothekar

Die Autoren dieses Papers haben eine neue Methode eingeführt, die Turn-Averaged SAEs genannt wird. Anstatt jedem einzelnen Wort zu schauen, bitten sie den Bibliothekar, einen ganzen „Turn“ (eine komplette Antwort der KI oder des Menschen) zu betrachten und den Durchschnitt aller Gedanken in diesem Turn zu bilden.

Die kreative Analogie: Der Smoothie vs. der Fruchtsalat

Der alte Weg (Per-Token): Stellen Sie sich einen Fruchtsalat vor, in dem Sie jede einzelne Fruchtkerne, jede winzige Schale und jedes einzelne Zuckerkorn sehen können. Er ist sehr detailliert, aber wenn Sie wissen wollen, ob der Salat „süß“ oder „säuerlich“ ist, müssen Sie jedes einzelne Stück zählen.
Der neue Weg (Turn-Averaged): Stellen Sie sich vor, Sie mixen diesen Fruchtsalat zu einem Smoothie. Sie verlieren die spezifischen Kerne und Schalen (die winzigen Details der einzelnen Wörter), aber Sie erhalten ein perfektes, klares Bild des gesamten Geschmacksprofils. Ist es ein „Erdbeer-Smoothie“? Ja. Ist es „würzig“? Nein. Der Mixer (der Durchschnittsprozess) filtert das Rauschen heraus und behält das große Ganze.

Was sie herausgefunden haben

Die Forscher testeten diesen neuen „Smoothie“-Ansatz an einem 7-Milliarden-Parameter-KI-Modell (einer sehr intelligenten, aber noch nicht „superintelligenten“ KI) unter Verwendung von echten Chat-Daten. Hier ist, was sie entdeckten:

Besser darin, das große Ganze zu sehen: Wenn sie eine KI fragten, worum es in einem Gesprächs-Turn ging, waren die „Turn-Averaged“-Notizen viel besser darin, hochgradige Ideen wie „Der Nutzer ist unhöflich“, „Das Thema ist Autosicherheit“ oder „Die KI ist übermäßig enthusiastisch“ zu erfassen. Die alten „Wort-für-Wort“-Notizen listeten hauptsächlich spezifische Wörter oder Grammatikmuster auf und verfehlten dabei die allgemeine Stimmung.
Umgang mit langen Geschichten: Da sie den gesamten Turn mitteln, funktionieren diese neuen Notizen bei einem 30.000 Wörter langen Dokument genauso gut wie bei einem kurzen Satz. Die alte Methode würde bei langen Texten überfordert und chaotisch werden.
Die „Matroschka“-Puppen-Lösung: Sie haben auch ein spezielles „verschachteltes“ Modell gebaut. Stellen Sie sich eine russische Matroschka-Puppe vor.
- Die innere Puppe enthält die „Smoothie“-Notizen (das große Ganze des Turns).
- Die äußere Puppe enthält die „Fruchtsalat“-Notizen (die spezifischen Details der einzelnen Wörter).
- Dies ermöglicht es der KI, sowohl das große Ganze als auch die winzigen Details in einem einzigen System zu haben.

Warum dies für die „Attribution“ (das Rückverfolgen der Ursache) wichtig ist

Einer der Hauptanwendungsbereiche dieser Werkzeuge ist das Erstellen einer Karte (eines sogenannten Attribution Graph), die zeigt, wie ein Teil des Gehirns der KI einen anderen beeinflusst.

Die alte Karte: Für eine lange Konversation bestand diese Karte aus Hunderttausenden von Punkten und Linien. Es war ein chaotisches Durcheinander, das kein Mensch lesen konnte.
Die neue Karte: Mit Turn-Averaged SAEs wird die Karte vereinfacht. Anstatt eines Punktes für jedes Wort gibt es einen Punkt für jeden Turn. Die Karte wird zu einem sauberen, lesbaren Flussdiagramm, das genau zeigt, wie eine Frage des Nutzers zu einer bestimmten Antwort der KI führte.

Ein Praxisbeispiel aus dem Paper

Die Forscher testeten dies in einer Konversation, in der die KI anfangs eine Antwort verweigerte, dann langsam nachgab und schließlich anfing, Unsinn (degenerierten Text) auszuspucken.

Mit der alten Methode: Die Karte war zu chaotisch, um sie zu verstehen. Sie deutete auf zufällige Dinge wie „chemische Namen“ oder „JSON-Code“ hin, was als Ursache keinen Sinn ergab.
Mit der neuen Methode: Die Karte zeigte klar eine Kette von Ereignissen auf:
1. Frühe Turns enthielten Merkmale im Zusammenhang mit „KI-Sicherheit“ und „Atomwaffen“.
2. Dies löste ein Merkmal für „Erkennung von Jailbreak-Versuchen“ aus.
3. Dies führte schließlich zum „degenerierten Output“.
  Die neue Methode konnte die Ursache („das Warum“) hinter dem Zusammenbruch der KI erfolgreich zurückverfolgen, was die alte Methode nicht klar leisten konnte.

Das Fazente

Dieses Paper zeigt, dass wir durch das „Mixen“ der Gedanken der KI über einen gesamten Gesprächs-Turn hinweg Werkzeuge schaffen können, die viel besser darin sind, die Bedeutung, den Stil und die Sicherheit dessen zu verstehen, was die KI tut, insbesondere in langen Konversationen. Es verwandelt einen chaotischen Haufen von Notizzetteln in eine klare, lesbare Geschichte.

Hinweis: Das Paper konzentriert sich strikt auf die Verbesserung der Analyse und des Verständnisses von KI-Modellen. Es wird nicht behauptet, dass diese Werkzeuge bereits für den klinischen Einsatz, die medizinische Diagnose oder den direkten Einsatz in Konsumentenprodukten bereit sind.

Technisches Resümee: Turn-gemittelte SAEs zur Merkmalsentdeckung und Kontext-Attribution über lange Kontexte

1. Problemstellung

Sparse Autoencoder (SAEs) haben sich als primäres Werkzeug zur Extraktion interpretierbarer Merkmale aus Sprachmodellen etabliert und erleichtern die Schaltkreis-Analyse (Circuit Analysis), das Verhaltens-Steering und die Sicherheitsüberwachung. Die Standard-SAE-Architekturen operieren jedoch auf individuellen Token-Aktivierungen. Diese Granularität auf Token-Ebene schafft zwei signifikante Engpässe für die Interpretierbarkeit im großen Maßstab:

Skalierungsbeschränkungen: Die Anzahl der aktiven Merkmale skaliert linear mit der Kontextlänge. In Szenarien mit langen Kontexten oder Multi-Turn-Konversationen macht das resultierende Datenvolumen die nachgeschaltete Analyse (wie etwa Attributionsgraphen) umständlich und schwer zu inspizieren.
Verlust von High-Level-Kontext: Viele Ziele der Interpretierbarkeit betreffen das Verständnis darüber, warum ein Modell eine bestimmte Antwort produziert hat, was die Identifizierung von High-Level-Eigenschaften (z. B. Thema, Persona, Sicherheitsmerkmale) erfordert, die über viele Token verteilt sind. Standardmäßige Per-Token-SAEs lernen oft Low-Level-Detektoren für spezifische Wörter oder syntaktische Muster. Da das Trainingsziel jedes Position unabhängig rekonstruiert, gibt es keinen Druck für das Modell, diese High-Level-, span-weite Charakteristika von Token-Ebene-Rauschen zu trennen.

2. Methodik

2.1 Turn-gemittelte SAEs

Der Kernvorschlag besteht darin, SAEs auf den Mittelwert der Hidden States über einen Span von Token (speziell einen einzelnen Human- oder Assistant-Turn) zu trainieren, anstatt auf individuellen Token-Aktivierungen.

Input-Transformation: Gegeben sei ein Turn $T$ mit Token $x_t$ , ist der Input der gemittelte Hidden State $\bar{x} = \frac{1}{|T|} \sum_{t \in T} x_t$ .
Architektur: Die SAE-Architektur bleibt identisch mit Standardimplementierungen (unter Verwendung von BatchTopK für Sparsität). Da der Mittelwert von Vektoren in $\mathbb{R}^{d_{model}}$ dieselbe Dimensionalität wie die einzelnen Vektoren beibehält, sind keine strukturellen Änderungen erforderlich.
Intuition: Mittelung wirkt wie ein Tiefpassfilter. Sie glättet hochfrequente, token-spezifische Details (wie spezifische Wortwahl oder syntaktische Marker) und bewahrt gleichzeitig niederfrequente Komponenten, die mit breiten Konzepten wie Thema, Stil und Verhaltensmerkmalen korrespondieren.

2.2 Hybride Architekturen

Um die Einschränkung zu adressieren, dass Mittelung Details auf Token-Ebene verwirft, schlagen die Autoren zwei hybride Ansätze vor, um sowohl die High-Level-Struktur als auch feinkörnige Residuen zu erfassen:

Decoupled SAE (Entkoppelter SAE): Trainiert zwei unabhängige SAEs. Eines rekonstruiert den turn-gemittelten Mittelwert ( $\bar{x}$ ), das andere rekonstruiert das Residuum ( $x_t - \bar{x}$ ). Während dies die Signale trennt, sind die Modelle kausal entkoppelt, was die Attributionsanalyse erschwert.
Nested SAE (Matryoshka-Stil): Trainiert einen einzelnen SAE mit einem gemeinsamen Encoder und Decoder, aber einer spezialisierten Loss-Funktion. Der Merkmalsraum ist in eine innere Partition $[0:h]$ $[0 : h]$ und eine äußere Partition $[h:d_{sae}]$ $[h : d_{s a e}]$ unterteilt.
- Loss-Funktion: $L = \sum_t \| \text{dec}(\text{enc}(x_t)) - x_t \|^2 + \alpha \cdot \| \text{dec}_h(\text{enc}(\bar{x})[0:h]) - \bar{x} \|^2$ .
- Die innere Partition wird gezwungen, den turn-gemittelten Mittelwert zu rekonstruieren, während der vollständige Satz an Merkmalen die Per-Token-Aktivierungen rekonstruiert. Dies ermöglicht es einem einzelnen Modell, sowohl High-Level-Turn-Charakteristika als auch Token-Ebene-Details gleichzeitig zu lernen.

2.3 Anpassung der Attributionsgraphen

Die Autoren passen Attributionsgraphen auf die Turn-Ebene an. Anstatt dass Knoten Merkmale an spezifischen Token-Positionen repräsentieren, repräsentieren Knoten Merkmale, die in einem spezifischen Turn und Layer aktiv sind.

Kanten-Gewichte: Werden durch Mittelung der Gradienten-Attribution über den Quell-Turn berechnet und durch die Turn-Länge ( $1/|T_A|$ und $1/|T_B|$ ) normalisiert, um sicherzustellen, dass die Gewichte unabhängig von der Turn-Länge sind.
Interventions-Validierung: Kanten-Gewichte werden durch Perturbationen der Quell-Merkmale entlang ihrer Decoder-Richtungen über alle Token eines Turns hinweg validiert und durch Messung der Änderung der Ziel-Feature-Prä-Aktivierungen.

3. Kernbeiträge

Turn-gemittelte SAEs: Es wurde demonstriert, dass das Training auf gemittelten Hidden States Merkmale erzeugt, die High-Level-Turn-Charakteristika (Thema, Stil, Sicherheitsmerkmale) vollständiger erfassen als Per-Token-Features.
Nested SAE Architektur: Einführung einer Single-Model-Architektur, die sowohl Turn-gemittelte als auch Per-Token-Features mittels einer Matryoshka-ähnlichen Loss-Funktion gemeinsam lernt und dabei eine hohe Rekonstruktionsqualität für beide Signal-Komponenten erreicht.
Skalierbare Attribution: Anpassung von Attributionsgraphen auf die Turn-Ebene, was eine kompakte Analyse von Multi-Turn-Konversationen ermöglicht. Die Autoren validierten diese Graphen durch Interventions-Experimente und Suffizienz-Metriken (Vollständigkeit und Ersetzung).

4. Ergebnisse

4.1 Feature-Qualität und Rekonstruktion

Rekonstruktion: Der Nested SAE erreicht einen Per-Token Normalized Mean Squared Error (nMSE) von 0,167, was dem reinen Per-Token SAE (0,162) sehr nahe kommt, während er gleichzeitig einen Turn-gemittelten nMSE von 0,116 erreicht. Im Gegensatz dazu schneidet ein Standard-Per-Token-SAE bei Turn-gemittelten Inputs schlecht ab (nMSE 0,355), was darauf hindeutet, dass der Mittelwert für Token-trainierte Modelle out-of-distribution ist.
Qualitative Entdeckung: Bei Beispielen mit mathematischen Fehlern, enthusiastischem technischen Stil und regulatorischer Compliance identifizierten Turn-gemittelte Features High-Level-Verhaltenseigenschaften (z. B. „falsche Antworten“, „enthusiastischer technischer Stil“) erfolgreich, die Per-Token-Features entweder übersehen oder nur teilweise erfasst haben.
Generalisierung auf lange Kontexte: Turn-gemittelte SAEs, die auf Chat-Turns (durchschnittliche Länge ~150 Token) trainiert wurden, generalisierten erfolgreich auf Dokumente, die 150-mal länger waren (24k–32k Token) aus LongBench v2, und identifizierten High-Level-Konzepte wie „Makroökonomie“ und „Computergrafik“, die Per-Token-Features nicht detektieren konnten.

4.2 Quantitative Evaluierung

Unter Verwendung eines LLM-as-a-judge Frameworks zum Vergleich von Feature-Beschreibungen mit strukturierten Zusammenfassungen der Turns:

Diskriminierung (10-Way Matching): Per-Token-Features (Max-Pooling) übertrafen Turn-gemittelte Features (95,0 % vs. 73,9 %), da sie auf spezifische Token-Ebene-Details angewiesen sind, um Texte zu unterscheiden.
Abdeckung (Pairwise und 5-Way Ranking): Turn-gemittelte Features übertrafen Per-Token-Features signifikant (gewannen 87,9 % der Pairwise-Vergleiche). Sie lieferten vollständigere Beschreibungen der High-Level-Charakteristika eines Turns.
Embedding-Metrik: Turn-gemittelte Features erreichten die höchste Kosinus-Ähnlichkeit (0,663) zu strukturierten Zusammenfassungsfeldern, was ihre überlegene Abdeckung semantischer Inhalte bestätigt.

4.3 Attributions-Analyse

Graph-Kompaktheit: Turn-gemittelte Graphen reduzierten die Knotenzahl von ~128K (Per-Token) auf ~5K für eine 10-Turn-Konversation, was die Inspektion praktikabel macht.
Fallstudien:
- System-Prompt-Attribution: Turn-gemittelte Graphen identifizierten korrekt, welche Absätze des System-Prompts spezifische User-Queries beeinflussten, wobei die Verschiebungen in der Attribution vergleichbar mit Per-Token-Graphen waren.
- Degenerations-Verfolgung: In einer 14-Turn-Konversation, in der das Modell in repetitive Texte degenerierte, verfolgte der Turn-gemittelte Graph eine kohärente kausale Kette: „AI Safety Disclaimers“ $\to$ „Nuclear Weapons“ $\to$ „Adversarial Prompt Detection“ $\to$ „Degenerate Output“. Per-Token-Graphen versagten dabei, das Adversarial-Detection-Feature zu finden, und führten stattdessen auf unzusammenhängende Konzepte wie „chemische Verbindungen“ zurück.
Intervention & Suffizienz: Kanten-Gewichte zeigten eine signifikante Korrelation mit Interventions-Effekten. Der Nested SAE erreichte die höchsten „Completeness“ und „Replacement“ Suffizienz-Scores und übertraf damit sowohl reine Per-Token- als auch Post-hoc-aggregierte Per-Token-Features.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Turn-gemittelte SAEs Interpretierbarkeitstechniken bei langen Kontexten praktikabel machen. Durch die Verschiebung der Analyseeinheit von Tokens zu Spans ermöglicht die Methode:

Die Erzeugung von Features, die High-Level-Charakteristika (Thema, Persona, Sicherheit) vollständiger beschreiben als Token-Ebene-Features.
Den Aufbau kompakter, interpretierbarer Attributionsgraphen für Multi-Turn-Konversationen, die ansonsten zu groß für eine Analyse wären.
Den Nachweis, dass die Modifikation des Trainingssignals (via Mittelung) einen SAE dazu zwingen kann, Merkmale in der gewünschten Granularität (High-Level-Konzepte) zu lernen, unabhängig von der Token-Anzahl.
Den Nachweis, dass diese Features auf Spans generalisieren, die wesentlich länger sind als die während des Trainings gesehenen, was auf Robustheit für die Analyse von Frontier-Modellen hindeutet.

Die Autoren weisen auf Limitationen hin, einschließlich des aktuellen Maßstabs der Experimente (7B Modell, LMSYS-Chat-1M Korpus) und der Abhängigkeit von LLMs für Evaluierungsmetriken, und identifizieren die Anwendung auf Frontier-Modelle sowie die Erstellung von Ground-Truth-Benchmarks als notwendige zukünftige Arbeit.