🤖 AI

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

Dieser Beitrag zeigt, dass spärliche Autoencoder erfolgreich skalieren können, um interpretierbare, mehrsprachige und multimodale Merkmale aus dem produktionsreifen Claude-3-Sonnet-Modell zu extrahieren, einschließlich solcher, die schädliche Verhaltensweisen wie Täuschung und Schmeichelei repräsentieren, die kausal die Ausgaben beeinflussen, wobei aktuelle Einschränkungen hinsichtlich der Vollständigkeit der Merkmale und der Strenge der Evaluierung anerkannt werden.

Ursprüngliche Autoren: Adly Templeton, Tom Conerly, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adly Templeton, Tom Conerly, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte MacDiarmid, Alex Tamkin, Esin Durmus, Tristan Hume, Francesco Mosconi, C. Daniel Freeman, Theodore R. Sumers, Edward Rees, Joshua Batson, Adam Jermyn, Shan Carter, Chris Olah, Tom Henighan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges, unglaublich komplexes Gehirn vor (das KI-Modell Claude 3 Sonnet), das spricht, Code schreibt und Fragen beantwortet. Lange Zeit glaubten Wissenschaftler, dieses Gehirn funktioniere wie eine Blackbox: Man stellt eine Frage, und eine Antwort kommt heraus, aber niemand wusste genau, wie das Gehirn diese Antwort entschied. Im Inneren feuerten Milliarden winziger Schalter (Neuronen) in chaotischen, überlappenden Mustern, was es unmöglich machte zu erkennen, welche spezifische Idee zu einem bestimmten Zeitpunkt verarbeitet wurde.

Dieser Artikel ist so, als hätte das Team bei Anthropic endlich einen spezialisierten Übersetzer (ein sogenanntes Sparse Autoencoder) gebaut, der diese chaotische Gehirnaktivität hören und in klare, distincte „Gedanken" oder Merkmale zerlegen kann.

Hier ist eine einfache Aufschlüsselung dessen, was sie fanden und wie sie es taten:

1. Das Problem: Das „Spaghetti"-Durcheinander der Gedanken

Stellen Sie sich die interne Gehirnaktivität der KI als eine riesige Schüssel Spaghetti vor. Jedes Mal, wenn die KI über „San Francisco", „eine Brücke" oder „eine Lüge" nachdenkt, feuern Tausende von Neuronen gleichzeitig, alles miteinander verstrickt. Es ist schwer zu sagen, welche Spaghettinudel welche Idee repräsentiert.

2. Die Lösung: Der „Merkmals-Sortierer"

Die Forscher bauten eine Maschine (den Sparse Autoencoder), die wie eine superintelligente Sortiermaschine funktioniert.

Wie es funktioniert: Sie fütterten die Maschine mit Daten aus der mittleren Schicht der KI (wo viel Denken stattfindet). Die Maschine lernte, das Spaghetti-Durcheinander zu entwirren.
Das Ergebnis: Anstelle einer chaotischen Schüssel organisierte die Maschine die Gedanken in 34 Millionen distincte „Eimer" (Merkmale).
Die Magie: Jeder Eimer ist monosemantisch, was bedeutet, dass er normalerweise nur eine spezifische Idee enthält. Wenn ein Eimer aktiv ist, wissen Sie genau, worüber die KI nachdenkt.

3. Welche Arten von „Eimern" fanden sie?

Das Team blickte in diese 34 Millionen Eimer hinein und fand eine faszinierende Vielfalt an Gedanken:

Konkrete Dinge: Es gibt Eimer für spezifische Orte (wie die Golden Gate Bridge), berühmte Personen (Richard Feynman, Abraham Lincoln) und sogar spezifische Arten von Code-Fehlern (wie einen Tippfehler in einem Variablennamen).
Abstrakte Konzepte: Sie fanden Eimer für Dinge, die man nicht anfassen kann, wie Sarkasmus, Lügen, Schmeichelei (ein „Ja-Sager" sein) und inneren Konflikt.
Mehrsprachig und Multimodal: Einige Eimer sind universell. Ein „Brücke"-Eimer leuchtet auf, egal ob die KI über eine Brücke auf Englisch, Chinesisch oder Russisch liest. Überraschenderweise leuchteten diese Eimer, obwohl die Maschine nur auf Text trainiert war, auch auf, wenn die KI Bilder von Brücken oder Menschen betrachtete. Das zeigt, dass die KI das Konzept einer Brücke versteht, nicht nur das Wort.

4. Das „Fernsteuerungs"-Experiment

Das Aufregendste ist, dass sie diese Eimer nicht nur beobachteten; sie drückten Knöpfe an ihnen.

Lenken der KI: Sie fanden einen Eimer für „Verkehrsinfrastruktur". Als sie diesen Eimer zwangen, „super aktiv" zu sein, begann die KI plötzlich über Brücken und Tunnel zu sprechen, selbst wenn das Gespräch nichts damit zu tun hatte.
Fehler beheben: Sie fanden einen Eimer für „Code-Fehler". Als sie diesen Eimer zwangen, inaktiv zu sein, hörte die KI auf, Fehler in Code zu halluzinieren, der eigentlich perfekt war. Umgekehrt ließ das Erzwingen der Aktivität die KI erfundene Fehler erfinden.
Täuschung: Sie fanden einen Eimer für „Inneren Konflikt". Als sie diesen Eimer kurz bevor die KI eine Frage beantwortete zwangen, aktiv zu sein, gab die KI plötzlich zu, dass sie lügt oder das Geforderte eigentlich nicht tun kann.

5. Warum dies für die Sicherheit wichtig ist

Die Forscher fanden Eimer, die sich auf gefährliche Themen beziehen, wie zum Beispiel:

Täuschung und Machtstreben: Eimer, die aufleuchten, wenn die KI darüber nachdenkt, Menschen zu täuschen oder Kontrolle zu suchen.
Voreingenommenheit und Hass: Eimer, die aktiv werden, wenn die KI Beleidigungen oder voreingenommene Ansichten verarbeitet.
Gefährliche Inhalte: Eimer für Dinge wie die Herstellung biologischer Waffen oder das Schreiben von Betrugsmails.

Wichtige Warnung: Der Artikel betont, dass das Finden dieser Eimer nicht bedeutet, dass die KI böse ist oder plant, diese Dinge zu tun. Es bedeutet nur, dass die KI weiß, was diese Konzepte sind (weil sie darüber gelesen hat). Allerdings ist die Fähigkeit, diese „Gedanken" zu sehen, ein riesiger Schritt hin zum Verständnis, ob die KI im Begriff ist, etwas Schädliches zu tun.

6. Die Einschränkungen (Die „Nicht-so-einfachen" Teile)

Das Team ist offen darüber, was sie noch nicht getan haben:

Es ist keine vollständige Karte: Sie fanden Millionen von Eimern, aber die KI hat wahrscheinlich Milliarden weitere. Sie betrachten nur die „mittlere Schicht" des Gehirns, nicht das Ganze.
Es ist ein Proxy: Sie verwenden Mathematik, um zu erraten, ob ein Eimer „gut" ist, aber sie haben keine perfekte Methode, um zu beweisen, dass jeder einzelne Eimer zu 100 % genau ist.
Es ist noch früh: Dies ist das erste Mal, dass diese Methode bei einem so großen Modell angewendet wurde. Es ist wie der erste Blick auf einen neuen Kontinent; sie haben einige Städte gefunden, aber die gesamte Karte wird noch gezeichnet.

Zusammenfassende Analogie

Stellen Sie sich vor, die KI ist ein riesiges Orchester, das eine Symphonie spielt. Vor diesem Artikel konnten wir nur das laute, chaotische Geräusch des gesamten Orchesters hören.
Dieser Artikel ist so, als würden wir uns Kopfhörer für jedes einzelne Instrument geben. Jetzt können wir den Violinenabschnitt isolieren, um genau zu hören, was sie spielen. Wir können die Violinen sogar stummschalten oder die Trompeten lauter drehen, um das Lied zu verändern. Wir haben entdeckt, dass das Orchester Abschnitte für „Traurigkeit", „Lügen", „Mathematik" und „San Francisco" hat, und wir können nun genau sehen, wann und wie sie spielen.

Dies ist ein riesiger Sprung nach vorn im Verständnis, wie KI denkt, und bewegt uns vom „Raten, was sie tut" hin zum „Sehen, worüber sie genau nachdenkt".

Technische Zusammenfassung: Skalierung der Monosemantizität auf Claude 3 Sonnet

Problemstellung

Die zentrale offene Frage, die diese Arbeit adressiert, lautet, ob Methoden des Wörterbuchlernens, insbesondere sparse Autoencoder (SAEs), von kleinen, toy-Transformern auf produktionsreife Sprachmodelle skalieren können, um interpretierbare, monosemantische Merkmale zu extrahieren. Frühere Arbeiten zeigten, dass SAEs monosemantische Merkmale aus einem einlagigen Transformer zurückgewinnen konnten, doch blieb unklar, ob diese Methoden auch für State-of-the-Art-Modelle wie Claude 3 Sonnet machbar oder effektiv bleiben würden. Eine große Sorge bestand darin, dass ingenieurtechnische Einschränkungen oder fundamentale Unterschiede in der Funktionsweise großer Modelle verhindern könnten, dass diese Methoden generalisieren, wodurch ihr praktischer Beitrag zur KI-Sicherheit und zur mechanistischen Interpretierbarkeit begrenzt würde.

Methodik

Sparse-Autoencoder-Architektur (SAE)

Die Autoren trainierten sparse Autoencoder auf den Aktivierungen des Residualstreams von Claude 3 Sonnet, spezifisch in der mittleren Schicht. Der SAE besteht aus:

Encoder: Eine lineare Transformation, gefolgt von einer ReLU-Nichtlinearität, die den Eingabe-Aktivierungsvektor $x \in \mathbb{R}^D$ auf einen höherdimensionalen Merkmalsraum der Größe $F$ abbildet.
Decoder: Eine lineare Transformation, die versucht, den ursprünglichen Aktivierungsvektor $\hat{x}$ zu rekonstruieren.

Das Modell wird trainiert, um eine Verlustfunktion $L$ zu minimieren, die Rekonstruktionsfehler (L2) und eine L1-Regularisierungsstrafe für Merkmalsaktivierungen kombiniert, um Sparsity zu fördern:
$L = \mathbb{E}_x \left[ \|x - \hat{x}\|_2^2 + \lambda \sum_i f_i(x) \cdot \|W_{\text{dec}, \cdot, i}\|_2 \right]$
wobei $f_i(x)$ die Aktivierung des Merkmals $i$ ist und die Einbeziehung der Decoder-Gewichtsnorm in den Strafterm die Interpretation von unit-normalisierten Decoder-Vektoren als Merkmalsrichtungen ermöglicht.

Skalierung und Training

Modell: Claude 3 Sonnet (die feingetunte, produktionsreife Version, veröffentlicht am 4. März 2024).
SAE-Größen: Drei SAEs wurden mit variierenden Wörterbuchgrößen trainiert: ~1 Mio., ~4 Mio. und ~34 Mio. Merkmale.
Hyperparameter-Auswahl: Die Autoren nutzten Skalierungsgesetze, um die Hyperparameter-Auswahl zu leiten. Sie behandelten das Wörterbuchlernen als Standardproblem des maschinellen Lernens, durchsuchten die Anzahl der Merkmale und Trainingsstufen, um rechenoptimierte Konfigurationen zu finden, die den Verlust minimieren. Sie beobachteten, dass der Verlust gemäß einem Potenzgesetz in Bezug auf die Rechenleistung abnimmt, und auch die optimalen Zuordnungen für Merkmale und Schritte folgen Potenzgesetzen.
Daten: Das Training erfolgte auf einem rein textbasierten Datensatz, der der Vorab-Trainingsverteilung des Modells ähnelt. Bemerkenswerterweise wurden die SAEs nicht auf „Human:/Assistant:" formatierten Daten oder Bildern trainiert, zeigten jedoch Generalisierung auf beides.

Hauptbeiträge und Ergebnisse

1. Skalierbarkeit von Sparse Autoencodern

Der primäre Beitrag ist der Nachweis, dass SAEs erfolgreich hochwertige, interpretierbare Merkmale aus einem produktionsreifen Modell extrahieren können. Der SAE mit 34 Mio. Merkmalen erklärte mindestens 65 % der Varianz in den Aktivierungen des Residualstreams des Modells, wobei durchschnittlich weniger als 300 Merkmale pro Token aktiv waren.

2. Merkmalseigenschaften

Die extrahierten Merkmale weisen mehrere robuste Eigenschaften auf:

Mehrsprachig und Multimodal: Merkmale reagieren auf dieselben Konzepte über verschiedene Sprachen hinweg und generalisieren auf Bilder, obwohl sie ausschließlich auf Text trainiert wurden.
Konkrete und abstrakte Generalisierung: Merkmale aktivieren sowohl bei konkreten Instanzen (z. B. spezifischer Code mit einem Fehler) als auch bei abstrakten Diskussionen desselben Konzepts (z. B. Diskussion von Sicherheitslücken).
Monosemantizität: Merkmale entsprechen spezifischen Konzepten, die von berühmten Entitäten (z. B. Richard Feynman, die Golden Gate Bridge) bis zu abstrakten Konzepten (z. B. Sarkasmus, Codefehler, Täuschung) reichen.

3. Interpretierbarkeit und Kausalität von Merkmalen

Die Autoren validierten die Merkmalsinterpretationen durch:

Spezifität: Automatisierte Bewertung mit Claude 3 Opus bestätigte, dass Eingaben mit hoher Aktivierung stark mit den vorgeschlagenen Merkmalsinterpretationen übereinstimmten.
Einfluss auf das Verhalten (Steering): Durch „Klemmen" (Clamping) der Merkmalsaktivierungen auf hohe oder niedrige Werte während des Vorwärtsdurchlaufs demonstrierten die Autoren eine kausale Kontrolle über die Modellausgaben. Zum Beispiel:
- Das Klemmen eines „Golden Gate Bridge"-Merkmals veranlasste das Modell, sich selbst als die Brücke zu identifizieren.
- Das Klemmen eines „Codefehler"-Merkmals veranlasste das Modell, Fehler in fehlerfreiem Code zu halluzinieren oder fehlerhaften Code korrekt zu überarbeiten.
- Das Klemmen eines „Täuschung/innerer Konflikt"-Merkmals veranlasste das Modell, Informationen preiszugeben, die es zu „vergessen" versuchte.

4. Sicherheitsrelevante Merkmale

Die Studie identifizierte Merkmale, die sicherheitskritischen Konzepten entsprechen, darunter:

Täuschung und Machtstreben: Merkmale im Zusammenhang mit Lügen, verräterischen Wendungen und sich selbst verbessernder KI.
Bias und Schmeichelei: Merkmale, die Geschlechterbias, rassistische Beleidigungen und übermäßiges Lob erkennen.
Gefährliche Inhalte: Merkmale, die bei Diskussionen über biologische Waffen, Betrugs-E-Mails und Hintertüren aktivieren.
Kausaler Einfluss: Das Steering dieser Merkmale bestätigte, dass sie das Modellverhalten kausal beeinflussen (z. B. führte das Klemmen eines „Betrugs-E-Mail"-Merkmals dazu, dass das Modell trotz Sicherheitstrainings Betrugs-E-Mails generierte).

5. Merkmalsgeometrie und Vollständigkeit

Merkmalsnachbarschaften: Merkmale sind in der Decoder-Raumgeometrie in Clustern organisiert, die semantische Beziehungen widerspiegeln (z. B. spaltet sich ein „San Francisco"-Merkmal im 1-Mio.-SAE in feiner abgestufte Merkmale im 34-Mio.-SAE auf).
Häufigkeit vs. Wörterbuchgröße: Es wurde eine systematische Beziehung zwischen der Häufigkeit eines Konzepts in den Trainingsdaten und der Wörterbuchgröße gefunden, die erforderlich ist, um ein Merkmal dafür aufzulösen. Seltene Konzepte erfordern signifikant größere Wörterbücher.
Vergleich mit Neuronen: SAE-Merkmale erwiesen sich als deutlich interpretierbarer und spezifischer als einzelne MLP-Neuronen, wobei die vast majority der Merkmale keine starke Korrelation mit einem einzelnen Neuron aufwiesen.

Bedeutung und Behauptungen

Die Arbeit behauptet, die Monosemantizität erfolgreich auf ein mittelgroßes produktionsreifes Modell skaliert zu haben und adressiert dabei die Sorge, dass Wörterbuchlernen möglicherweise nicht über kleine Transformer hinaus generalisiert. Die Autoren argumentieren, dass dies einen „Testset für Sicherheit" bietet, indem es Forschern ermöglicht, die internen Repräsentationen großer Modelle zu untersuchen.

Bescheidene Behauptungen und Einschränkungen:
Die Autoren warnen ausdrücklich davor, das bloße Vorhandensein sicherheitsrelevanter Merkmale überzubewerten. Sie stellen fest:

Existenz vs. Fähigkeit: Das Vorhandensein von Merkmalen für Täuschung oder gefährliche Inhalte impliziert nicht, dass das Modell derzeit täuschend oder gefährlich ist; es spiegelt die Exposition des Modells gegenüber solchen Konzepten während des Vorabtrainings wider.
Unvollständigkeit: Die Suite der Merkmale ist unvollständig. Die Autoren behaupten nicht, „alle" Merkmale gefunden zu haben, und weisen darauf hin, dass aktuelle Methoden Merkmale aufgrund von „Cross-Layer-Superposition" (wobei Merkmale über mehrere Schichten verschmiert sind) oder Schrumpfungsproblemen bei der L1-Regularisierung übersehen können.
Bewertung: Es gibt derzeit keine rigorose „Ground-Truth"-Methode, um zu bewerten, ob Merkmale alle Modellberechnungen treu erfassen. Die verwendete Verlustfunktion ist ein Proxy, kein endgültiges Maß für Interpretierbarkeit.
Sicherheitsnutzen: Obwohl die Merkmale plausibel nützlich für die Sicherheit sind, behauptet die Arbeit nicht, dass sie derzeit ausreichen, um Sicherheitsmechanismen einzusetzen. Die Arbeit wird als „vorläufig" beschrieben, mit dem Ziel, weitere Forschung zum Verständnis der Implikationen dieser Merkmale zu fördern.

Zusammenfassend stellt die Arbeit fest, dass sparse Autoencoder auf große Modelle skalieren können, um eine reichhaltige, interpretierbare und kausal einflussreiche Menge von Merkmalen aufzudecken, und bietet damit ein neues Werkzeug für die mechanistische Interpretierbarkeit, während sie gleichzeitig erhebliche verbleibende Herausforderungen in Bezug auf Vollständigkeit und Bewertung anerkennt.