⚡ electrical engineering

Mechanistic Interpretability with Sparse Autoencoder Neural Operators

Dieser Beitrag stellt Sparse Autoencoder Neural Operators (SAE-NOs) vor, ein neuartiges Framework, das traditionelle Sparse Autoencoder erweitert, indem es Konzepte als strukturierte Funktionen statt als skalare Aktivierungen parametrisiert, wodurch die Modellierung des Konzeptausdrucks über Eingabedomänen hinweg ermöglicht, eine überlegene Generalisierung über Auflösungen hinweg erreicht und die Optimierung durch eine neuartige Liftungstechnik beschleunigt wird.

Ursprüngliche Autoren: Bahareh Tolooshams, Ailsa Shen, Anima Anandkumar

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bahareh Tolooshams, Ailsa Shen, Anima Anandkumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine komplexe Maschine funktioniert, indem Sie ihre inneren Zahnräder betrachten. In der Welt der Künstlichen Intelligenz (KI), speziell im Bereich der „mechanistischen Interpretierbarkeit", verwenden Forscher Werkzeuge namens Sparse Autoencoder (SAEs), um diese Zahnräder zu finden, die sie als „Konzepte" bezeichnen.

Traditionell waren diese Werkzeuge eher wie eine einfache Checkliste. Wenn ein Konzept vorhanden ist, weisen sie ihm eine einzelne Zahl (einen „Skalar") zu, um anzugeben, wie stark es ist. Zum Beispiel: „Das Konzept ‚Katze' ist mit einer Stärke von 0,8 aktiv."

Diese Arbeit stellt ein neues, leistungsfähigeres Werkzeug namens SAE-NOs (Sparse Autoencoder Neural Operators) vor, und zwar speziell eine Version namens SAE-FNOs. Hier ist die einfache Aufschlüsselung dessen, was sie taten und warum es wichtig ist, unter Verwendung alltäglicher Analogien.

1. Der alte Weg: Der „Ein/Aus"-Schalter vs. die „Karte"

Das Problem:
Stellen Sie sich einen Standard-SAE (SAE-MLP) wie einen Lichtschalter für einen Raum vor. Er kann Ihnen sagen, ob das Licht an oder aus ist, und vielleicht, wie hell es ist. Aber er kann Ihnen nicht sagen, wo im Raum das Licht scheint oder wie es sich bewegt. Wenn Sie ein Bild einer Katze haben, die durch einen Raum läuft, könnte das alte System sagen: „Okay, ‚Katze' ist an", aber dann muss es diesen Schalter ausschalten und einen anderen „Katzen"-Schalter einschalten, wenn die Katze zur nächsten Position wandert. Es behandelt jede Position als völlig neue Sache.

Die neue Lösung:
Der neue SAE-FNO ist wie eine dynamische Karte oder ein Scheinwerfer. Anstatt nur einen Schalter zu haben, beschreibt er das Konzept als eine Funktion, die sich bewegen und ihre Form ändern kann. Er kann sagen: „Das Konzept ‚Katze' ist aktiv, und hier ist genau, wo es im Bild ist und wie es geformt ist."

Analogie: Stellen Sie sich vor, Sie beschreiben ein Lied.
- Alter Weg: Sie sagen einfach: „Das Lied läuft."
- Neuer Weg: Sie beschreiben die Melodie, den Rhythmus und wie sich die Noten im Laufe der Zeit bewegen. Sie erfassen die Struktur des Liedes, nicht nur seine Existenz.

2. Zwei Arten von „Sparsity" (Selektivität)

Die Arbeit stellt einen cleveren Weg vor, auf zwei verschiedene Arten gleichzeitig selektiv zu sein:

Konzept-Sparsity (Das „Wer"): Dies entscheidet, welche Konzepte aktiv sind. (Beispiel: „Nur die Konzepte ‚Katze' und ‚Baum' sind an; schalten Sie das Konzept ‚Auto' aus.")
Domänen-Sparsity (Das „Wo"): Dies entscheidet, wo diese aktiven Konzepte erscheinen. (Beispiel: „Das Konzept ‚Katze' ist nur in der oberen linken Ecke des Bildes aktiv, nicht im gesamten Bild.")

Die Magie: Durch die Kombination dieser beiden kann das System dasselbe „Katzen"-Konzept immer wieder verwenden, indem es es einfach an verschiedene Stellen auf der Karte verschiebt. Das alte System musste für jeden neuen Ort ein neues „Katzen"-Konzept erfinden. Dies macht das neue System viel effizienter, wie die Verwendung eines wiederverwendbaren Aufklebers, den man herum bewegt, anstatt für jeden einzelnen Ort einen neuen Aufkleber zu drucken.

3. Das „Fourier"-Geheimnis

Um dies zu ermöglichen, verwendeten die Forscher etwas namens Fourier Neural Operators.

Die Metapher: Stellen Sie sich vor, Sie versuchen, eine komplexe Welle im Ozean zu beschreiben. Sie könnten versuchen, jeden einzelnen Wassertropfen zu beschreiben (was schwierig und chaotisch ist). Oder Sie könnten die Welle durch ihre Frequenz und Form beschreiben (wie eine glatte, rollende Kurve).
Der Vorteil: Das neue System beschreibt Konzepte als glatte Wellen (Funktionen) anstatt als gezackte Pixel. Dies ermöglicht es ihm, Muster, die glatt oder strukturiert sind, wie Kanten in einem Foto oder Wellen in einem Klang, viel besser zu verstehen als der alte „Pixel-für-Pixel"-Ansatz.

4. Entdeckte Haupt-Superkräfte

Die Arbeit testete dieses neue System an Bildern (wie MNIST-Ziffern und CIFAR-Fotos) und fand mehrere coole Dinge heraus:

Stabilität: Wenn Sie ändern, wie „streng" das System bezüglich der Selektivität (Sparsity) ist, werden die Konzepte des alten Systems chaotisch und ändern sich vollständig. Das neue System behält seine Konzepte stabil und konsistent, unabhängig von den Einstellungen.
Sich bewegende Objekte: Wenn sich eine Ziffer (wie eine „3") über einen Bildschirm bewegt, wechselt das alte System zwischen Dutzenden verschiedener „Konzept-IDs", um sie zu verfolgen. Das neue System behält dieselbe Konzept-ID bei und verschiebt lediglich ihre Position auf der Karte. Es versteht, dass es sich um dasselbe Objekt handelt, das sich bewegt, nicht um eine Reihe verschiedener Objekte.
Hinein- und Hinauszoomen (Generalisierung): Das ist eine große Sache. Wenn Sie das alte System auf kleinen Bildern (28x28 Pixel) trainieren, bricht es zusammen, wenn Sie ihm ein größeres Bild (56x56) zeigen. Es ist, als würde man lernen, auf einem kleinen Parkplatz zu fahren und dann auf einer Autobahn zu scheitern. Das neue System kann, weil es „Funktionen" (Regeln) und nicht feste Gitter lernt, größere Bilder oder verschiedene Auflösungen bewältigen, die es noch nie gesehen hat. Es generalisiert wie ein Mensch, der das Konzept eines Autos versteht, nicht nur die spezifischen Pixel eines bestimmten Autos.
Lifting (Der Preconditioner): Die Arbeit fügte auch einen Schritt namens „Lifting" hinzu, der die Daten vorübergehend in einen höherdimensionalen Raum hebt, um das Lernen zu erleichtern, und sie dann wieder herabbringt. Sie bewiesen mathematisch, dass dies wie ein Preconditioner wirkt (ein Werkzeug, das eine holprige Straße glättet) und dem KI-Modell hilft, schneller und genauer zu lernen.

Zusammenfassung

Kurz gesagt sagt diese Arbeit: „Hören Sie auf, KI-Konzepte wie statische Lichtschalter zu behandeln. Beginnen Sie, sie wie sich bewegende, formverändernde Funktionen zu behandeln."

Durch den Übergang von einfachen Zahlen zu komplexen Funktionen (unter Verwendung von Fourier-Mathematik) kann das neue System:

Lernen, wo und wie Konzepte erscheinen, nicht nur ob sie erscheinen.
Konzepte effizient wiederverwenden (Speicher und Rechenleistung sparen).
Stabil bleiben, selbst wenn Sie die Regeln ändern.
Bilder unterschiedlicher Größe bewältigen, ohne zusammenzubrechen.

Die Autoren behaupten, dies sei ein fundamentaler Wandel in der Art und Weise, wie wir Werkzeuge zum Verständnis von KI entwickeln, weg von starrem, festem Gitter-Denken hin zu flexiblem, funktionalem Denken.

Technische Zusammenfassung: Sparse Autoencoder Neural Operators (SAE-NOs)

1. Problemstellung

Standard-Sparse-Autoencoder (SAEs) haben sich zu einem primären Werkzeug für die mechanistische Interpretierbarkeit entwickelt, mit dem Ziel, latente Konzepte in neuronalen Netzen aufzudecken, indem Sparsity auf Aktivierungen erzwungen wird. Die bestehenden Formulierungen (bezeichnet als SAE-MLPs) beruhen jedoch auf der Hypothese der linearen Darstellung (Linear Representation Hypothesis, LRH), die Daten als sparse lineare Kombinationen skalar aktivierter Konzepte modelliert. Dieser Ansatz bringt drei kritische Einschränkungen mit sich:

Skalare Aktivierungen: Konzepte werden durch einen einzelnen skalaren Wert repräsentiert, der lediglich das Vorhandensein und die Stärke kodiert, aber versagt, wie oder wo ein Konzept über das Eingabedomain ausgedrückt wird.
Feste Diskretisierung: Konzepte werden als Vektoren im selben euklidischen Raum wie die Eingabe parametrisiert, was die Darstellung an eine spezifische Auflösung oder ein Gitter bindet. Dies verhindert eine Verallgemeinerung auf verschiedene Diskretisierungen oder Auflösungen.
Induktive Verzerrung: Für räumlich strukturierte Daten (z. B. Bilder, physikalische Felder) zwingen Standard-SAEs Konzepte in global einheitliche Beiträge, was ihre Fähigkeit einschränkt, lokalisierte oder domänenabhängige Strukturen darzustellen. Zwar führen Faltungs-SAEs (SAE-CNNs) Lokalität ein, bleiben jedoch an feste rezeptive Felder und Auflösungen gebunden.

Die Arbeit argumentiert, dass ein Übergang von vektorwertigen zu funktionalen Parametrisierungen notwendig ist, um strukturierte Konzeptausdrücke zu modellieren, insbesondere für Daten, die räumliche oder zeitliche Strukturen über Skalen hinweg aufweisen.

2. Methodik: SAE-NOs und SAE-FNOs

Die Autoren stellen Sparse Autoencoder Neural Operators (SAE-NOs) vor, ein Framework, in dem Konzepte als Funktionen und nicht als Vektoren parametrisiert werden. Dies wird spezifisch als Sparse Autoencoder Fourier Neural Operators (SAE-FNOs) implementiert.

Hypothese der funktionalen Darstellung (Functional Representation Hypothesis, FRH)

Die Autoren formalisieren die Hypothese der funktionalen Darstellung (FRH) und gehen davon aus, dass Daten $x$ in einem Funktionenraum $\mathcal{X}$ durch eine sparse Darstellung $z$ in einem Funktionenraum $\mathcal{Z}$ über einen linearen Operator $G_{D^*}$ erklärt werden können:
$x = G_{D^*}(z)$
Im Gegensatz zu Standard-SAEs, bei denen $z$ ein Vektor von Skalaren ist, ist hier $z$ eine Stichprobe aus einem Funktionenraum, und das „Wörterbuch" $D$ ist ein Operator.

Mechanismus der gemeinsamen Sparsity

SAE-FNOs führen eine dual-sparsity-Struktur ein, um nicht nur zu kodieren, welche Konzepte aktiv sind, sondern auch wie und wo:

Konzept-Sparsity (Gruppen-Sparsity): Wählt eine kleine Teilmenge aktiver Konzepte (Gruppen) aus.
Domänen-Sparsity (Intra-Gruppen-Sparsity): Beschränkt das Aktivierungsmuster innerhalb der Feature-Map jedes aktiven Konzepts. Dies bestimmt die räumliche Position des Konzeptausdrucks.

Mathematisch ist für ein Konzept $c$ die Aktivierung eine Feature-Map $v_c$ . Die Konzept-Sparsity wählt $c$ basierend auf der $\ell_2$ -Norm von $v_c$ aus, während die Domänen-Sparsity eine elementweise Sparsity innerhalb von $v_c$ anwendet.

Fourier-Parametrisierung

SAE-FNOs parametrisieren die Konzepte als Integraloperatoren im Fourier-Bereich. Der Decoder rekonstruiert die Eingabe als:
$\hat{x} = \mathcal{F}^{-1} \left( \sum_{c=1}^p W_c \cdot (\mathcal{F} z_c) \right)$
wobei $W_c$ lernbare Fourier-Koeffizienten (Kerne) und $z_c$ die sparsen Feature-Maps sind. Diese Formulierung induziert eine induktive Verzerrung hin zu sparsen Faltungsrepräsentationen.

Lifting

Das Framework integriert Lifting, einen linearen Operator $L$ , der Eingaben vor dem Konzeptlernen in einen höherdimensionalen Raum abbildet, gefolgt von einer Projektion $P$ zurück in den ursprünglichen Raum. Theoretisch zeigen die Autoren, dass Lifting als Vorkonditionierer wirkt, der Update-Richtungen neu skaliert, um die Optimierung zu beschleunigen und die Wiederherstellung des Wörterbuchs zu verbessern.

3. Hauptbeiträge

SAE-NO-Framework: Einführung einer neuen Klasse von Sparse Autoencodern, die in Funktionenräumen operieren und auflösungsinvariante Repräsentationen ermöglichen.
Funktionale Sparse Coding: Ersetzung skalarer Aktivierungen durch Feature-Map-Repräsentationen, wodurch die Konzeptausdrucksstärke (gesteuert durch Konzept-Sparsity) von der strukturellen Lokalität (gesteuert durch Domänen-Sparsity) entkoppelt wird.
Theoretische Charakterisierung:
- Beweis, dass Lifting als Vorkonditionierer wirkt und die Konvergenz beschleunigt.
- Demonstration, dass unter spezifischen Bedingungen (orthogonales Lifting, gekoppelte Projektion) geliftete SAE-NOs auf Standard-SAE-NOs reduziert werden, was architektonische Äquivalenz sicherstellt.
- Charakterisierung der Trainingsdynamik, die zeigt, dass SAE-FNOs Konzepte unter einem sparsen Faltungs-Generativmodell wiederherstellen.
Emergente zeitliche Konsistenz: Demonstration, dass SAE-FNOs Konzepte über translatierte Muster hinweg (z. B. bewegte Ziffern) natürlich wiederverwenden, indem sie räumliche Aktivierungen verschieben, ohne explizite zeitliche Beschränkungen, Sequenz-Level-Training oder zeitliches Gedächtnis zu benötigen.

4. Experimentelle Ergebnisse

Die Autoren bewerten SAE-FNOs gegenüber SAE-MLPs und SAE-CNNs auf synthetischen Daten, MNIST, CIFAR-10 und ImageNet.

Wiederherstellung von Konzepten: Auf synthetischen Daten mit bekannten Ground-Truth-Faltungswörterbüchern stellen SAE-FNOs die zugrunde liegenden Konzepte erfolgreich wieder her und übertreffen dabei SAE-CNNs, insbesondere bei großen Initialisierungsfehlern.
Stabilität über Sparsity hinweg: SAE-FNOs lernen Konzepte, deren strukturelle Merkmale (gemessen durch den Hoyer-Score) stabil bleiben, wenn sich die Sparsity-Level ( $k$ ) ändern. Im Gegensatz dazu ändern sich SAE-MLP-Konzepte drastisch und verlieren ihre Struktur, wenn $k$ zunimmt.
Effizienz und Ausdrucksstärke: SAE-FNOs erreichen eine höhere Rekonstruktionsgenauigkeit ( $R^2$ ) mit weniger aktiven Konzepten. Sie zeigen einen schärferen Abfall in der Konzeptnutzung, was auf eine effizientere Wiederverwendung strukturierter Konzepte im Vergleich zur flacheren Verteilung von SAE-MLPs hindeutet.
Verallgemeinerung über Diskretisierung hinweg: SAE-FNOs, die bei einer bestimmten Auflösung (z. B. 28x28) trainiert wurden, verallgemeinern auf höhere Auflösungen (z. B. 56x56, 112x112) mit minimaler Fehlerzunahme. Standard-SAEs versagen bei der Verallgemeinerung über ihre Trainingsdiskretisierung hinaus und zeigen starke Anstiege des Rekonstruktionsfehlers.
Robustheit: SAE-FNOs zeigen eine größere Stabilität unter hochfrequenten Rauschstörungen und spektralen Verschiebungen im Vergleich zu SAE-MLPs.
Korrelierte Konzepte: Im Gegensatz zu SAE-MLPs, die zu orthogonalen Merkmalen neigen, lernen SAE-FNOs ein breiteres Spektrum korrelierter Konzepte, da die funktionale Parametrisierung es Konzepten erlaubt, sich darin zu unterscheiden, wo sie ausgedrückt werden, was Interferenzen reduziert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Übergang von vektorwertigen zu funktionalen Parametrisierungen die Fähigkeiten von Sparse Autoencodern grundlegend erweitert. Indem sie über das bloße „Vorhandensein" eines Konzepts hinausgehen und „strukturierte Konzeptausdrücke" modellieren, bieten SAE-FNOs:

Auflösungsinvarianz: Die Fähigkeit, mit Daten in Auflösungen zu operieren, die während des Trainings nicht gesehen wurden.
Strukturelle Stabilität: Konzepte, die über verschiedene Sparsity-Level und Domänengrößen hinweg konsistent bleiben.
Effiziente Repräsentation: Ein Mechanismus, um Datenpopulationen mit weniger effektiven Konzepten darzustellen, indem diese über räumliche Domänen hinweg wiederverwendet werden.

Die Autoren positionieren SAE-NOs als allgemeines funktionales Framework und nicht als spezifische Architektur und weisen darauf hin, dass die FNO-Parametrisierung orthogonal zum Sparsifizierungsmechanismus ist. Sie schließen, dass die funktionale Parametrisierung zentral für das Lernen von Repräsentationen für strukturierte Domänen ist, und unterstreichen die Bedeutung der Art und Weise, wie Konzepte in der mechanistischen Interpretierbarkeit parametrisiert werden.

Anerkannte Einschränkungen:
Die Arbeit weist darauf hin, dass SAE-FNOs aufgrund von Fourier-Operationen und Feature-Map-Repräsentationen höhere Rechen- und Speicherkosten verursachen. Zusätzlich kann die spektrale Verzerrung hin zu glatten, niederfrequenten Mustern weniger geeignet für stark unregelmäßige, diskontinuierliche oder tabellarische Daten sein, bei denen vektorbasierte SAEs möglicherweise vorzuziehen bleiben. Die empirische Studie konzentriert sich auf Vision-Datensätze, wobei Anwendungen auf neuronale Operator-Foundation-Modelle und Scientific Machine Learning als zukünftige Richtungen offen bleiben.