🤖 machine learning

Sparse Autoencoders for Interpretable Out-of-Distribution Detection

Dieses Paper schlägt eine Post-hoc-Methode zur Erkennung von Out-of-Distribution-Daten vor, die Sparse Autoencoder nutzt, um interpretierbare Merkmale aus Zwischenschichten des Netzwerks zu extrahieren, wobei durch die Messung der Kosinusähnlichkeit zwischen den Aktivierungen von Testproben und den mittleren In-Distribution-Merkmalsaktivierungen eine State-of-the-Art-Leistung erzielt wird.

Ursprüngliche Autoren: Ayush Karmacharya (Purdue University), Luke Luschwitz (Purdue University), Lucia Romero (Purdue University), Yanan Niu (EPFL), Joseph Campbell (Purdue University)

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ayush Karmacharya (Purdue University), Luke Luschwitz (Purdue University), Lucia Romero (Purdue University), Yanan Niu (EPFL), Joseph Campbell (Purdue University)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Roboter trainiert, um Tiere aus einem speziellen Fotoalbum (nennen wir es das „In-Distribution“-Album) zu erkennen. Sie haben ihn gelehrt, Katzen, Hunde und Vögel zu entdecken. Aber was passiert, wenn Sie ihm das Bild eines Toasters zeigen, oder eine Katze mit einer Clownsnase? Der Roboter könnte selbstbewusst sagen: „Das ist eine Katze!“, obwohl es offensichtlich etwas anderes ist. Dies ist das Problem der Out-of-Distribution (OOD) Erkennung: herauszufinden, wann ein Roboter etwas sieht, das er nicht zu sehen bekommen hat, damit er keinen selbstbewussten Fehler macht.

Lange Zeit versuchten Wissenschaftler, dies zu lösen, indem sie nur auf die endgültige Antwort des Roboters schauten – die „Logits“ oder die endgültige Vermutung. Es ist, als würde man versuchen zu verstehen, warum ein Koch eine schlechte Suppe gemacht hat, indem man nur den allerletzten Löffel probiert. Das Paper argumentiert, dass dies ein Fehler ist. Es legt nahe, dass die wahren Hinweise mitten im Kochprozess verborgen liegen, in den „intermediären Schichten“ (Zwischenschichten), in denen der Roboter gerade schneidet, mischt und erhitzt.

Der neue Detektiv: SAID

Die Autoren führen eine neue Methode namens SAID (Sparse Autoencoders for Interpretable Detection) ein. Denken Sie an SAID als ein Team spezialisierter Detektive, die an jedem Kontrollpunkt im Gehirn des Roboters stationiert sind.

Anstatt nur auf die endgültige Vermutung zu schauen, installiert SAID ein spezielles Werkzeug namens Sparse Autoencoder (SAE) an verschiedenen Schichten des Netzwerks. Stellen Sie sich das Gehirn des Roboters als eine riesige Bibliothek von Ideen vor. Wenn der Roboter ein Bild sieht, werden bestimmte „Regale“ von Ideen aktiviert. Meistens leuchten nur wenige spezifische Regale auf. Der SAE funget als Bibliothekar, der den Lärm ignoriert und nur die Namen der wenigen Regale aufschreibt, die tatsächlich beleuchtet sind. Dies sind „sparse“ (dünnbesetzte) Merkmale – spezifische, distinkte Konzepte wie „fellige Textur“, „spitze Ohren“ oder „Flügel“.

Wie es die Fälschungen entlarvt

Hier ist der Zaubertrick:

Training: Das Team trainiert diese SAE-Detektive mit den „guten“ Fotos (dem In-Distribution-Set). Sie lernen, wie ein „durchschnittlicher“ Satz aktiver Regale für eine echte Katze, einen echten Hund usw. aussieht.
Testen: Wenn ein neues Foto eintrifft, prüfen die SAEs, welche Regale aufleuchten.
Der Score: SAID berechnet einen „Ähnlichkeitswert“, indem es die aktiven Regale des neuen Fotos mit den durchschnittlichen „guten“ Regalen vergleicht. Wenn das neue Foto Regale aktiviert, die nicht dem erwarteten Muster entsprechen (wie ein Toaster, der „flauschiges Fell“ aktiviert), sinkt der Score. Wenn der Score zu niedrig ist, markiert das System es als Out-of-Distribution.

Das Paper fand heraus, dass diese Methode unglaublich effektiv ist. Bei Tests auf Standard-Benchmarks schlug SAID sieben andere populäre Methoden. Beispielsweise erreichte es bei einem Transformer-basierten Modell (ViT) einen AUROC von 92,4 für semantische Verschiebungen (wie die Verwechslung einer Katze mit einem anderen Tier) und 83,5 für Kovariaten-Verschiebungen (wie ein Foto, das unscharf oder neblig ist). Vereinfacht gesagt, war es viel besser darin, die Fälschungen zu entdecken als die alten Methoden, die nur auf die endgültige Antwort schauten.

Warum die mittleren Schichten wichtig sind

Eine der größten Entdeckungen des Papers ist, dass die „Mitte“ des Netzwerks Geheimnisse bewahrt, die die letzte Schicht wegwirft. Die Autoren visualisierten dies mit einer Technik namens UMAP (eine Methode, komplexe Daten in ein einfaches Bild zu übertragen). Sie fanden heraus, dass in der letzten Schicht ein unscharfes Foto einer Katze und eine echte Katze fast identisch aussehen – sie überlappen sich so stark, dass man sie nicht unterscheiden kann. Aber in den früheren Schichten (wie Schicht 4 oder 7) sind die unscharfe Katze und die echte Katze deutlich in verschiedene Gruppen getrennt.

Es ist wie beim Betrachten eines Gemäldes: Aus der Ferne (der letzten Schicht) könnten ein unscharfer Fleck und ein scharfes Gesicht gleich aussehen. Aber wenn man heranzoomt (die intermediären Schichten), kann man deutlich sehen, dass der Fleck nur ein Chaos aus Pixeln ist, während das Gesicht distinkte Merkmale besitzt. SAID nutzt diese herangezoomten Ansichten, um die Fälschungen zu entlarven, die die letzte Schicht übersieht.

Das „Warum“ hinter dem „Was“

Normalerweise sind KI-Detektoren „Black Boxes“ – sie sagen „das ist falsch“, aber sie sagen nicht, warum. SAID ist anders, weil es interpretierbar ist. Da die SAEs die Dinge in spezifische Konzepte zerlegen, konnten die Autoren ein Vision-Language-Model (eine superintelligente KI, die Bilder lesen und beschreiben kann) nutzen, um diese Konzepte zu benennen.

Sie fanden heraus, dass die aktivierten Konzepte für echte Fotos Sinn ergaben (z. B. „Flügel“ für einen Vogel). Aber für gefälschte oder verschobene Fotos waren die Konzepte seltsam oder unpassend (z. B. ein Vogelfoto, das „graues Fell“ oder „Watscheln“ aktiviert). Dies deutet darauf hin, dass Distribution Shifts (wenn sich die Daten ändern) dazu führen, dass der Roboter Konzepte aktiviert, die nicht zum Bild passen. Das Paper schlägt vor, dass diese „Konzept-Übereinstimmungs-Lücke“ ein nützliches Diagnosewerkzeug ist, um zu verstehen, wie der Roboter verwirrt wird, nicht nur, dass er verwirrt ist.

Was SAID (noch) nicht tut

Es ist wichtig festzuhalten, was dieses Paper nicht behauptet. Die Autoren geben explizit an, dass ihre Methode derzeit auf Visuelle Domänen (Bilder) beschränkt ist. Sie haben sie nicht für Text oder Ton getestet. Außerdem arbeitet die Methode zwar gut, bringt aber auch Kosten mit sich: Das Training eines separaten SAE für jede Schicht ist rechenintensiv und erfordert viel Zeit und Energie. Das Paper deutet an, dass dies eine Barriere für sehr große Modelle oder Geräte mit begrenzter Hardware sein könnte.

Darüber hinaus verwendet das Paper eine feste Anzahl aktiver Merkmale (eine „Top-k“-Beschränkung). Die Autoren räumen ein, dass dies etwas starr sein mag; manche Bilder benötigen vielleicht nur wenige Konzepte zur Beschreibung, während andere viele benötigen. Sie schlagen vor, dass ein flexibleres System potenziell noch besser abschneiden könnte, aber für den Moment ist der feste Ansatz das, was sie getestet haben.

Das Fazische Fazit

SAID legt nahe, dass man, um einen Roboter bei einem Fehler zu ertappen, nicht nur auf seine endgültige Antwort hören sollte. Man muss dem ganzen Gespräch zuhören, das in seinem Gehirn stattfindet. Indem man spezialisierte, konzeptbasierte Detektive in jeder Phase des Prozesses einsetzt, können wir erkennen, wenn der Roboter etwas sieht, das er nicht versteht, und wir können sogar genau sehen, an welchem Teil seiner Logik er aus der Bahn gerät. Es ist ein Schritt hin zu sichererer und transparenterer KI, der uns nicht nur zeigt, dass sie verwirrt ist, sondern auch warum.

Technisches Resümee: Sparse Autoencoder für interpretierbare Out-of-Distribution-Detektion

Problemstellung

Maschinelle Lernmodelle, insbesondere tiefe neuronale Netze (DNNs), operieren unter der Annahme, dass die Testdaten dieselbe Verteilung aufweisen wie die Trainingsdaten. Wenn diese Annahme verletzt wird (Out-of-Distribution oder OOD), liefern Modelle oft übermäßig konfidente, aber falsche Vorhersagen. Bestehende Methoden zur OOD-Detektion leiden unter zwei primären Einschränkungen:

Abhängigkeit von den finalen Schichten: Die meisten Methoden nutzen nur die Repräsentationen der finalen Schichten (z. B. Logits oder Embeddings) und vernachlässigen dabei die reichhaltigen, hierarchischen Informationen, die in den intermediären Schichten des Netzwerks vorhanden sind. Wie in der Arbeit dargelegt, treten die diskriminativen Strukturen, die ID von OOD-Inputs unterscheiden, oft in früheren Schichten auf, werden jedoch in den finalen Repräsentationen verschleiert oder komprimiert.
Mangelnde Interpretierbarkeit: Selbst wenn Detektionsscores effektiv sind, bieten sie in der Regel wenig Einblick darin, warum eine Probe OOD ist oder welche internen Repräsentationen ID von OOD unterscheiden. Dies erschwert die Diagnose, ob Distributionsverschiebungen (Distribution Shifts) auf niedrigschwellige visuelle Korruptionen oder hochgradige semantische Diskrepanzen zurückzuführen sind.

Methodik: SAID

Die Autoren schlagen Sparse Autoencoders for Interpretable Detection (SAID) vor, ein Post-hoc-OOD-Detektionsframework, das Sparse Autoencoder (SAEs) nutzt, die auf den intermediären Aktivierungen eines eingefrorenen, vortrainierten Vision-Modells trainiert wurden.

1. SAE-Training auf intermediären Schichten

SAID trainiert separate SAEs auf den intermediären Feature-Aktivierungen ( $a = f_l(x)$ ) ausgewählter Schichten $l$ eines eingefrorenen Backbone-Modells (z. B. ViT oder ResNet).

Architektur: Die Autoren verwenden Top-k SAEs, die Sparsität erzwingen, indem sie alle latenten Dimensionen explizit auf Null setzen, außer den Top- $k$ aktivsten Dimensionen. Dies vermeidet die Notwendigkeit eines L1-Sparsitäts-Penalty in der Verlustfunktion.
Zielsetzung: Die SAEs werden trainiert, um den mittleren quadratischen Fehler (Mean Squared Error, MSE) zwischen der Input-Aktivierung und der rekonstruierten Aktivierung zu minimieren ( $D(E(a)) \approx a$ ).
Interpretierbarkeit: Die Sparsitätsbeschränkung fördert die Erlernung von Features, die „monosemantisch“ sind, wobei jedes aktive Feature einem distinkten, menschlich interpretierbaren Konzept entspricht.

2. Ähnlichkeitsbasierte OOD-Scoring-Verfahren

Zur Inferenzzeit vergleicht SAID die sparse Kodierung einer Testprobe mit der gelernten Verteilung der In-Distribution (ID)-Klassen:

Prototypen-Konstruktion: Für jede ID-Klasse $c$ und jede Schicht $l$ wird die mittlere latente Kodierung $\mu_{c,l}$ aus dem Trainingssatz berechnet und gespeichert.
Kodierung: Für einen Test-Input $x$ sagt der vortrainierte Klassifikator eine Klasse $\hat{c}$ voraus. Der SAE für jede Schicht $l$ kodiert die intermediäre Aktivierung von $x$ in einen sparsamen Vektor $z_l$ .
Scoring: Ein schichtspezifischer OOD-Score $s_l(x)$ wird als Cosinus-Ähnlichkeit zwischen $z_l$ und der mittleren Kodierung der vorhergesagten Klasse $\mu_{\hat{c},l}$ berechnet.
Aggregation: Der finale OOD-Score $S(x)$ ist der Durchschnitt der Cosinus-Ähnlichkeiten über alle ausgewählten Schichten hinweg.
Entscheidung: Proben mit $S(x) \geq \tau$ werden als ID klassifiziert; andernfalls als OOD.

3. Konzept-Annotation via VLM

Um Interpretierbarkeit zu gewährleisten, setzen die Autoren ein Vision-Language-Modell (VLM, spezifisch GPT-5.5) ein, um die SAE-latenten Features zu annotieren.

Für jedes latente Feature werden die Top-25 ID-Bilder abgerufen, die es am stärksten aktivieren.
Diese Bilder werden an das VLM übergeben, zusammen mit einem Prompt, um die gemeinsamen visuellen Muster zu beschreiben, wodurch ein menschlich lesbares Konzept-Label generiert wird (z. B. „Graues Fell“, „Flügel“).
Dies ermöglicht die Analyse, ob ID- und OOD-Inputs semantisch konsistente Konzepte aktivieren.

Zentrale Beiträge

Neuartiges Detektionsframework: Einführung von SAID, einer Post-hoc-Methode, die SAE-Kodierungen intermediärer Schichten nutzt, um die OOD-Detektionsleistung zu verbessern.
Demonstration des Nutzens intermediärer Schichten: Empirische Evidenz zeigt, dass intermediäre Schichten diskriminative Informationen enthalten, die in finalen Schichten-Repräsentationen oft verloren gehen, was zu einer verbesserten Detektion sowohl bei semantischen als als auch bei Kovariaten-Shifts führt.
Interpretierbarkeit und Diagnose: Die Verwendung von SAE-abgeleiteten Konzept-Labels als diagnostisches Werkzeug. Die Autoren zeigen, dass ID-Inputs Konzepte aktivieren, die semantisch konsistent mit dem Bild sind, während OOD-Inputs inkonsistente oder unpassende Konzepte aktivieren, was eine schichtweise Sicht auf Distributionsverschiebungen ermöglicht.

Experimentelle Ergebnisse

Die Methode wurde auf ImageNet-1K (ID) gegenüber verschiedenen OOD-Datensätzen (SSB-Hard, NINCO, ImageNet-C, ImageNet-R, etc.) unter Verwendung von ViT-B/16 und ResNet-50 Backbones evaluiert.

Performance: SAID erreicht eine State-of-the-Art (SOTA) Performance im Durchschnitt über sowohl semantische als auch Kovariaten-Shift-Benchmarks hinweg.
- Auf dem ViT-Backbone erreichte SAID die beste durchschnittliche AUROC für beide Shift-Typen (z. B. 92,4 % AUROC bei semantischem Shift, 83,5 % bei Kovariaten-Shift) und übertraf damit Baselines wie VIM, RMDS und KNN.
- Auf ResNet-50 erreichte SAID ebenfalls die höchste durchschnittliche AUROC, wenngleich der Abstand zu bestehenden Methoden geringer war.
Auswirkung der intermediären Schichten: Ablationsstudien bestätigten, dass das Hinzufügen von intermediären Schichten mittels SAE die AUROC im Vergleich zur Nutzung nur der finalen Schicht konsistent verbessert. Die informativste Schicht variiert je nach Datensatz (z. B. frühere Schichten für Textur-/Kovariaten-Shifts, spätere Schichten für semantische Shifts), was die Aggregationsstrategie rechtfertigt.
Konzept-Analyse: Eine quantitative Analyse zeigte, dass ID-Proben eine höhere „Konzept-Übereinstimmung“ (Anteil der aktivierten Konzepte, die semantisch konsistent mit dem Bild sind) aufweisen als OOD-Proben. Diese Differenz ist in späteren Schichten besonders ausgeprägt, was darauf hindeutet, dass Distributionsverschiebungen in hochgradigen Konzept-Repräsentationen sehr deutlich sichtbar sind.

Bedeutung und Limitationen

Bedeutung:
Die Arbeit argumentiert, dass SAID einen dualen Nutzen bietet: Es verbessert die Detektionsgenauigkeit durch die Nutzung von Informationen, die über die gesamte Netzwerkhierarchie verteilt sind, und bietet einen Mechanismus, um zu interpretieren, wie Distributionsverschiebungen die gelernten Repräsentationen beeinflussen. Durch den Übergang von „Black Box“-Logits zu sparsamen, konzeptbasierten Features ermöglicht SAID Praktikern zu diagnostizieren, ob ein Modell aufgrund von niedrigschwelliger Korruption oder hochgradigen semantischen Diskrepanzen versagt.

Limitationen:
Die Autoren räumen mehrere Einschränkungen ein:

Domänen-Umfang: Die Evaluierung beschränkt sich derzeit auf den Bereich Computer Vision.
Feste Sparsität: Die Verwendung einer festen $k$ -Sparsität setzt voraus, dass eine konstante Anzahl aktiver Features pro Input vorhanden ist, was sich möglicherweise nicht an die unterschiedliche Komplexität verschiedener Datenpunkte anpasst.
Rechenaufwand: Das Training hochkapazitiver SAEs für mehrere intermediäre Schichten ist ressourcenintensiv, was die Anwendbarkeit auf extrem große Modelle oder ressourcenbeschränkte Umgebungen einschränken könnte.