🤖 AI

Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations

Dieses Paper führt ein auf menschlichen Erkenntnissen basierendes Evaluierungsframework ein, das den Fully-Binary Matching Pursuit (FBMP)-Algorithmus und den Targeted Attribute Perturbation Alignment Score (TAPAScore) zusammen mit synthetischen Benchmarks (synCUB und synCOCO) umfasst, um die semantische Ausrichtung und Interpretierbarkeit von Sparse Autoencodern rigoros zu quantifizieren und aufzuzeigen, dass moderate Wörterbuchgrößen den optimalen Kompromiss für die Konzeptextraktion bieten.

Ursprüngliche Autoren: Jonas Klotz, Cassio F. Dantas, Pallavi Jain, Diego Marcos, Begüm Demir

Veröffentlicht 2026-06-24

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jonas Klotz, Cassio F. Dantas, Pallavi Jain, Diego Marcos, Begüm Demir

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Den Versuch zu unternehmen, eine „Black Box“ zu lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Roboter (ein Vision-Modell), der ein Foto betrachten und Ihnen sagen kann, was darauf zu sehen ist. Aber im Gehirn des Roboters sind die Informationen nicht in ordentlichen, beschrifteten Ordnern wie „Hund“, „Baum“ oder „Blauer Himmel“ gespeichert. Stattdessen sind sie als eine massive, chaotische Wolke aus Zahlen gespeichert.

Um zu verstehen, wie der Roboter denkt, verwenden Wissenschaftler ein Werkzeug namens Sparse Autoencoder (SAE). Betrachten Sie den SAE als einen Übersetzer oder einen Dekodierring. Seine Aufgabe ist es, diese chaotische Zahlenwolke zu nehmen und sie in einfache, für Menschen lesbare „Konzepte“ zu zerlegen.

Anstatt einer unordentlichen Mischung aus Zahlen könnte der SAE zum Beispiel sagen: „Ah, diese spezifische Zahl ist aktiv, wenn eine ‚gestreifte Bauchseite‘ vorhanden ist, und diese andere Zahl ist aktiv, wenn eine ‚einfarbige Bauchseite‘ vorhanden ist.“

Das Problem: Lügt der Übersetzer?

Das Problem ist, dass wir nicht immer wissen, ob der Übersetter gute Arbeit leistet.

Das Problem der „Merkmalsaufspaltung“ (Feature Splitting): Stellen Sie sich vor, das Konzept „gestreifte Bauchseite“ ist so komplex, dass der Übersetzer es in drei verschiedene Zahlen aufteilt. Eine Zahl bedeutet „Streifen“, eine andere „Bauch“ und eine dritte „braun“. Wenn man sich nur eine dieser Zahlen ansieht, denkt man, sie bedeute gar nichts. Das Konzept ist fragmentiert.
Das Problem der „Merkmalsabsorption“ (Feature Absorption): Stellen Sie sich vor, der Übersetzer hat eine Zahl für „Vogel“, aber er ist so beschäftigt, dass er spezifische Details wie „rote Flügel“ ignoriert, weil er denkt, dass die „Vogel“-Zahl alles abdeckt.
Das Problem der „Merkmalszusammensetzung“ (Feature Composition): Manchmal werden zwei verschiedene Dinge (wie „gelber Kopf“ und „gelber Schnabel“) in eine einzige Zahl hineingequetscht, was es schwierig macht, sie voneinander zu unterscheiden.

Bis jetzt haben Wissenschaftler meistens geraten, ob diese Übersetzer gut arbeiten, indem sie prüften, wie gut sie das ursprüngliche Bild rekonstruieren konnten (so als würde man prüfen, ob ein Puzzle korrekt wieder zusammengesetzt wurde). Aber ein Puzzle kann perfekt aussehen, selbst wenn die Teile in der falschen Reihenfolge sind. Wir brauchten einen Weg, um zu prüfen, ob die Bedeutung tatsächlich richtig war.

Die Lösung: Ein neuer „Wahrheitstest“

Die Autoren entwickelten ein neues Framework, um diese Übersetzer anhand von drei Hauptschritten zu testen:

1. Das „Match-Up“-Spiel (Latent-Konzept-Matching)

Zuerst verglichen sie die Ausgabe des Übersetzers mit einer Liste von menschlich annotierten Fakten (z. B. „Dieser Vogel hat eine einfarbige Bauchseite“).

Der alte Weg: Sie versuchten, einen menschlichen Fakt mit genau einer Roboter-Zahl abzugleichen.
Der neue Weg (FBMP): Sie erkannten, dass manchmal ein einziger menschlicher Fakt mehrere Roboter-Zahlen benötigt, um erklärt zu werden. Sie erfanden eine Methode namens Fully-Binary Matching Pursuit (FBMP).
- Analogie: Stellen Sie sich vor, Sie versuchen, ein „rotes Auto“ zu beschreiben. Der alte Weg versuchte, ein einziges magisches Wort zu finden, das „rotes Auto“ bedeutet. Der neue Weg sagt: „Okay, lassen Sie uns die Wörter ‚rot‘ UND das Wort ‚Auto‘ zusammen verwenden.“ Dies ermöglicht es dem System, komplexe Ideen zu handhaben, die über mehrere Zahlen verteilt sind.

2. Die „Magische Editier“-Benchmarks (Synthetische Datensätze)

Um den Übersetzer wirklich zu testen, muss man das Bild verändern und sehen, ob sich das Gehirn des Roboters auf die richtige Weise verändert. Aber in der realen Welt könnte man, wenn man das Bauchmuster eines Vogels ändert, versehentlich auch seine Pose oder den Hintergrund verändern.

Die Lösung: Die Autoren erstellten zwei künstliche (synthetische) Datensätze:
- synCUB: Eine Sammlung von Vogelbildern, bei denen sie mithilfe von KI nur eine einzige Sache geändert haben (z. B. eine „einfarbige“ Bauchseite in eine „gepunktete“ Bauchseite verwandelt), während alles andere exakt gleich blieb.
- synCOCO: Eine Sammlung von belebten Straßenszenen, in denen sie mithilfe von KI ein Objekt (wie ein Auto) entfernt haben, ohne den Rest der Szene zu beeinflussen.
- Analogie: Es ist wie ein magisches Bearbeitungswerkzeug, mit dem man das Hemd einer Person austauschen kann, ohne Gesicht, Haare oder den Hintergrund zu verändern. Dies ermöglicht es Wissenschaftlern, genau zu isolieren, worauf der Roboter reagiert.

3. Der „Richtungscheck“ (TAPAScore)

Nur weil eine Roboter-Zahl aufleuchtet, wenn eine „gestreifte Bauchseite“ vorhanden ist, bedeutet das nicht, dass sie das Konzept auch verursacht. Es könnte auch nur ein Zufall sein.

Der Test: Sie nehmen ein Bild, bearbeiten es, um ein Merkmal hinzuzufügen (wie eine gepunktete Bauchseite), und sehen, ob die spezifische Roboter-Zahl für „gepunktet“ steigt. Dann bearbeiten sie ein Bild, um dieses Merkmal zu entfernen, und sehen, ob die Zahl sinkt.
Der Score: Sie nennen dies TAPAScore. Wenn die Zahl steigt, wenn das Merkmal erscheint, und sinkt, wenn es verschwindet, ist der Übersetzer vertrauenswürdig. Wenn die Zahl gleich bleibt oder in die falsche Richtung geht, ist der Übersetzer verwirrt.

Wichtige Erkenntnisse: Weniger ist mehr

Das Paper testete diese Werkzeuge auf verschiedenen Arten von Übersetzern mit unterschiedlichen „Wörterbuchgrößen“ (wie viele Zahlen sie verwenden dürfen).

Größer ist nicht immer besser: Sie fanden heraus, dass es den Übersetzer tatsächlich schlechter bei der Interpretierbarkeit machte, ihm ein riesiges Wörterbuch (tausende von Zahlen) zu geben. Er begann, „Geisterkonzepte“ zu erstellen, die nicht mit der Realität übereinstimmten.
Der „Sweet Spot“: Eine moderate Wörterbuchgröße bot das beste Gleichgewicht. Sie war groß genug, um komplexe Ideen zu verstehen, aber klein genug, um fokussiert und klar zu bleiben.
Der Gewinner: Die Kombination aus ihrer neuen Matching-Methode (FBMP) und ihrem neuen Wahrheitstest (TAPAScore) war der einzige Weg, zuverlässig zwischen einem intelligenten, trainierten Übersetzer und einem zufälligen, untrainierten Übersetzer zu unterscheiden.

Zusammenfassung

Die Autoren haben ein neues „Zeugnis“ für KI-Übersetzer erstellt. Anstatt nur zu prüfen, ob die KI ein Bild wieder aufbauen kann, prüfen sie, ob die internen Gedanken der KI tatsächlich mit menschlichen Konzepten übereinstimmen, indem sie:

Erlauben, dass mehrere Zahlen eine Idee erklären (FBMP).
Magisch bearbeitete Fotos verwenden, um Ursache und Wirkung zu testen (synCUB/synCOCO).
Bewerten, ob die KI in die richtige Richtung reagiert, wenn sich das Bild verändert (TAPAScore).

Sie entdeckten, dass für diese KI-Gehirne, um wirklich verständlich zu sein, nicht zu groß zu sein; eine moderate Größe funktioniert am besten.

Technisches Resümee: Evaluierung der Interpretierbarkeit von Sparse Autoencodern mit Konzept-Annotationen

Problemstellung

Sparse Autoencoder (SAEs) werden zunehmend eingesetzt, um hochdimensionale interne Repräsentationen von Vision- und Vision-Language-Modellen (z. B. CLIP, DINOv2) in dünnbesetzte (sparse), interpretierbare Latente zu zerlegen. Die bestehenden Evaluierungsmethoden für Vision-basierte SAEs stützen sich jedoch stark auf strukturelle Proxys (z. B. Rekonstruktionstreue, Sparsity) oder qualitative Inspektion. Diese Methoden versäumen es, die semantische Korrespondenz zu messen – also den Grad, in dem gelernte Latente mit menschenverständlichen Konzepten übereinstimmen.

Darüber hinaus weisen Vision-Modelle systematische Fehlermodi auf, wie etwa Feature Splitting (ein Konzept fragmentiert über mehrere Latente verteilt), Feature Absorption (allgemeine Features entwickeln „blinde Flecken“) und Feature Composition (koexistierende Konzepte verschmelzen). Aktuelle Metriken, die oft aus der natürlichen Sprachverarbeitung adaptiert wurden, haben Schwierigkeiten zu validieren, ob ein Latent tatsächlich ein spezifisches semantisches Attribut kodiert oder lediglich aufgrund von Störfaktoren damit korreliert. Entscheidend ist, dass die funktionale Evaluierung in der Vision schwierig ist, da die Isolierung einer einzelnen semantischen Änderung in natürlichen Bildern ohne kontrollierte Interventionen nicht trivial ist.

Methodik

Die Autoren schlagen ein menschenbasiertes Evaluierungsframework vor, das die Übereinstimmung zwischen SAE-Latenten und menschen-annotierten Konzepten quantifiziert, ohne Nutzerstudien zu erfordern. Das Framework besteht aus drei Kernkomponenten:

1. Latent-Konzept-Matching

Um die statistische Ausrichtung zu messen, vergleichen die Autoren binarisierte SAE-Aktivierungen mit binären Ground-Truth-Attributvektoren.

Eins-zu-eins-Matching: Wählt das einzelne Latent, das den F1-Score für ein gegebenes Attribut maximiert.
Fully-Binary Matching Pursuit (FBMP): In Anerkennung der Tatsache, dass Features über mehrere Latente verteilt sein können, führen die Autoren ein koalitionsbasiertes Matching-Verfahren ein. FBMP ist ein gieriger (greedy), sequenzieller Selektionsalgorithmus, der speziell für den binären Bereich entwickelt wurde. Im Gegensatz zum Standard-Matching-Pursuit operiert es vollständig im binären Raum:
- Es verwendet binäre Ähnlichkeitsmetriken (z. B. $F_\beta$ ) anstelle von Skalarprodukten.
- Es verwendet logische ODER-Verknüpfungen ( $\lor$ ) zur Summation von Beiträgen sowie logische UND/NICHT-Verknüpfungen ( $\land, \neg$ ) zur Aktualisierung der Residuen.
- Es baut eine kleine Teilmenge (Koalition) von Latenten auf, die kollektiv das Attribut-Annotation rekonstruieren, wodurch Many-to-One-Abbildungen unterstützt werden.
$\Delta$ MATCHScore: Um die Inflation von Matching-Scores in größeren Dictionaries zu berücksichtigen (wo die Zufallskorrelation steigt), subtrahieren die Autoren den Matching-Score eines untrainierten (mit zufälligen Gewichten versehenen) SAE vom Score des trainierten SAE.

2. Synthetische Interventions-Benchmarks

Um eine funktionale Validierung zu ermöglichen, konstruieren die Autoren zwei synthetische Datensätze, bei denen sich Bildpaare in genau einem semantischen Attribut unterscheiden:

synCUB: Abgeleitet von CUB-200-2011, zielt dieser Datensatz auf feingliedrige Attribut-Perturbationen ab (z. B. Änderung des Musters von „massiv“ zu „gepunktet“ bei der Bauchzeichnung eines Vogels) in Bildern von Einzelobjekten (Vögeln). Er nutzt Flux2, um Basisbilder unter Verwendung von Referenzbildern zu editieren, wobei Identität, Pose und Hintergrund erhalten bleiben.
synCOCO: Abgeleitet von MS-COCO, zielt dieser Datensatz auf die Entfernung von Objekten in komplexen Multi-Objekt-Szenen ab. Er entfernt spezifische Objekte unter Beibehaltung des restlichen Szenenbildes, was die Herausforderung kontrollierter Interventionen in naturalistischer Umgebung adressiert.

3. Targeted Attribute Perturbation Alignment Score (TAPAScore)

Diese Metrik testet, ob gematchte Latente auf gezielte Perturbationen selektiv und in der erwarteten Richtung reagieren.

Für ein Paar von Bildern $(x, \hat{x})$ , die sich in einem Attribut unterscheiden, berechnen die Autoren die gerichtete Antwort (signed response) der gematchten Latent-Koalition auf das hinzugefügte oder entfernte Attribut.
TAPAScore ist definiert als $\Delta_{add} - \Delta_{rem}$ , wobei $\Delta$ die durchschnittliche Änderung der maximalen Aktivierung des gematchten Latent-Sets darstellt. Ein positiver Score zeigt an, dass die Latente steigen, wenn das Attribut hinzugefügt wird, und sinken, wenn es entfernt wird, was eine kausale Kodierung bestätigt.

Zentrale Beiträge

FBMP-Algorithmus: Ein neuartiges koalitionsbasiertes Matching-Verfahren, das Many-to-One-Abbildungen zwischen SAE-Latenten und Konzepten unterstützt. Die Autoren zeigen, dass FBMP konsistent Eins-zu-eins-Baselines übertrifft und Sanity-Checks besteht, an denen bestehende Metriken (wie der Feature Monosemanticity Score oder CKNNA) scheitern.
Synthetische Benchmarks (synCUB & synCOCO): Die ersten Interventions-Benchmarks zur SAE-Evaluierung in naturalistischen Bildern, die kontrollierte Attribut- und Objekt-Perturbationen ermöglichen.
TAPAScore: Eine funktionale Metrik, die validiert, ob statistische Übereinstimmungen tatsächlichen kausalen semantischen Kodierungen entsprechen, indem sie die Reaktionsrichtung unter Perturbation testet.
Empirische Leitlinien: Die Studie liefert praxisorientierte Hinweise für Anwender und empfiehlt moderate Dictionary-Größen sowie die Kombination von FBMP mit TAPAScore für eine optimale Interpretierbarkeits-Evaluierung.

Experimentelle Ergebnisse

Das Framework wurde auf SAEs evaluiert, die auf CLIP- und DINOv2-Embeddings trainiert wurden, über variierende Dictionary-Größen ($128$ bis $4096$) und SAE-Varianten (TopK, BatchTopK, Matryoshka, JumpReLU) hinweg.

Sanity Checks: TAPAScore und $\Delta$ MATCHScore (mit FBMP) waren die einzigen Metriken, die zuverlässig in der Lage waren, trainierte SAEs von untrainierten oder zufälligen Baselines zu unterscheiden. Metriken wie CKNNA und der Feature Monosemanticity Score (FMS) zeigten eine begrenzte Sensitivität oder inkonsistentes Verhalten (z. B. steigendes CKNNA bei untrainierten SAEs).
Matching-Leistung: FBMP übertraf konsistent das Eins-zu-eins-Matching über alle Varianten hinweg. Die $F_{0.5}$ -Variante von FBMP (die Präzision bevorzugt) lieferte im Allgemeinen die höchsten Scores.
Trade-offs bei der Dictionary-Größe:
- Eine Erhöhung der Dictionary-Größe (Überkomplettheit) verbesserte die statistischen Matching-Scores ( $\Delta$ MATCHScore) bis zu einem gewissen Punkt, verschlechterte jedoch oft die Perturbations-Alignment (TAPAScore).
- Für TopK SAEs auf CUB erreichte der TAPAScore früh seinen Höhepunkt und sank dann bei zunehmender Dictionary-Größe drastisch ab, was darauf hindeutet, dass größere Dictionaries zwar eine bessere statistische Übereinstimmung erreichten, aber keine kausal gültigen Konzepte mehr kodierten.
- Moderate Dictionary-Größen (z. B. 256–1024, abhängig von der Variante) boten den besten Kompromiss zwischen semantischer Abdeckung und funktionaler Selektivität.
Korrelation: Während Matching-Scores und TAPAScore generell positiv korrelierten, verdeutlichte die Divergenz bei großen Dictionary-Größen (wo das Matching besser wurde, aber der TAPAScore sank), dass statistische Ausrichtung nicht ausreicht, um Interpretierbarkeit zu garantieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Interpretierbarkeit nicht allein aus dem Architekturdesign oder der Rekonstruktionsqualität abgeleitet werden kann; sie muss explizit gegen menschenverständliche Konzepte evaluiert werden. Das vorgeschlagene Framework operationalisiert Interpretierbarkeit als die Übereinstimmung zwischen gelernten Features und annotierten Konzepten, validiert durch kontrollierte Interventionen.

Die Autoren kommen zu dem Schluss, dass moderate Dictionary-Größen das Optimum bieten und die interpretierbarsten SAEs liefern. Sie empfehlen FBMP ( $F_{0.5}, k=3$ ) in Kombination mit TAPAScore als Standard-Evaluierungsprotokoll. Die Arbeit hebt hervor, dass erhöhte Überkomplettheit die Perturbations-Alignment reduzieren kann, was auf einen Verlust der Interpretierbarkeit trotz verbesserter statistischer Metriken hindeutet.

Die Autoren räumen Einschränkungen ein und merken an, dass die Qualität des Frameworks durch die Granularität und Genauigkeit der menschlichen Annotationen begrenzt ist. Sie schlagen vor, zukünftige Arbeiten die Abhängigkeit von manuellen Annotationen zu reduzieren, indem Vision-Language-Modelle für die automatische Attributgenerierung genutzt werden, und den TAPAScore als Werkzeug für aktives Model Steering zu untersuchen.