💬 NLP

Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

Diese Arbeit stellt ClassifSAE vor, einen auf Sparse Autoencodern basierenden Ansatz zur Verbesserung der Kausalität und Interpretierbarkeit von Entscheidungsprozessen in Textklassifizierungsmodellen, der durch eine spezialisierte Klassifikationskopf-Architektur und neue Evaluierungsmetriken gegenüber bestehenden Methoden übertrifft.

Ursprüngliche Autoren: Mathis Le Bail, Jérémie Dentan, Davide Buscaldi, Sonia Vanier

Veröffentlicht 2026-02-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mathis Le Bail, Jérémie Dentan, Davide Buscaldi, Sonia Vanier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein großes Sprachmodell (ein "LLM") ist wie ein geniales, aber verschwiegenes Koch-Genie. Wenn du ihm eine Frage stellst oder einen Text gibst, kocht es eine perfekte Antwort heraus. Aber wenn du fragst: "Warum hast du gerade genau diese Zutat verwendet?", schweigt es. Es arbeitet in einer unsichtbaren Welt aus Zahlen und Vektoren, die für uns Menschen wie ein undurchdringlicher Nebel wirken.

Die Forscher aus diesem Papier wollen diesen Nebel lichten. Sie haben eine neue Methode namens ClassifSAE entwickelt, um herauszufinden, was genau das Modell denkt, wenn es eine Entscheidung trifft (z. B. ob ein Text "Sport" oder "Politik" ist).

Hier ist die Erklärung in einfachen Worten mit ein paar kreativen Vergleichen:

1. Das Problem: Der "Black Box"-Koch

Frühere Methoden, um zu verstehen, wie diese Modelle denken, waren wie das Versuch, die Zutaten eines fertigen Kuchens zu erraten, indem man ihn einfach anstarrt.

Das alte Werkzeug (SAE): Es gab schon eine Methode, die wie ein Mikroskop funktionierte. Sie schaute sich die winzigen Neuronen an und versuchte, Muster zu finden. Aber das Mikroskop war oft zu ungenau: Es zeigte oft ganze "Zuckerhaufen" an, die viele verschiedene Dinge gleichzeitig bedeuteten (z. B. ein Haufen, der sowohl "Fußball" als auch "Wetter" bedeutet). Das war verwirrend.

2. Die Lösung: ClassifSAE – Der "Sortier-Automat"

Die Autoren haben einen neuen, speziellen Sortier-Automaten gebaut, den sie ClassifSAE nennen. Stell dir das so vor:

Der alte Ansatz: Ein riesiger Haufen Lego-Steine wird einfach in eine Schachtel geworfen. Man versucht, die Steine zu sortieren, indem man sie zufällig herausnimmt.
Der neue Ansatz (ClassifSAE): Der Automaten hat zwei besondere Fähigkeiten:
1. Er lernt mit einem Lehrer: Er wird nicht nur darauf trainiert, die Lego-Steine zu sortieren, sondern er hat auch einen Kleinen Assistenten (einen Klassifikator) an der Seite. Dieser Assistent sagt ihm sofort: "Hey, dieser rote Stein gehört zur Kategorie 'Sport', nicht zur Kategorie 'Politik'!"
2. Er zwingt zur Disziplin (Sparsity): Oft drängen sich zu viele Steine in eine Schublade. Der neue Automaten hat eine Regel: "In jede Schublade dürfen nur maximal 10 Steine rein, und zwar nur die, die wirklich wichtig sind."

Durch diese Kombination entstehen saubere, eindeutige Konzepte. Statt eines verworrenen "Fußball-Wetter-Haufens" bekommt man jetzt klare Schubladen wie "Fußball", "Basketball" oder "Wettervorhersage".

3. Die neuen Messlatten: Wie gut ist der Sortier-Automat?

Früher haben Forscher oft nur gefragt: "Kann das Modell den Kuchen noch backen, wenn wir eine Zutat entfernen?" (Das ist die "Kausalität"). Aber das sagte nichts darüber aus, ob die Zutat verständlich war.

Die Autoren haben zwei neue Messlatten erfunden, die wie ein Sprach-Test funktionieren:

Der "Gleichklang-Test" (ConceptSim): Wenn der Automaten sagt: "Dieser Stein bedeutet 'Liebe'", dann sollte er bei allen Sätzen, die er als 'Liebe' markiert, auch wirklich Sätze über Liebe finden. Wenn er plötzlich Sätze über "Haustiere" dort findet, ist der Test schlecht.
Der "Verwandtschafts-Test" (SentenceSim): Wenn zwei Sätze denselben "Liebes-Stein" aktivieren, sollten sie sich auch inhaltlich ähnlich anfühlen. Wenn der Automaten zwei völlig unterschiedliche Sätze (z. B. "Ich liebe Pizza" und "Ich liebe den Krieg") in denselben Korb wirft, hat er versagt.

4. Das Ergebnis: Schneller, klarer und fairer

Die Forscher haben ihren neuen Automaten gegen die alten Methoden getestet. Das Ergebnis ist beeindruckend:

Geschwindigkeit: Der neue Automaten ist bis zu 83 % schneller als die besten bisherigen Methoden. Er braucht weniger Zeit, um die Geheimnisse des Koch-Genies zu entschlüsseln.
Klarheit: Die gefundenen Konzepte sind viel "eindeutiger" (monosemantisch). Man versteht sofort, worum es geht.
Der Kompromiss: Es gibt eine kleine Abwägung. Die Methode, die am stärksten beweist, dass ein Konzept die Entscheidung beeinflusst (Kausalität), ist manchmal etwas weniger verständlich. ClassifSAE findet hier den perfekten Mittelweg: Es ist fast so gut in der Beweisführung wie die besten Methoden, aber viel verständlicher für uns Menschen.

Zusammenfassung in einem Satz

Die Autoren haben einen intelligenten, schnellen Sortier-Automaten gebaut, der das Gedächtnis von KI-Modellen durchsucht und dabei nicht nur dass sie entscheiden, sondern warum und mit welchen klaren Begriffen sie es tun, für uns Menschen verständlich macht – ohne dabei stundenlang zu brauchen.

Es ist, als würde man dem verschwiegenen Koch-Genie endlich eine Karte mit beschrifteten Schubladen in die Hand drücken, auf der genau steht: "Hier sind die Zutaten für 'Politik', dort für 'Sport', und wir wissen genau, welche Zutat den Kuchen zum Gelingen gebracht hat."

1. Problemstellung

Große Sprachmodelle (LLMs) haben die Leistung bei Textklassifizierungsaufgaben erheblich verbessert, bleiben jedoch in ihrer Entscheidungsfindung oft eine „Blackbox". Die Transformer-Architektur nutzt einen hochdimensionalen latenten Raum, in dem die Vektoren keine intuitive Interpretierbarkeit aufweisen.

Herausforderung: Bestehende Methoden zur Konzept-Entdeckung (wie TCAV oder gradientenbasierte Attributionen) sind oft unsupervised, benötigen manuelle Definitionen von Konzepten oder liefern inkonsistente Ergebnisse.
Lücke: Es fehlt an einer umfassenden Untersuchung, wie Sparse Autoencoder (SAEs) speziell für die Textklassifizierung adaptiert werden können, um nicht nur rekonstruierbare, sondern auch kausale und interpretierbare Merkmale zu extrahieren. Bisherige SAEs werden meist auf großen, generativen Datensätzen vortrainiert und nicht spezifisch auf die Klassifizierungsaufgabe zugeschnitten.

2. Methodik: ClassifSAE

Die Autoren stellen ClassifSAE vor, eine überwachte Variante von Sparse Autoencodern, die speziell für die Satz-Klassifizierung entwickelt wurde.

Architektur:
- Der SAE wird auf den versteckten Zuständen ( $h_\ell$ ) eines einzelnen Tokens (z. B. dem Token vor dem Label bei autoregressiven Modellen oder dem [CLS]-Token bei Encodern) trainiert.
- Joint Training: Ein entscheidendes Merkmal ist das gemeinsame Training des SAE und eines leichtgewichtigen Klassifizierers ( $g_\theta$ ). Der Klassifizierer versucht, die Vorhersagen des ursprünglichen LLMs ausschließlich auf Basis einer Teilmenge der SAE-Features ( $z_{class}$ ) zu reproduzieren.
- Ziel: Dies zwingt den SAE, task-relevante Merkmale in der Teilmenge $z_{class}$ zu clustern, während die restlichen Merkmale für die Rekonstruktion des Eingabevektors sorgen.
Verlustfunktionen und Sparsity-Mechanismen:
- Rekonstruktionsverlust: Minimiert den Fehler zwischen dem ursprünglichen Hidden State und der Rekonstruktion (TopK-Aktivierungsfunktion zur Kontrolle der $L_0$ -Sparsity).
- Klassifizierungsverlust ( $L_{class}$ ): Cross-Entropy-Loss, um sicherzustellen, dass die extrahierten Features die Klassifizierungsentscheidung tragen.
- Aktivierungs-Rate-Sparsity-Loss ( $L_{sparse}^{feature}$ ): Ein neu eingeführter Mechanismus, der verhindert, dass bestimmte Features zu häufig aktiviert werden. Er bestraft Features, die in mehr als einem bestimmten Anteil ( $\gamma$ ) der Batch-Beispiele aktiv sind. Dies fördert eine ausgewogenere Verteilung der Informationen und verhindert die Dominanz weniger Features.
Neue Evaluierungsmetriken:
Da menschliche Annotationen oft nicht verfügbar sind, führen die Autoren zwei neue metrikbasierte Ansätze ein, die auf einem externen Sentence Encoder (Sentence-BERT) basieren:
1. ConceptSim: Misst die Kohärenz der Bedeutung eines einzelnen Konzepts. Sie berechnet die durchschnittliche paarweise kosinussimilarität aller Sätze, die ein bestimmtes Konzept aktivieren. Hohe Werte deuten auf monosemantische (eindeutige) Konzepte hin.
2. SentenceSim: Misst, wie ähnlich Sätze sind, die dieselben Top-Konzepte aktivieren. Eine hohe Korrelation zwischen geteilten Konzepten und semantischer Ähnlichkeit im Embedding-Raum bestätigt die Interpretierbarkeit.

3. Schlüsselbeiträge

ClassifSAE: Ein neuer, überwachter SAE-Ansatz, der SAEs direkt auf Klassifizierungsdatensätzen trainiert, um feingranulare, task-spezifische Konzepte zu extrahieren.
Neue Metriken: Einführung von ConceptSim und SentenceSim zur quantitativen Bewertung der Interpretierbarkeit und Monosemantizität ohne menschliches Feedback.
Umfassender Benchmark: Ein Vergleich von ClassifSAE mit vier Baselines (TopK-SAE, ICA, ConceptSHAP, HI-Concept) über sieben verschiedene LLM-Backbones und vier Klassifizierungsdatensätze (AG News, IMDB, TweetEval Offensive, TweetEval Sentiment).
Effizienzanalyse: Demonstration, dass ClassifSAE signifikant weniger Trainingszeit benötigt als state-of-the-art Methoden wie HI-Concept.

4. Ergebnisse

Die empirischen Ergebnisse zeigen, dass ClassifSAE in mehreren Dimensionen überlegen ist:

Interpretierbarkeit (ConceptSim): ClassifSAE erzielt konsistent die höchsten Scores bei ConceptSim und SentenceSim. Die extrahierten Konzepte sind monosemantischer und semantisch kohärenter als bei den Baselines. Die Aktivierungsrate ist deutlich spärlicher (ca. 8–10 % im Vergleich zu oft >30 % bei anderen Methoden).
Kausalität ( $\Delta f_{cond}$ ): Während HI-Concept (das explizit einen kausalen Verlust optimiert) die besten Kausalitätswerte erzielt, erreicht ClassifSAE die zweitbesten Werte und liegt bei großen Modellen auf Augenhöhe mit HI-Concept.
Vollständigkeit (RAcc): Alle Methoden, einschließlich ClassifSAE, erreichen eine hohe Recovery Accuracy (>90 %), was bestätigt, dass die extrahierten Konzepte die notwendigen Informationen für die Klassifizierung enthalten.
Recheneffizienz: ClassifSAE ist bis zu 83 % schneller im Training als HI-Concept und ConceptSHAP. Dies liegt daran, dass ClassifSAE nur den Autoencoder und den Klassifizierer trainiert, ohne wiederholt Teile des großen LLMs für die Berechnung von Rekonstruktionsfehlern oder kausalen Effekten laden zu müssen.
Qualitative Analyse: Visualisierungen (PCA-Projektionen und Wortwolken) zeigen, dass ClassifSAE feingranulare Unterkonzepte entdeckt (z. B. „Fluglinien – Insolvenz" innerhalb der Kategorie „Business"), die über grobe Labels hinausgehen.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Kombination aus überwachtem Training und Sparsity-Mechanismen entscheidend ist, um SAEs für die Interpretierbarkeit von Klassifizierungsentscheidungen nutzbar zu machen.

Trade-off: Es wird ein klarer Trade-off zwischen Kausalität und Interpretierbarkeit identifiziert. HI-Concept ist extrem kausal, aber weniger interpretierbar (weniger monosemantisch). ClassifSAE bietet einen optimalen Kompromiss mit hoher Interpretierbarkeit und akzeptabler Kausalität bei deutlich geringerem Rechenaufwand.
Praktische Relevanz: Die Methode ermöglicht es Nutzern, schnell und ressourcenschonend die Entscheidungslogik ihrer feinabgestimmten Klassifizierungsmodelle zu verstehen, ohne auf teure, manuelle Annotationen oder rechenintensive Post-hoc-Analysen angewiesen zu sein.
Zukunftsperspektive: Die Arbeit legt den Grundstein für end-to-end Pipelines, die Schicht-für-Schicht-Konzepte mit Eingabe und Ausgabe verknüpfen, und öffnet die Tür für die Anwendung ähnlicher Ansätze in anderen Modalitäten.

Zusammenfassend stellt ClassifSAE einen effizienten und effektiven Schritt hin zu transparenteren und vertrauenswürdigeren LLM-basierten Klassifizierungssystemen dar.