Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

Probleemstelling

Grote Taalmodellen (LLMs) hebben de prestaties van tekstclassificatie aanzienlijk verbeterd, maar hun interne werking blijft een "black box". De Transformer-architectuur gebruikt een hoogdimensionale latente ruimte waar vectoren vaak geen intuïtieve betekenis hebben voor mensen. Bestaande methoden voor interpretatie (zoals token-attributie) zijn vaak instabiel. Conceptgebaseerde interpretatiemethoden proberen hoogwaardige concepten uit deze ruimte te halen, maar er is een gebrek aan onderzoek naar hoe effectief deze methoden zijn voor tekstclassificatie in het bijzonder.

De kernuitdaging is het vinden van conceptvectoren die drie eigenschappen combineren:

1. Volledigheid (Completeness): Ze moeten de interne mechanismen van het netwerk volledig weerspiegelen (reconstructie van de oorspronkelijke activaties).
2. Causaliteit (Causality): Ze moeten een causale invloed hebben op de uiteindelijke voorspelling (het verwijderen van een concept moet de voorspelling significant veranderen).
3. Interpreteerbaarheid: Ze moeten overeenkomen met menselijk begrijpelijke, semantisch coherente ideeën (monosemantisch zijn).

Bestaande methoden slagen er vaak niet in om al deze eigenschappen optimaal te balanceren, of ze vereisen zware menselijke annotatie.

Methodologie: ClassifSAE

De auteurs stellen ClassifSAE voor, een nieuw, toezicht-gebaseerd (supervised) variant van een Spars Autoencoder (SAE), specifiek ontworpen voor tekstclassificatie. In tegenstelling tot eerdere SAE-toepassingen die vaak onbewaakt (unsupervised) op grote datasets worden getraind, traint ClassifSAE vanaf nul op een specifieke classificatiedataset.

Kerncomponenten van de architectuur:

1. Gecombineerde Training: Het model traint een SAE en een lichte classifier ($g_\theta$) gezamenlijk. De classifier probeert de oorspronkelijke voorspellingen van de LLM na te bootsen, maar gebruikt alleen een subset van de SAE-kenmerken ($z_{class}$). Dit dwingt de SAE om task-relevante concepten te clusteren in deze subset, terwijl de rest van de kenmerken dient voor reconstructie.
2. Sparsiteit in Activeringsfrequentie: Om te voorkomen dat bepaalde kenmerken te vaak activeren (wat leidt tot correlatie en gebrek aan diversiteit), introduceren de auteurs een nieuwe verliesfunctie ($L_{sparse}^{feature}$). Deze straalt kenmerken af die in meer dan een bepaald percentage ($\gamma$) van de batch activeren. Dit bevordert een evenwichtigere verdeling en meer specifieke (discriminatieve) concepten.
3. Trainingsdoel: De totale loss-functie combineert drie termen:
   • $L_{TopK}^{SAE}$: Reconstructiefout (met TopK-activatie).
   • $L_{class}$: Cross-entropy verlies van de classifier.
   • $L_{sparse}^{feature}$: Straal voor te frequente activeringen.

Nieuwe Evaluatiemetingen:
Om de interpreteerbaarheid kwantitatief te meten zonder menselijke beoordeling, introduceren de auteurs twee nieuwe metrics gebaseerd op een externe Sentence-BERT encoder:

• ConceptSim: Meet de semantische coherentie van zinnen die hetzelfde concept activeren (hogere cosine-similariteit betekent een beter, monosemantisch concept).
• SentenceSim: Meet de consistentie tussen zinnen die dezelfde set van top-activerende concepten delen.

Belangrijkste Bijdragen

1. ClassifSAE: Een nieuwe, toezicht-gebaseerde SAE-methode die fijnmazige concepten extrahert die specifiek zijn voor een classificatietaken.
2. Nieuwe Metrics: Introductie van ConceptSim en SentenceSim voor het objectief beoordelen van de kwaliteit van concepten.
3. Uitgebreide Vergelijking: Een empirische studie tegen vier baselines (ICA, ConceptSHAP, HI-Concept, TopK-SAE) over zeven verschillende LLM-architecturen en vier datasets.
4. Efficiëntie en Trade-offs: Demonstratie dat ClassifSAE aanzienlijk sneller is dan state-of-the-art methoden (tot 83% minder trainingstijd) en een betere balans biedt tussen causaliteit en interpreteerbaarheid.

Resultaten

De experimenten zijn uitgevoerd op datasets zoals AG News, IMDB, en TweetEval (offensieve taal en sentiment), met modellen variërend van BERT tot LLaMA 3.1 en Mistral.

• Interpreteerbaarheid: ClassifSAE behaalt consistent de hoogste scores op de ConceptSim-metric. Dit betekent dat de geëxtraheerde concepten semantisch coherenter en monosemantischer zijn dan die van concurrenten. De activeringsfrequentie is ook aanzienlijk lager (meer sparsiteit), wat wijst op minder "dead" of over-generaliserende features.
• Causaliteit: Hoewel HI-Concept de hoogste causaliteitsscores behaalt (door expliciet een causale loss te gebruiken), presteert ClassifSAE als tweede beste en is vergelijkbaar met HI-Concept op de grootste modellen. ClassifSAE slaagt erin om causale impact te behouden zonder de interpreteerbaarheid te offeren.
• Volledigheid: Alle methoden, inclusief ClassifSAE, behouden een hoge Recovery Accuracy (RAcc), wat aangeeft dat de concepten voldoende informatie bevatten om de oorspronkelijke beslissingen van het model te reconstrueren.
• Efficiëntie: ClassifSAE is aanzienlijk sneller. Voor het grootste model (LLaMA 3.1 8B) is de trainingstijd tot 83% lager dan bij HI-Concept en ConceptSHAP. Dit komt doordat ClassifSAE alleen de autoencoder en classifier traint op de opgeslagen hidden states, terwijl baselines vaak de volledige LLM moeten doorlopen voor reconstructie- en causaliteitsschattingsdoeleinden.

Significantie

Dit paper is significant omdat het een brug slaat tussen mechanische interpretbaarheid (SAEs) en praktische tekstclassificatie. Het toont aan dat het trainen van een SAE met een classificatiedoel (supervised) superieure resultaten oplevert dan puur onbewaakte benaderingen voor deze specifieke taak.

De studie benadrukt een belangrijke trade-off: methoden die extreem gericht zijn op causaliteit (zoals HI-Concept) kunnen ten koste gaan van de semantische zuiverheid van de concepten. ClassifSAE biedt een efficiëntere en evenwichtiger oplossing, waarbij het in staat is om fijne, semantisch betekenisvolle concepten te ontdekken (bijv. onderscheid maken tussen "Airlines" en "Currency" binnen het zakelijke domein) met een veel lager computercost. Dit maakt het een krachtig hulpmiddel voor het begrijpen van de besluitvorming van zwarte-doos LLM's in real-world classificatietoepassingen.