Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

1. Il Problema

L'adozione dei Large Language Models (LLM) ha migliorato significativamente le prestazioni nelle attività di classificazione del testo. Tuttavia, l'architettura Transformer sottostante opera in uno spazio latente ad alta dimensionalità dove i vettori mancano di interpretabilità intuitiva.
Le sfide principali identificate sono:

• Mancanza di trasparenza: Non è chiaro quali concetti specifici il modello utilizzi per prendere decisioni di etichettatura.
• Limitazioni delle metodi esistenti: I metodi basati su attribuzione dei token (gradienti) sono spesso instabili. I metodi basati su concetti (come TCAV o ConceptSHAP) richiedono spesso supervisione umana o dataset di esempio per definire i concetti target.
• Trade-off tra causalità e interpretabilità: Le tecniche attuali faticano a bilanciare la capacità di un concetto di influenzare causalmente la previsione del modello (causalità) con la sua coerenza semantica e la sua capacità di rappresentare un'idea umana ben definita (interpretabilità/monosemanticità).

2. Metodologia: ClassifSAE

Gli autori propongono ClassifSAE, una variante supervisionata degli Sparse Autoencoders (SAE) progettata specificamente per estrarre concetti a livello di frase da LLM adattati per la classificazione.

Architettura e Addestramento

A differenza degli SAE tradizionali addestrati su grandi corpora generici per scopi generativi, ClassifSAE viene addestrato da zero su dataset di classificazione specifici (dimensione moderata, 10k-100k esempi).

• Input: Lo stato nascosto ($h_\ell$) di un singolo token rappresentativo della frase (es. il token prima dell'etichetta per i modelli decoder-only, o il token [CLS] per i decoder-only).
• Componenti Chiave:
  1. SAE Supervisionato: Un encoder e un decoder che ricostruiscono lo stato nascosto tramite una rappresentazione sparsa ($z$).
  2. Classificatore Congiunto: Un classificatore leggero ($g_\theta$) addestrato congiuntamente all'SAE. Questo classificatore utilizza solo un sottoinsieme delle feature ($z_{class}$) per replicare le decisioni del LLM originale. Questo meccanismo incentiva l'SAE a raggruppare le feature rilevanti per il compito in uno spazio a bassa dimensionalità, mentre le altre feature supportano la ricostruzione.
  3. Loss di Sparsità del Tasso di Attivazione: Per evitare che poche feature dominino l'attivazione (collasso della diversità), viene introdotta una penalità che limita il tasso di attivazione massimo per ogni feature su un batch. Questo promuove una distribuzione più bilanciata e concetti più discriminativi.
• Funzione di Attivazione: Utilizza la funzione TopK per garantire un numero fisso di feature attive per input, migliorando il trade-off tra sparsità e ricostruzione.

Funzione di Perdita

La perdita totale combina tre termini:
$$L = \lambda_1 L_{TopK}^{SAE} + \lambda_2 L_{class} + \lambda_3 L_{sparse}^{feature}$$
Dove $L_{class}$ è la cross-entropy del classificatore congiunto e $L_{sparse}^{feature}$ penalizza le feature che si attivano troppo frequentemente.

3. Nuove Metriche di Valutazione

Il paper introduce due nuove metriche per valutare l'interpretabilità senza ricorrere a valutatori umani:

1. ConceptSim: Misura la coerenza semantica di un singolo concetto. Si calcola la similarità coseno media tra le frasi che attivano una specifica feature (dopo un clustering 1D per isolare le attivazioni). Un valore alto indica che la feature è monosemantica (rappresenta un unico concetto chiaro).
2. SentenceSim: Valuta la coerenza tra frasi diverse che condividono lo stesso set di concetti attivati. Verifica se frasi con sovrapposizione di concetti sono semanticamente vicine nello spazio degli embedding.

Le metriche tradizionali valutate includono:

• Completezza (RAcc): La percentuale di input per cui la previsione rimane invariata quando lo stato nascosto originale è sostituito dalla sua ricostruzione basata sui concetti.
• Causalità ($\Delta f$): La variazione nella probabilità di previsione quando una specifica feature viene ablatata (rimossa).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 dataset di classificazione (AG News, IMDB, TweetEval Offensive, TweetEval Sentiment) e 7 modelli LLM di base (da BERT a LLaMA 3.1 8B).

• Interpretabilità: ClassifSAE ottiene i punteggi più alti in ConceptSim e SentenceSim rispetto a baseline come ICA, ConceptSHAP, HI-Concept e TopK-SAE standard. Questo dimostra che i concetti estratti sono più coerenti semanticamente e meno ambigui.
• Causalità: ClassifSAE ottiene il secondo miglior punteggio di causalità ($\Delta f_{cond}$), superando TopK-SAE e ConceptSHAP, e risultando competitivo con HI-Concept (che è ottimizzato specificamente per la causalità).
• Efficienza Computazionale: ClassifSAE è significativamente più veloce. Richiede fino all'83% in meno di tempo di addestramento rispetto a HI-Concept e ConceptSHAP, poiché non necessita di eseguire passaggi in avanti attraverso gli strati successivi del LLM per calcolare le metriche di ricostruzione o causalità durante l'addestramento.
• Qualità dei Concetti: Le visualizzazioni mostrano che ClassifSAE riesce a catturare concetti granulari (es. "Airlines-Bankruptcy" o "Cybersecurity-Spam") che si allineano bene con le categorie di classe ma distinguono sottotemi specifici, evitando il collasso in un'unica feature per categoria.

5. Contributi Chiave

1. ClassifSAE: Un nuovo metodo supervisionato basato su SAE che estrae concetti fini e rilevanti per il compito direttamente dagli stati interni di un LLM per la classificazione.
2. Metriche Automatiche: Introduzione di ConceptSim e SentenceSim per quantificare l'interpretabilità e la monosemanticità senza annotazioni umane.
3. Analisi Comparativa Estesa: Confronto empirico su 7 LLM e 4 dataset contro 4 metodi di riferimento (ICA, ConceptSHAP, HI-Concept, TopK-SAE).
4. Scoperta del Trade-off: Dimostrazione che è possibile ottenere un ottimo equilibrio tra causalità e interpretabilità, superando i limiti dei metodi attuali che spesso sacrificano uno dei due aspetti.

6. Significato e Implicazioni

Questo lavoro è significativo perché sposta l'interpretabilità degli LLM da un approccio puramente post-hoc e qualitativo a uno quantitativo e strutturato.

• Affidabilità: Fornisce un modo per verificare cosa sta pensando un modello di classificazione, non solo cosa ha previsto.
• Efficienza: La riduzione dei costi computazionali rende l'analisi dei concetti accessibile anche per modelli di grandi dimensioni e task specifici.
• Futuro della Ricerca: Suggerisce che l'integrazione di obiettivi di task (classificatore congiunto) e vincoli di sparsità dinamica è la chiave per disaccoppiare (disentangle) le rappresentazioni sovrapposte negli LLM, rendendoli più trasparenti e affidabili per applicazioni critiche.

In sintesi, ClassifSAE rappresenta un passo avanti verso la comprensione meccanicistica delle decisioni degli LLM, offrendo strumenti pratici per estrarre concetti che sono sia causalmente influenti che semanticamente comprensibili per gli esseri umani.