Do Sparse Autoencoders Identify Reasoning Features in Language Models?

Enunciato del Problema
I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno dimostrato forti capacità di ragionamento multi-step, spesso elicitate tramite prompt di tipo chain-of-thought (CoT). Un crescente corpo di ricerca sull'interpretabilità meccanicistica utilizza Autoencoder Sparsi (SAE) per identificare le caratteristiche interne associate a questi processi di ragionamento. L'approccio prevalente prevede una selezione contrastiva: identificare le caratteristiche degli SAE che mostrano un'attivazione significativamente più alta su testi di ragionamento (ad esempio, tracce CoT) rispetto a testi privi di ragionamento. Tuttavia, gli autori sostengono che questo metodo soffra di ambiguità fondamentali. Poiché le risposte CoT differiscono dalle risposte dirette non solo nel ragionamento sottostante ma anche nell'uso lessicale superficiale (ad esempio, marcatori discorsivi come "Aspetta", "Ma", "Vediamo"), i metodi contrastivi potrebbero identificare caratteristiche che catturano confondimenti lessicali superficiali piuttosto che calcoli di ragionamento genuini. La domanda centrale affrontata è se gli SAE possano identificare in modo affidabile caratteristiche monosemantiche che rappresentano il processo di ragionamento interno, o se catturino semplicemente correlati linguistici a bassa dimensionalità che co-occorrono con il ragionamento.

Metodologia
Il paper propone un framework di valutazione basato sulla falsificazione, progettato per testare la robustezza delle "caratteristiche di ragionamento" selezionate in modo contrastivo. La metodologia procede in tre fasi:

1. Motivazione Teorica: Gli autori presentano un'analisi stilizzata che mostra come la decodifica regolarizzata per la sparsità negli SAE favorisca intrinsecamente correlati stabili e a bassa dimensionalità rispetto alla variazione ad alta dimensionalità all'interno del comportamento. In un contesto in cui un comportamento di alto livello (ragionamento) co-occorre con un indizio lessicale stabile, la decodifica sparsa può preferenzialmente mantenere la coordinata dell'indizio sopprimendo al contempo la variazione distribuita e ad alta dimensionalità della traccia del ragionamento stesso. Ciò suggerisce che i metodi contrastivi potrebbero isolare strutture simili a indizi piuttosto che calcoli di ragionamento.

2. Iniezione Causale di Token: Per testare le dipendenze lessicali superficiali, gli autori eseguono esperimenti di iniezione causale di token. Identificano i token o gli n-grammi con attivazione più alta per una caratteristica candidata e li inseriscono in testi privi di ragionamento. Se la caratteristica si attiva significativamente in seguito all'iniezione di questi pochi token, viene classificata come "guidata dai token", indicando che cattura un indizio lessicale piuttosto che un processo di ragionamento.

3. Falsificazione Guidata da LLM: Per le caratteristiche che rimangono "dipendenti dal contesto" dopo l'iniezione di token, gli autori impiegano un processo avversario guidato da LLM. Un LLM genera ipotesi su quali pattern linguistici o strutturali una caratteristica rileva. Successivamente, costruisce due tipi di controesempi:

   • Falsi Positivi (FP): Testi privi di ragionamento che istanziano il pattern ipotizzato (ad esempio, marcatori discorsivi specifici o strutture sintattiche) per attivare l'attivazione senza ragionamento.
   • Falsi Negativi (FN): Parafrasi delle tracce di ragionamento con attivazione più alta che preservano il significato semantico e l'intento del ragionamento ma alterano la forma superficiale (vocabolario, sintassi, stile) per sopprimere l'attivazione.
     Una caratteristica è considerata una "vera caratteristica di ragionamento" solo se resiste a questi tentativi di falsificazione (cioè, non si attiva sui FP e si attiva sui FN).

4. Controllo di Sanità per la Guida: Come controllo supplementare, gli autori eseguono esperimenti di guida delle caratteristiche per verificare se l'amplificazione delle caratteristiche candidate migliori i benchmark di ragionamento a valle, notando che i soli cambiamenti nelle prestazioni sono insufficienti come prova della rappresentazione del ragionamento.

Contributi Chiave

• Insight Teorico: Il paper fornisce un meccanismo teorico che spiega perché la sparsità negli SAE crea un'asimmetria che favorisce la ritenzione di indizi lessicali stabili e a bassa dimensionalità rispetto alla variabilità del ragionamento ad alta dimensionalità, anche quando il dizionario è perfetto.
• Framework di Valutazione: Introduce una pipeline rigorosa e orientata alla falsificazione che combina l'iniezione causale di token e la generazione di controesempi guidata da LLM per distinguere tra vere caratteristiche di ragionamento e correlati linguistici.
• Evidenza Empirica: Lo studio applica sistematicamente questo framework su 22 configurazioni che coinvolgono più famiglie di modelli (Gemma-3, DeepSeek-R1-Distill-Llama, Llama-3.1), livelli e dataset di ragionamento.

Risultati

• Sensibilità ai Token: In tutte le configurazioni, una significativa maggioranza (45%–90%) delle caratteristiche candidate selezionate in modo contrastivo è risultata altamente sensibile agli interventi a livello di token. L'iniezione di soli pochi token associati in testi privi di ragionamento è stata sufficiente a innescare aumenti sostanziali dell'attivazione, classificandole come guidate dai token o parzialmente guidate dai token.
• Falsificazione delle Caratteristiche Dipendenti dal Contesto: Per le caratteristiche rimanenti non spiegate dalla semplice iniezione di token, il processo di falsificazione guidato da LLM ha costruito con successo controesempi mirati. L'LLM ha generato testi privi di ragionamento che hanno attivato le caratteristiche (Falsi Positivi) e parafrasi di testi di ragionamento che hanno soppresso l'attivazione (Falsi Negativi).
• Zero Caratteristiche Genuine: Su tutte le 248 caratteristiche dipendenti dal contesto analizzate, zero sono state classificate come vere caratteristiche di ragionamento. Ogni caratteristica esaminata è risultata un confondimento, rilevando tipicamente specifici modelli sintattici (ad esempio, "Prima, ho bisogno di..."), marcatori discorsivi o inquadrature accademiche formali piuttosto che il calcolo di ragionamento sottostante.
• Impatto della Guida: Gli esperimenti di guida hanno prodotto prestazioni minime o leggermente degradate sui benchmark (AIME, GPQA), coerentemente con la constatazione che queste caratteristiche non codificano il meccanismo di ragionamento stesso.

Significato e Affermazioni
Il paper conclude che, negli scenari studiati, le decomposizioni sparse tendono a favorire correlati a bassa dimensionalità che co-occorrono con il ragionamento piuttosto che isolare il processo di ragionamento stesso. Gli autori affermano che le correlazioni contrastive da sole sono prove insufficienti per l'esistenza di caratteristiche di ragionamento monosemantiche. Sottolineano che attribuire comportamenti di alto livello a singole caratteristiche degli SAE richiede validazione causale e falsificazione per escludere confondimenti linguistici superficiali. Il lavoro non afferma che gli SAE non possano rappresentare strutture rilevanti per il ragionamento, ma piuttosto che le attuali pipeline contrastive identificano in modo affidabile caratteristiche che sono meglio spiegate come correlati linguistici. Gli autori sostengono di trattare le correlazioni contrastive come ipotesi che devono sottostare a rigorosi test causali e avversari prima di essere interpretate come rappresentazioni di specifici calcoli cognitivi.