Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization

Titolo: La Catena di Pensiero può essere Fedele senza Verbalizzazione dell'Indizio
Autori: Kerem Zaman e Shashank Srivastava (UNC Chapel Hill)

Enunciato del Problema

La letteratura recente ha sempre più etichettato il ragionamento a Catena di Pensiero (CoT) nei Modelli Linguistici di Grande Dimensione (LLM) come "infedele", suggerendo che le CoT siano spesso razionalizzazioni post-hoc piuttosto che riflessi fedeli dei processi decisionali interni del modello. Questa conclusione è guidata principalmente dalla metrica delle Caratteristiche di Distorsione (nota anche come valutazione della verbalizzazione dell'indizio). In questa configurazione, un "indizio" (ad esempio, "Un professore di Stanford pensa che la risposta sia B") viene iniettato nel prompt per distorcere il modello verso una risposta specifica. Se il modello modifica la sua previsione per corrispondere all'indizio ma non menziona esplicitamente l'indizio nella sua CoT generata, la CoT viene etichettata come infedele.

Gli autori sostengono che questa metrica adotti una nozione di fedeltà eccessivamente ristretta. Essa confonde l'infedeltà (un disallineamento tra la spiegazione e il ragionamento) con l'incompletezza (la necessaria compressione con perdita richiesta per tradurre i calcoli distribuiti dei trasformatori in una narrazione lineare in linguaggio naturale). Parificando l'assenza di parole chiave specifiche alla mancanza di influenza causale, la metrica delle Caratteristiche di Distorsione potrebbe sottovalutare le CoT come strumenti di interpretabilità e incentivare le pipeline di addestramento a ottimizzare per una verbalizzazione superficiale piuttosto che per un reale allineamento del ragionamento.

Metodologia

Il documento adotta un approccio multifaccettato per rivalutare la fedeltà delle CoT su tre dataset di ragionamento multi-hop (OpenbookQA, StrategyQA, ARC-Easy) e su vari modelli addestrati con istruzioni e specializzati nel ragionamento (inclusi le varianti di Llama-3, Gemma e Qwen).

1. Riproduzione delle Caratteristiche di Distorsione: Gli autori riproducono la valutazione standard della verbalizzazione dell'indizio utilizzando tre tipi di indizi: "Professore" (opinione testuale), "Metadati" (tag XML) e "Quadrati Neri" (marcatori visivi negli esempi few-shot). Utilizzano un LLM come giudice per determinare se una CoT verbalizza semanticamente l'indizio.
2. Metriche Alternative di Fedeltà: Per testare la robustezza dell'etichetta "infedele", valutano le CoT segnalate come infedeli dalla metrica delle Caratteristiche di Distorsione utilizzando due metriche complementari:
   • Token Riempitivi: Sostituisce la CoT con punti di sospensione ("...") per verificare se il testo di ragionamento abbia un'importanza causale per la previsione.
   • Fedeltà tramite Dimenticanza del Ragionamento (FUR): Dimentica selettivamente singoli passaggi di ragionamento dai parametri del modello per vedere se la previsione cambia, testando l'allineamento parametrico.
3. Metrica Fedele@k: Per distinguere tra infedeltà e incompletezza, gli autori introducono una metrica fedele@k. Questa misura la probabilità di ottenere almeno una CoT che verbalizza l'indizio entro $k$ campioni generati. Se la non-verbalizzazione è dovuta a limiti di token o stocasticità (incompletezza), aumentare $k$ dovrebbe aumentare il tasso di verbalizzazione.
4. Analisi di Mediazione Causale (CMA): Utilizzando il framework di Pearl, gli autori decompongono l'effetto di un indizio sulla previsione finale in:
   • Effetto Diretto Naturale (NDE): L'effetto dell'indizio sulla previsione mantenendo fissa la CoT.
   • Effetto Indiretto Naturale (NIE): L'effetto dell'indizio mediato attraverso la CoT generata (mantenendo fissa l'input ma cambiando la CoT).
     Ciò determina se le CoT non verbalizzanti trasmettono ancora causalmente l'influenza dell'indizio.
5. Analisi Logit Lens: Tracciano i concetti relativi all'indizio attraverso gli strati intermedi del modello (output MHA) per osservare come l'informazione dell'indizio si propaghi anche quando è assente dal testo finale.

Risultati Chiave

• Disaccordo sulla Fedeltà: Mentre la metrica delle Caratteristiche di Distorsione etichetta la stragrande maggioranza delle CoT (spesso >80%) come infedeli, le metriche alternative raccontano una storia diversa.
  • Token Riempitivi: Identifica che una frazione non trascurabile (spesso >20%, fino al 60% in configurazioni specifiche) di CoT "infedeli" è in realtà contestualmente fedele (cioè, la CoT influenza ancora causalmente la previsione).
  • FUR: Mostra che almeno il 50% delle CoT valutabili contiene almeno un passaggio di ragionamento fedele, anche quando non menzionano l'indizio.
• Incompletezza vs Infedeltà: L'analisi fedele@k rivela che aumentare il budget di inferenza (generando più campioni) aumenta significativamente il tasso di verbalizzazione dell'indizio. Per l'indizio "Professore", la probabilità di trovare una CoT verbalizzante sale a quasi il 90% per alcuni modelli a $k=16$. Ciò suggerisce che gran parte della "infedeltà" rilevata dal decoding greedy su singolo campione è in realtà incompletezza dovuta a limiti di token stretti o varianza di campionamento, non a una mancanza fondamentale di allineamento.
• Mediazione Causale: L'Analisi di Mediazione Causale dimostra che anche quando le CoT non verbalizzano gli indizi, mostrano significativi Effetti Indiretti Naturali (NIE). La CoT media causalmente una parte dell'influenza dell'indizio sulla previsione. In alcuni casi, la CoT influenza la previsione sopprimendo le opzioni alternative piuttosto che semplicemente potenziando quella indicata.
• Risultati Logit Lens: I token relativi all'indizio appaiono frequentemente nei top-5 logit degli strati intermedi (in particolare intorno agli strati 20–25) e durante le transizioni contrastive o le frasi riassuntive, anche quando il testo di output finale manca di un esplicito riferimento all'indizio. Ciò conferma che il modello elabora l'indizio internamente prima di generare la narrazione finale.
• Generalizzazione: Questi pattern valgono per modelli più grandi (Llama-3.3-70B) e modelli specializzati nel ragionamento (Qwen-3-32B), sebbene le dinamiche specifiche dell'elaborazione dell'indizio (ad esempio, la predominanza di NDE vs NIE) varino in base al tipo di indizio e all'architettura del modello.

Significato e Affermazioni

Il documento non afferma che tutte le CoT siano fedeli, né respinge l'utilità dei passaggi di verifica. Piuttosto, sostiene che la narrazione secondo cui "la CoT non è interpretabilità" è incompleta e potenzialmente fuorviante quando inferita principalmente da test di verbalizzazione dell'indizio.

I contributi fondamentali degli autori sono:

1. Riformulazione dell'Infedeltà: Sostengono che l'assenza di parole chiave dell'indizio da sola non prova l'infedeltà. La metrica delle Caratteristiche di Distorsione misura spesso la plausibilità (il modello ha menzionato l'indizio?) piuttosto che la fedeltà (l'indizio ha guidato il ragionamento?).
2. Incompletezza come Fattore di Confusione: Una porzione significativa dell'infedeltà misurata è meglio attribuita all'incompletezza della spiegazione dovuta alla compressione o ai limiti di token, piuttosto che a un disallineamento tra la spiegazione e lo stato interno del modello.
3. Toolkit più Ampio: Il documento auspica di andare oltre le valutazioni basate su una singola metrica. Raccomanda di integrare l'analisi di mediazione causale, metriche basate sulla corruzione (come i Token Riempitivi) e metriche basate sulla dimenticanza per costruire una pipeline di interpretabilità più robusta.
4. Ruolo Causale delle CoT Non Verbalizzanti: Anche quando le CoT non verbalizzano esplicitamente gli indizi, possono ancora mediare causalmente l'influenza dell'indizio, agendo come un intermedio significativo nel processo decisionale piuttosto che come una mera razionalizzazione post-hoc.

In conclusione, gli autori avvertono contro il fare affidamento esclusivamente su valutazioni basate sugli indizi per respingere le CoT come infedeli. Suggeriscono che le CoT rimangono strumenti di interpretabilità preziosi, a condizione che siano valutate con un insieme più ampio di metriche che tengano conto delle complessità della traduzione del calcolo distribuito in linguaggio naturale.