Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

1. Il Problema

Nonostante i significativi progressi nelle capacità dei Large Language Models (LLM), il loro dispiegamento in scenari reali rivela ancora una vasta gamma di fallimenti. Le analisi esistenti si basano prevalentemente su analisi comportamentali (esaminando input, output e risposte a perturbazioni), che sono efficaci nel categorizzare cosa fallisce, ma non spiegano perché fallisce a livello interno.

Esiste un vuoto nella ricerca riguardo all'uso di strumenti di interpretabilità per analizzare i fallimenti su benchmark realistici e complessi. La maggior parte dei lavori precedenti si è concentrata su:

• Prompt brevi o scenari "toy" (semplici).
• Template di prompt altamente vincolati.
• Assenza di contesti lunghi (migliaia di token), tipici delle task agentiche o di ragionamento complesso.

Le sfide principali includono la natura open-ended dei fallimenti reali, la lunghezza dei contesti di input e la difficoltà computazionale di applicare metodi di interpretabilità (come la propagazione della rilevanza) su modelli di grandi dimensioni e su lunghe sequenze.

2. Metodologia

Gli autori propongono un framework basato sull'Attribuzione Contrastiva (Contrastive Attribution) per spiegare perché un modello preferisce un token di output errato rispetto a un'alternativa corretta.

A. Formulazione del Problema

Il fallimento è modellato come la differenza di logit ($\Delta \ell$) tra un token target errato ($t_{tgt}$) e un token contrastivo corretto ($t_{con}$):
$$\Delta \ell = \ell(t_{tgt}) - \ell(t_{con})$$
L'obiettivo è attribuire questa differenza ai token di input e agli stati interni del modello (hidden states) attraverso i vari strati.

B. Strumento di Interpretazione: AttnLRP

Il paper utilizza AttnLRP (Attention-aware Layer-wise Relevance Propagation), una variante dello stato dell'arte del framework LRP. AttnLRP è scelto per la sua superiorità nella fedeltà (faithfulness) rispetto ad altri metodi basati su gradienti o perturbazioni, permettendo di decomporre la differenza di logit in contributi additivi provenienti da input e stati nascosti.

C. Estensione Efficiente per Contesti Lunghi

Un contributo metodologico chiave è l'introduzione di un metodo efficiente per costruire grafici di attribuzione cross-layer per input a contesto lungo.

• Sfida: Costruire un grafo completo richiede di propagare la rilevanza da ogni stato nascosto di uno strato a quello successivo, il che richiederebbe un numero proibitivo di passaggi di backpropagation ($O(n)$).
• Soluzione: Gli autori introducono una tecnica di batch-packing multi-target. Sfruttando la dimensione del batch, raggruppano più target di attribuzione in un singolo passaggio di backpropagation, riducendo drasticamente il costo computazionale e rendendo fattibile l'analisi su centinaia di casi di fallimento.
• Pruning: Per migliorare l'interpretabilità, il grafo viene potato rimuovendo nodi ed edge con rilevanza inferiore a una soglia, mantenendo solo i percorsi di rilevanza dominanti.

D. Analisi Coarse-to-Fine

L'analisi viene condotta in due fasi:

1. Livello Grezzo (Hidden-State): Aggregazione della rilevanza per token di input per identificare pattern generali (es. heatmap).
2. Livello Fine (Neuronale): Costruzione di grafi di attribuzione dettagliati solo per i casi che non sono spiegabili a livello grezzo, per tracciare le dinamiche interne tra strati.

3. Contributi Chiave

1. Formulazione del problema: Trasformazione dell'analisi dei fallimenti degli LLM in un problema di attribuzione contrastiva a livello di token, applicabile a scenari realistici.
2. Scalabilità: Sviluppo di un'estensione efficiente di LRP che permette la costruzione di grafi di attribuzione cross-layer per input lunghi, superando i limiti computazionali precedenti.
3. Studio Empirico Sistematico: La prima analisi su larga scala che confronta i pattern di attribuzione attraverso diversi dataset (IFEval, GAIA2, MATH, EvalPlus), dimensioni di modello e checkpoint di addestramento.
4. Open Source: Rilascio del codice e degli strumenti per il debug XAI (Explainable AI).

4. Risultati Principali

Lo studio è stato condotto su centinaia di casi di fallimento raccolti da benchmark come GAIA2 (task agentiche a lungo contesto), IFEval (seguimento istruzioni), MATH (ragionamento matematico) e EvalPlus (codice).

A. Tipologie di Fallimento Identificate

L'analisi ha rivelato tre categorie principali di fallimenti:

1. M-IA (Manifested by Input Attribution): Il fallimento è visibile direttamente nelle heatmap di attribuzione in input.
2. NC-IA + M-AG (No Clue from Input, Manifested by Graph): Il fallimento non è evidente dall'input, ma emerge dall'analisi del grafo di attribuzione (dinamiche interne tra strati).
3. NC-IA+AG: Il fallimento non è spiegabile né dall'input né dal grafo (richiede analisi più fini, spesso neuronali).

I pattern di errore più comuni sono:

• URT (Underweight Relevant Tokens): Il modello assegna poca rilevanza ai token di input critici (es. vincoli negativi come "non usare virgole").
• OIT (Overweight Irrelevant Tokens): Il modello sovrastima token irrilevanti o fuorvianti.
• URT + OIT: Una combinazione dei due.
• Risultato: L'URT è il pattern dominante, specialmente nei benchmark di ragionamento e codice.

B. Effetti del Scaling (Dimensione del Modello)

Confrontando modelli Qwen3 di diverse dimensioni (0.6B, 1.7B, 4B):

• I modelli più grandi tendono a correggere i fallimenti dei modelli più piccoli.
• L'analisi di attribuzione mostra che questa correzione è accompagnata da spostamenti sistematici e interpretabili: i modelli più grandi assegnano rilevanza negativa ai segmenti di prompt che portano all'errore (es. ignorare le istruzioni) e rilevanza positiva ai vincoli corretti.
• Questo suggerisce che lo scaling non è solo una questione di memorizzazione, ma di un reale miglioramento nel processo di ragionamento e nell'attenzione ai vincoli.

C. Evoluzione durante l'Addestramento

Analizzando i checkpoint di un modello (Olmo-3-7B-Think) durante il SFT (Supervised Fine-Tuning) e il RLVR (Reinforcement Learning):

• Le correzioni dei fallimenti avvengono in modo graduale e sistematico.
• Le fasi iniziali di SFT riducono la rilevanza sui token di risposta superficiale, aumentando l'attenzione alla semantica dell'istruzione.
• I checkpoint finali mostrano uno spostamento chiaro verso valori di rilevanza negativa per i token che causano errori, confermando che l'addestramento corregge i meccanismi interni.

D. Limiti

• L'attribuzione contrastiva a livello di token non è universalmente applicabile. In particolare, per il benchmark MATH, una frazione significativa di fallimenti rimane inspiegabile anche con i grafi di attribuzione, suggerendo la necessità di analisi a livello di neurone per errori di calcolo numerico complesso.
• Una parte dei fallimenti è dovuta a bias interni (es. token BOS) che sovrastano il contesto, specialmente negli strati finali.

5. Significato e Implicazioni

Questo lavoro dimostra che l'interpretabilità non è solo teorica, ma offre valore diagnostico concreto per l'analisi dei fallimenti degli LLM in scenari reali.

• Debug Mirato: Le heatmap di attribuzione possono guidare il "prompt tuning" mirato, identificando esattamente quali token dell'input stanno guidando l'errore.
• Monitoraggio dell'Addestramento: I pattern di attribuzione possono essere usati come metrica diagnostica per monitorare se un modello sta imparando a correggere i fallimenti in modo genuino o solo superficialmente.
• Allineamento (Alignment): I punteggi di attribuzione possono fornire segnali di importanza a livello di token per ottimizzare l'allineamento (es. DPO), focalizzandosi sui token che guidano realmente le preferenze errate.
• Futuro: Il paper evidenzia la necessità di strumenti più espressivi e scalabili per spiegare errori complessi che emergono da sequenze di ragionamento multi-step, suggerendo un passaggio verso attribuzioni contrastive a livello di frase o di passo.

In sintesi, il paper valida l'uso dell'attribuzione contrastiva basata su LRP come strumento pratico per "vedere dentro" i modelli, fornendo spiegazioni meccanicistiche sui fallimenti che vanno oltre la semplice osservazione comportamentale.