Sintesi Tecnica: Non tutte le spiegazioni simulano allo stesso modo

Definizione del Problema

Le spiegazioni in linguaggio naturale per i Large Language Models (LLM) sono spesso trattate come un'interfaccia unificata per comprendere il comportamento del modello. Tuttavia, queste spiegazioni originano da fonti diverse — che vanno dall'attribuzione delle caratteristiche di input (identificazione di token o frasi rilevanti) alle razionali auto-generate (come giustificazioni post-hoc o ragionamento Chain-of-Thought). Nonostante condividano l'etichetta di "spiegazione", questi oggetti differiscono fondamentalmente per fonte, granularità, formato e uso previsto.

I protocolli di valutazione precedenti valutano spesso le spiegazioni lungo dimensioni specifiche per tipo, come la fedeltà al processo decisionale, la plausibilità per i lettori umani o l'accordo con le razionali umane. Questo articolo sostiene che tali metriche specifiche per tipo rendono difficile confrontare formati di spiegazione disparati su un terreno comune. La sfida centrale affrontata è: Come possiamo confrontare sistematicamente diversi tipi di spiegazioni degli LLM per determinare quali supportino realmente la comprensione e la predizione del comportamento del modello?

Metodologia

Gli autori propongono un framework di valutazione unificato basato sulla simulabilità controfattuale. Invece di chiedere se una spiegazione sia plausibile in isolamento, questo framework chiede se la spiegazione aiuti un predittore ad anticipare accuratamente il comportamento del modello sotto nuovi input perturbati.

Configurazione Sperimentale

1. Formulazione del Task: La valutazione è inquadrata come un problema di simulazione controfattuale. Dato un input originale $x = (c, q)$ (contesto e domanda) e una risposta del modello $y = M(x)$, viene costruito un input controfattuale $x_{cf} = (c, q_{cf})$ utilizzando lo stesso contesto ma una domanda modificata. Il modello target $M$ produce una vera risposta controfattuale $y_{cf}$.
2. Protocollo di Simulazione: Un giudice LLM ($P$) agisce come predittore per indovinare $y_{cf}$.
   • Fase 1 (Baseline): Il predittore vede $x$, $y$ e $x_{cf}$ ma nessuna spiegazione.
   • Fase 2 (Spiegazione): Il predittore vede gli stessi input più una spiegazione $e$ per la risposta originale $y$.
   • Metrica: La simulabilità è misurata come il guadagno di accuratezza ($\Delta$) nel predire $y_{cf}$ quando la spiegazione viene fornita: $\Delta = \text{Score}(2) - \text{Score}(1)$. Un $\Delta$ positivo indica che la spiegazione migliora la comprensione predittiva.
3. Tipi di Spiegazione Confrontati:
   • Attribuzioni di Caratteristiche Verbalizzate: Utilizzando il framework MExGen, gli autori identificano gli intervalli di input influenti (frasi o token) e li convertono in linguaggio naturale. Testano due strategie di verbalizzazione:
     • Basata su template: Inserimento deterministico delle evidenze con il ranking più alto in template fissi (livello di frase, livello di token e ibrido).
     • LLM-rewriter: Un LLM riscrive le caratteristiche di attribuzione selezionate in un testo fluente senza aggiungere nuove informazioni.
   • Razionali Auto-generate: Spiegazioni generate dai modelli QA target stessi tramite prompting:
     • Post-hoc: Il modello risponde prima, poi fornisce una giustificazione.
     • Chain-of-Thought (CoT): Il modello ragiona passo dopo passo prima di rispondere.
4. Modelli e Dati: Gli esperimenti sono stati condotti sul dataset SQuAD 2.0 utilizzando tre modelli target istruiti per l'istruzione (Llama-3-8B, Qwen2.5-7B, Mistral-7B) e GPT-5-mini come giudice principale. La robustezza è stata verificata con DeepSeek-R1 e un paradigma di addestramento teacher-student.

Contributi Chiave

1. Criterio di Valutazione Unificato: Il documento applica la simulabilità controfattuale come metrica singola per confrontare le spiegazioni basate su attribuzione e le razionali auto-generate, consentendo un confronto diretto tra formati precedentemente valutati in isolamento.
2. Confronto Controllato della Verbalizzazione: Lo studio contrasta le verbalizzazioni basate su template con le versioni riscritte da LLM degli stessi dati di attribuzione, isolando gli effetti della granularità dell'evidenza (frase vs token) dalla fluidità linguistica.
3. Analisi della Granularità e della Fonte: Il lavoro analizza sistematicamente come la fonte della spiegazione, la strategia di verbalizzazione e la granularità delle caratteristiche influenzino la simulabilità attraverso molteplici modelli.

Risultati

Lo studio produce diverse scoperte distinte riguardo a ciò che rende una spiegazione "utile" per la simulazione:

• La Granularità Conta: Le attribuzioni a livello di frase forniscono i guadagni di simulabilità più forti tra i metodi basati su attribuzione. Le attribuzioni a livello di token (anche quando altamente classificate) spesso producono guadagni vicini allo zero o negativi, suggerendo che le parole isolate mancano del contesto necessario per predire il comportamento del modello. Gli approcci ibridi (frase + token) performano meglio dei soli token ma peggio delle pure attribuzioni a livello di frase.
• La Fluidità $\neq$ Utilità: Le spiegazioni riscritte da LLM, pur essendo più fluide di quelle basate su template, non migliorano significativamente la simulabilità. In alcuni casi, performano peggio. Ciò suggerisce che il contenuto informativo (l'evidenza selezionata) guida la simulabilità più della forma linguistica.
• Le Razionali Auto-generate Variano: Esiste un netto contrasto tra le spiegazioni post-hoc e le razionali CoT. Le spiegazioni post-hoc offrono miglioramenti modesti, mentre le razionali CoT forniscono i maggiori guadagni nella predizione controfattuale attraverso tutti i modelli e le metriche.
• Trasferimento Cross-Modello: Le razionali CoT contengono informazioni rilevanti per il task che si generalizzano attraverso diversi modelli (trasferimento cross-modello), sebbene codifichino anche segnali specifici del modello.
• Divergenza del Paradigma di Valutazione: Mentre le razionali CoT mostrano guadagni positivi coerenti sia nelle valutazioni con giudice LLM che in quelle teacher-student, le spiegazioni basate su attribuzione mostrano una discrepanza. Esse performano bene nell'impostazione in-context basata su giudice, ma mostrano guadagni deboli o negativi nell'impostazione teacher-student (addestramento), suggerendo che i segnali di attribuzione siano utili per la predizione immediata ma possano non essere facilmente interiorizzati come supervisione apprendibile.

Significato e Rivendicazioni

Il documento afferma che non tutte le spiegazioni in linguaggio naturale svolgono lo stesso ruolo nel supportare la comprensione del comportamento del modello. La significatività di queste scoperte risiede nello spostamento del focus della valutazione dalla "plausibilità" o "fedeltà" in isolamento all'utilità funzionale: la spiegazione aiuta effettivamente un utente (o un agente automatizzato) a predire come il modello si comporterà su nuovi input?

Gli autori concludono che:

1. Il formato della spiegazione è critico: L'evidenza a livello di frase è superiore all'evidenza a livello di token per la simulazione.
2. La fonte conta: Le razionali CoT sono attualmente il tipo di spiegazione più efficace per anticipare il comportamento del modello, superando sia le giustificazioni post-hoc che le attribuzioni verbalizzate.
3. La valutazione deve essere consapevole del contesto: L'utilità di una spiegazione dipende dal fatto che venga utilizzata per la predizione immediata in-context (dove CoT e le attribuzioni a livello di frase eccellono) o per l'addestramento di modelli interni (dove CoT rimane robusto, ma le attribuzioni potrebbero non trasferirsi).

In definitiva, il lavoro fornisce una guida empirica per la selezione dei formati di spiegazione nei contesti di QA, mettendo in guardia contro l'assunto che tutte le spiegazioni in linguaggio naturale siano ugualmente efficaci per la simulazione.