💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

Questo articolo introduce il framework di valutazione $\pi$ -Soft-NC e $\pi$ -Soft-NS per controllare i conteggi delle parole conservate nella valutazione della fedeltà dell'attribuzione negli LLM decoder-only, insieme al metodo Grad-ELLM che combina efficacemente segnali di gradiente e di attenzione per ottenere prestazioni fortemente orientate alla completezza.

Autori originali: Xin Huang, Antoni B. Chan

Pubblicato 2026-05-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xin Huang, Antoni B. Chan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Confrontare Mele con Arance

Immagina di essere un giudice che deve decidere quale detective è migliore nel risolvere un mistero. Hai due detective, Detective A e Detective B.

Detective A trova 5 indizi, ma sono tutti molto importanti.
Detective B trova 50 indizi, ma solo 5 sono effettivamente utili; il resto è solo rumore.

In passato, i ricercatori cercavano di misurare la "fedeltà" (quanto bene un'IA spiega il proprio ragionamento) osservando quanto cambiava la risposta dell'IA quando si rimuovevano gli indizi indicati dal detective.

Il Difetto: Il vecchio modo di misurare era così: se Detective B ti dava una lista di 50 indizi e ne rimuovevi 45, la risposta dell'IA poteva cambiare molto semplicemente perché avevi rimosso tante parole, non perché gli indizi fossero cattivi. Se Detective A ti dava una lista breve di 5 indizi, rimuoverli poteva cambiare meno la risposta, semplicemente perché c'erano meno parole fin dall'inizio.

Le vecchie metriche erano ingiuste. Confrontavano un detective che conservava molte informazioni con uno che ne conservava pochissime, facendo sembrare che colui che ne conservava di più fosse "migliore" nel spiegare le cose, anche se la sua logica era confusa.

La Soluzione: La Regola della "Conservazione Uguale"

Gli autori di questo documento propongono una nuova regola per il gioco: Ognuno deve conservare esattamente la stessa quantità di informazioni.

Introducono un nuovo metodo chiamato $\pi$ -Soft-NC e $\pi$ -Soft-NS. Pensa a $\pi$ (Pi greco) come a un "manopola del volume" per le informazioni.

Se imposti la manopola a 0,5, sia Detective A che Detective B devono conservare esattamente il 50% delle parole nella frase.
Se la imposti a 0,1, entrambi devono conservare solo il 10%.

Costringendo entrambi i metodi a "conservare" la stessa quantità di informazioni, puoi finalmente vedere chi ha effettivamente scelto le parole giuste per spiegare la decisione dell'IA, piuttosto che chi ha scelto semplicemente le parole più numerose.

Il Nuovo Detective: Grad-ELLM

Gli autori hanno anche costruito un nuovo metodo detective chiamato Grad-ELLM per testare questa nuova regola.

Come funziona: Immagina un'IA che scrive una storia parola per parola (come una reazione a catena). Per capire perché l'IA ha scelto la parola successiva, Grad-ELLM osserva due cose simultaneamente:
1. La mappa dell'"Attenzione": Su quali parole ha guardato l'IA? (Come su chi l'IA sta fissando in una stanza).
2. La mappa del "Gradiente": Quanto ha cambiato effettivamente il risultato modificare quelle parole? (Come quanto cambia la temperatura della stanza se sposti un specifico termosifone).

Grad-ELLM combina queste due prospettive. Non sceglie semplicemente la singola parola "più importante"; crea una mappa continua e fluida dell'importanza attraverso l'intera frase. È come una mappa termica che mostra esattamente dove si trova il "calore" (importanza), invece di indicare semplicemente un dito su un punto.

Cosa Hanno Scoperto

Gli autori hanno testato la loro nuova regola e il loro nuovo detective su famosi modelli di IA (Llama e Mistral) utilizzando compiti come:

Analisi del Sentimento: Decidere se una recensione di un film è positiva o negativa.
Generazione Aperta: Scrivere risposte a domande o continuare una storia.

I Risultati:

La Vecchia Regola era di Parte: Quando usavano le vecchie metriche, i metodi che conservavano molte parole sembravano artificialmente buoni.
La Nuova Regola Rivela la Verità: Sotto la nuova regola della "Conservazione Uguale", Grad-ELLM si è dimostrato eccellente nel trovare prove ampie. Ha mostrato che la decisione dell'IA era sostenuta da un'ampia gamma di parole che lavoravano insieme (come un coro di voci).
Nessun Vincitore Unico: Interessantemente, nessun singolo metodo era il migliore in tutto.
- Alcuni metodi erano ottimi nel trovare le una o due parole più critiche (come trovare la "pistola fumante").
- Grad-ELLM era ottimo nel mostrare l'intero quadro di quante parole contribuivano alla risposta.

Il Messaggio Chiave

Questo documento è come un nuovo set di bilance per una pasticceria. Prima, se pesavi una torta con un piatto pesante e un biscotto con un piatto leggero, non potevi dire quale dolce fosse effettivamente più pesante. Gli autori hanno aggiunto un piatto standard a entrambi i lati.

Hanno anche impastato un nuovo tipo di torta (Grad-ELLM) che distribuisce il suo sapore uniformemente in tutta la massa, invece di avere solo pochi punti dolci. Le loro nuove bilance mostrano che mentre alcuni metodi sono bravi a trovare i "punti dolci", il loro nuovo dolce è migliore nel mostrare come l'intero dessert sia composto.

In breve: Hanno corretto il modo in cui testiamo le spiegazioni delle IA in modo che non siamo ingannati dalla quantità di parole, e hanno introdotto un nuovo metodo che offre un quadro più completo e onesto di come l'IA pensa.

Riepilogo Tecnico: Valutazione della Fedeltà per le Attribuzioni di LLM Decoder-only con Informazioni Conservate Controllate

Enunciato del Problema

I Large Language Models (LLM), in particolare le architetture decoder-only come Llama e Mistral, sono sempre più valutati utilizzando metodi di attribuzione in input per spiegare i loro processi decisionali. Tuttavia, confrontare la "fedeltà" (affidabilità) di queste spiegazioni rimane una sfida.

Le esistenti metriche di fedeltà basate su perturbazione soft, in particolare Soft-NC (Comprehensiveness Soft Normalizzata) e Soft-NS (Sufficienza Soft Normalizzata), soffrono di un pregiudizio critico. Queste metriche valutano la qualità dell'attribuzione perturbando gli input in base ai punteggi di attribuzione. Tuttavia, diversi metodi di attribuzione producono spesso distribuzioni di punteggi con medie diverse. Di conseguenza, i metodi con punteggi medi più alti conservano più parole durante la perturbazione soft, gonfiando artificialmente i loro punteggi di fedeltà semplicemente perché l'input perturbato contiene più informazioni, e non perché l'attribuzione è più accurata. Questo problema è particolarmente pronunciato negli LLM decoder-only autoregressivi, dove le distribuzioni dei punteggi di attribuzione possono variare significativamente tra i passaggi di generazione.

Metodologia

1. $\pi$ -Soft-NC e $\pi$ -Soft-NS

Per affrontare il pregiudizio nelle metriche esistenti, gli autori propongono $\pi$ -Soft-NC e $\pi$ -Soft-NS. Si tratta di framework di valutazione che confrontano i metodi di attribuzione sotto una probabilità target di conservazione controllata ( $\pi$ ).

Meccanismo: Invece di confrontare i punteggi di attribuzione grezzi, il framework trasforma ogni distribuzione di attribuzione utilizzando una trasformazione alfa ( $\tilde{s}_i = s_i^\alpha$ ). Il parametro $\alpha$ viene risolto numericamente (ad esempio, tramite ricerca dicotomica) in modo che la probabilità di conservazione attesa dei punteggi trasformati corrisponda a un target specifico $\pi \in [0, 1]$ .
Confronto Equo: Costringendo metodi diversi a conservare la stessa quantità attesa di informazioni (stesso $\pi$ ), la valutazione isola la qualità e la calibrazione della distribuzione di attribuzione dalle differenze nella forza della perturbazione.
Protocolli di Valutazione: Gli autori introducono due protocolli per valutare diversi aspetti dell'attribuzione:
- Dynamic-Routing: L'attenzione del transformer viene ricalcolata dinamicamente in base all'input perturbato. Questo misura come le attribuzioni identificano parole utili in condizioni di modello variabili.
- Fixed-Routing: Le mappe di attenzione vengono memorizzate (cached) dall'input originale non perturbato e riutilizzate durante la perturbazione. Questo isola il contributo causale del contenuto del token dalla riallocazione dell'attenzione.
Visualizzazione: Scansionando $\pi$ da 0 a 1 si genera una curva ( $\pi$ -Soft-NC/NS vs. $\pi$ ). L'Area Sotto la Curva (AUC) riassume le prestazioni. Punteggi elevati a basso $\pi$ indicano evidenze sufficienti compatte, mentre prestazioni forti ad alto $\pi$ indicano una comprensività ampia.

2. Grad-ELLM

Gli autori introducono Grad-ELLM, un metodo di attribuzione basato sul gradiente progettato specificamente per gli LLM decoder-only autoregressivi.

Ispirazione: Adatta il concetto di aggregazione gradiente-attenzione da Grad-ECLIP (progettato per modelli visione-linguaggio con doppio encoder) alla generazione sequenziale di testo.
Meccanismo:
- Per ogni passaggio di decodifica, calcola l'attribuzione rispetto al logit del token successivo.
- Combina l'importanza del canale derivata dal gradiente (sensibilità del logit ai canali di output dell'attenzione) con l'importanza del token derivata dall'attenzione (pesi del token).
- Per evitare pesi softmax eccessivamente sparsi e "piccati", impiega una normalizzazione "allentata" (normalizzazione min-max) sulle similarità query-chiave, risultando in una distribuzione di attribuzione continua.
- I punteggi di attribuzione vengono aggregati attraverso i livelli selezionati del decoder per formare la mappa di calore finale.

Contributi Chiave

Identificazione del Pregiudizio: Il documento identifica che le esistenti metriche Soft-NC/NS confrontano ingiustamente metodi con medie di punteggio diverse, poiché valutano intrinsecamente quantità diverse di informazioni conservate.
Nuove Metriche di Valutazione: La proposta di $\pi$ -Soft-NC e $\pi$ -Soft-NS, che normalizzano i confronti controllando l'informazione conservata attesa tramite una probabilità target $\pi$ .
Nuovo Metodo di Attribuzione: L'introduzione di Grad-ELLM, che integra segnali di gradiente e di attenzione specificamente per la natura sequenziale degli LLM decoder-only.
Analisi Empirica Completa: Un confronto rigoroso di metodi di attribuzione rappresentativi (inclusi Attention, Saliency, Integrated Gradients, DeepLIFT, Value Zeroing e ReAGent) attraverso compiti di classificazione e generazione aperta.

Risultati Sperimentali

Gli esperimenti sono stati condotti su Llama-3.1-8B e Mistral-7B (con risultati aggiuntivi su 70B) su cinque dataset (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

Diagnosi delle Metriche Originali: L'analisi di Soft-NC/NS grezzi ha confermato il pregiudizio; metodi come Random e Grad-ELLM hanno conservato significativamente più token (più alto $\pi$ ) rispetto a metodi sparsi come DeepLIFT, portando a punteggi non confrontabili.
Prestazioni sotto $\pi$ -Soft-NC: Grad-ELLM ha ottenuto la fedeltà orientata alla comprensività più forte (media AUC più alta) sia su Llama che su Mistral. Ciò suggerisce che Grad-ELLM identifica efficacemente una copertura ampia delle evidenze.
Prestazioni sotto $\pi$ -Soft-NS: Nessun metodo singolo ha dominato la valutazione orientata alla sufficienza ( $\pi$ -Soft-NS). Metodi sparsi come Input $\times$ Gradient hanno performato bene nella top-3, indicando che potrebbero identificare più precisamente le parole più critiche, ma nessun metodo è stato universalmente superiore.
Confronto con Random: La maggior parte dei metodi ha mostrato un vantaggio rispetto alle attribuzioni casuali solo quando la probabilità di conservazione $\pi > 0.5$ . Ciò suggerisce che per questi compiti è necessaria un'informazione contestuale significativa (più dei soli token classificati per primi) o che i metodi attuali faticano con l'ordinamento preciso delle attribuzioni principali.
Analisi Qualitativa: Negli esempi di classificazione del sentiment, Grad-ELLM ha evidenziato con successo frasi composizionali (ad esempio, "very little positive") piuttosto che token isolati (ad esempio, "positive"), catturando meglio la sfumatura della negazione rispetto ai baseline.

Significato e Affermazioni

Il documento afferma che il suo framework di valutazione proposto fornisce uno standard rigoroso per confrontare i metodi XAI per gli LLM. Controllando l'informazione conservata, $\pi$ -Soft-NC/NS permette ai ricercatori di distinguere tra metodi che offrono evidenze sufficienti compatte e quelli che forniscono evidenze orientate alla comprensività ampia.

Gli autori sottolineano che Grad-ELLM è progettato per produrre distribuzioni di attribuzione dense e calibrate piuttosto che classifiche estremamente sparse. Di conseguenza, mentre Grad-ELLM eccelle sotto le metriche di perturbazione soft proposte, potrebbe non essere ottimale per le metriche di ranking basate su perturbazione hard (come Inserimento/Cancellazione) dove l'ordinamento di pochi token principali domina. Il documento conclude che l'attribuzione fedele dovrebbe essere valutata lungo più assi (sufficienza vs. comprensività) piuttosto che affidarsi a una singola metrica, e che le metriche proposte supportano i progressi nella comprensione di come le evidenze di attribuzione siano organizzate nei modelli autoregressivi.

Limitazioni riconosciute dagli autori:

Grad-ELLM richiede l'accesso agli stati interni del modello (gradienti, attenzione), limitandolo ai modelli open-source.
Lo studio si concentra sulla fedeltà, non sulla plausibilità (interpretabilità umana), che rimane difficile da quantificare oggettivamente.
Le metriche fanno ancora affidamento su perturbazioni a livello di embedding, che potrebbero non allinearsi perfettamente con le distribuzioni di testo naturale.