Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

1. Il Problema

Le tecniche di attribuzione delle feature post-hoc (come Integrated Gradients o Vanilla Gradient) sono fondamentali per interpretare i modelli linguistici (LM), identificando quali token contribuiscono maggiormente a una previsione. Tuttavia, un problema critico è l'incoerenza: diversi metodi di attribuzione applicati allo stesso input e allo stesso modello spesso producono spiegazioni radicalmente diverse.

Gli autori ipotizzano che questa incoerenza non sia casuale, ma derivi da bias sistematici intrinseci ai metodi di attribuzione stessi. Questi bias si manifestano principalmente in due forme:

1. Bias Lessicale: Preferenza sistematica per certi tipi di token (es. punteggiatura, articoli, verbi) indipendentemente dal loro contenuto semantico reale.
2. Bias Posizionale: Preferenza sistematica per token in specifiche posizioni all'interno della sequenza (es. inizio o fine del testo).

Il rischio è che gli utenti, consapevoli o meno di questi bias, possano fidarsi ciecamente di spiegazioni inaffidabili o scartare metodi utili, compromettendo la comprensione dei modelli.

2. Metodologia

Per isolare e quantificare questi bias, gli autori propongono un framework di valutazione agnostico rispetto al modello e al metodo, strutturato attorno a tre metriche chiave.

A. Dati e Setting Sperimentali

Lo studio utilizza due setting distinti per isolare le variabili:

1. Dati Artificiali (Setting Controllato): Tre dataset generati sinteticamente per un compito di classificazione binaria dove le etichette sono casuali (il modello non può imparare un pattern reale).
   • noun-det-period: Nomi, determinanti e punti.
   • period-comma: Solo punti e virgole.
   • unique-punctuation: Una permutazione casuale di tutti i segni di punteggiatura.
   • Obiettivo: Se il modello non apprende nulla, qualsiasi attribuzione non uniforme rivela un bias del metodo o del modello.
2. Dati Naturali (Setting Semi-controllato): Un compito di rilevamento di relazioni causali su testi reali (temi come cambiamento climatico, politica, traffico). Le frasi vengono permutate per controllare la posizione dei segnali causali.

B. Modelli e Metodi

• Modelli: Confronto tra BERT (base-uncased, 110M parametri) e ModernBERT (149M parametri, con embedding posizionali rotazionali - RoPE).
• Metodi di Attribuzione: Sono stati testati 6 metodi: PartSHAP, LIME, Vanilla Gradient (VanGrad), Grad × Input, Integrated Gradient (IntGrad), IntGrad × Input.

C. Metriche di Valutazione del Bias

Per quantificare il bias, gli autori definiscono tre metriche basate sulla distanza di Jensen-Shannon (JS):

1. Bias-cons (Coerenza Inter-seed): Misura quanto le distribuzioni di attribuzione rimangono coerenti tra diversi seed di inizializzazione casuale dello stesso modello. Un valore basso indica che il bias è stabile e riproducibile.
2. Bias-agg (Bias Aggregato): Misura la deviazione della distribuzione aggregata di un metodo (su 10 modelli addestrati) rispetto a una distribuzione uniforme (baseline di assenza di bias). Indica quanto un metodo è "sbilanciato".
3. Bias-attr (Bias Inter-metodo): Misura quanto un metodo specifico si discosta dalla media degli altri metodi. Serve a identificare gli "outlier" tra i metodi di attribuzione.

3. Risultati Chiave

Trade-off tra Bias Lessicale e Posizionale

Uno dei risultati più significativi è l'esistenza di un trade-off: i modelli e i metodi che mostrano un alto bias posizionale tendono a mostrare un basso bias lessicale, e viceversa. Non esiste una soluzione "perfetta" che minimizzi entrambi contemporaneamente in tutti gli scenari.

Confronto tra Modelli (BERT vs. ModernBERT)

• ModernBERT non è necessariamente meno biasato: Contrariamente all'aspettativa che un'architettura più moderna (con RoPE) riduca il bias, i risultati mostrano che ModernBERT non è sistematicamente superiore.
• Specificità del Bias: BERT mostra un forte bias verso la fine degli input (specialmente nel setting artificiale e nelle classi negative del task causale), mentre ModernBERT mostra pattern diversi, a volte con bias lessicali più marcati.

Correlazione tra Bias-attr e Bias-agg

Gli autori scoprono una forte correlazione empirica: i metodi che divergono maggiormente dagli altri (alto Bias-attr) sono anche quelli che mostrano il bias aggregato più alto (alto Bias-agg) rispetto alla baseline.

• Esempio: Vanilla Gradient mostra spesso il bias più alto (specialmente posizionale), mentre metodi come LIME o IntGrad tendono a essere più allineati con la "consensus" e meno biasati.
• Questo suggerisce che le spiegazioni "anomale" (quelle che si discostano dalla maggioranza) sono più probabili che siano inaffidabili.

Inefficacia delle Metriche di Fedeltà Tradizionali

Le metriche standard di "faithfulness" (sufficienza e comprensività) falliscono nel rilevare questi bias nei modelli che non hanno appreso il compito (setting artificiale). Poiché il modello non basa le sue decisioni su segnali reali, queste metriche restituiscono valori vicini a zero per tutti i metodi, rendendole inutili per distinguere un metodo biasato da uno non biasato in contesti di modelli "deboli".

4. Contributi Principali

1. Framework di Valutazione Agnostico: Introduzione di un sistema strutturato (Bias-cons, Bias-agg, Bias-attr) per isolare e misurare i bias lessicali e posizionali indipendentemente dal task.
2. Scoperta del Trade-off: Dimostrazione empirica che la riduzione di un tipo di bias (es. posizionale) può comportare un aumento dell'altro (lessicale), complicando la scelta del metodo di attribuzione.
3. Validazione dell'Anomalia: Evidenza che le spiegazioni prodotte da metodi che divergono significativamente dalla maggioranza sono statisticamente più propense a essere biasate e quindi inaffidabili.
4. Critica alle Metriche Attuali: Dimostrazione che le metriche di fedeltà standard non sono sufficienti per diagnosticare i bias in modelli che non hanno appreso il compito o in setting controllati.

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sulla valutazione delle spiegazioni (XAI). Invece di cercare un singolo metodo "migliore", gli utenti devono comprendere che l'attribuzione è essa stessa un prodotto con bias intrinseci.

• Per i ricercatori: È necessario testare i metodi di attribuzione su più seed e confrontarli tra loro per identificare outlier.
• Per i praticanti: Non ci si deve fidare ciecamente di un singolo metodo (specialmente se è un outlier rispetto agli altri). La coerenza tra metodi diversi è un indicatore più forte di affidabilità rispetto alla singola spiegazione.
• Sviluppo Futuro: Le nuove architetture (come ModernBERT) non risolvono automaticamente i problemi di bias; la progettazione di metodi di attribuzione deve tenere conto di queste distorsioni sistemiche.

In sintesi, il paper evidenzia che i bias nelle spiegazioni non sono solo rumore, ma "prodotti" strutturati dei metodi di attribuzione, e la loro identificazione richiede un approccio comparativo e sistematico piuttosto che una valutazione isolata.