Sintesi Tecnica: GECOBench: Un Dataset di Testo e un Benchmark con Controllo del Genere per Quantificare i Bias nelle Spiegazioni

Definizione del Problema

I grandi modelli linguistici pre-addestrati (PLM), come BERT, sono addestrati su vasti corpora contenenti bias sociali intrinseci, inclusi gli stereotipi di genere. Sebbene sia noto che questi bias influenzino i pesi del modello e il comportamento delle predizioni, rimane poco chiaro in che misura essi si propaghino nelle attribuzioni di caratteristiche (feature attributions) generate dai metodi di Intelligenza Artificiale Spiegabile (XAI). Nello specifico, manca un framework rigoroso e centrato sui dati per valutare se i metodi XAI identifichino correttamente le caratteristiche che guidano una predizione o se evidenzino involontariamente correlazioni non causali e distorte presenti nei dati di pre-addestramento. Gli attuali benchmark si affidano spesso a metriche di "fedeltà" (faithfulness) o a razionali annotati da esseri umani, che potrebbero non allinearsi con le associazioni statistiche o la verità fondamentale dell'importanza delle caratteristiche, rendendo difficile valutare oggettivamente la correttezza delle spiegazioni in presenza di bias.

Metodologia

1. Il Dataset GECO

Gli autori introducono GECO, un dataset di testo con controllo del genere progettato per fornire attribuzioni di caratteristiche "ground truth" per compiti di classificazione del genere.

• Costruzione: Le frasi sono tratte da pagine di Wikipedia corrispondenti a romanzi classici (tramite il progetto Gutenberg).
• Manipolazione: Ogni frase è generata in tre varianti di genere grammaticale: Maschile ($x^M$), Femminile ($x^F$) e Non-binario ($x^{NB}$).
  • Manipolazione del solo soggetto ($D_S$): Solo i pronomi soggetti grammaticali vengono alterati (es. "Lei" $\to$ "Lui"). Questo crea un compito più impegnativo in cui il modello deve distinguere tra i generi del soggetto e dell'oggetto.
  • Manipolazione di tutto il genere ($D_A$): Tutte le parole relative al genere (pronomi, possessivi e sostantivi di genere come "Zia" $\to$ "Zio") vengono alterate.
• Ground Truth: Per costruzione, le parole alterate sono le uniche caratteristiche discriminanti. Pertanto, la mappa di attribuzione delle caratteristiche ground truth è binaria: 1 per le parole alterate, 0 per tutte le altre. Ciò consente la valutazione oggettiva del fatto che un metodo XAI evidenzi le caratteristiche statisticamente associate (Proprietà di Associazione Statistica - SAP).
• Verifica del Bias: Gli autori verificano che il dataset stesso sia privo di bias utilizzando una metrica di co-occorrenza, assicurando che le deviazioni nelle spiegazioni del modello derivino dai bias di pre-addestramento del modello piuttosto che dai dati.

2. Il Framework GECOBench

GECOBench è un framework di valutazione quantitativa applicato al dataset GECO per valutare le prestazioni della XAI.

• Modelli: Il framework valuta il modello pre-addestrato BERT sotto quattro distinti paradigmi di addestramento per isolare l'impatto di diversi strati architettonici:
  1. BERT-C: Solo lo strato di classificazione viene ri-addestrato; gli strati di Embedding e Attention sono fissi.
  2. BERT-CE: Gli strati di Embedding e Classificazione vengono ri-addestrati da zero; l'Attention è fisso.
  3. BERT-CEf: Gli strati di Embedding e Classificazione vengono sottoposti a fine-tuning; l'Attention è fisso.
  4. BERT-CEfAf: Gli strati di Embedding, Attention e Classificazione sono tutti sottoposti a fine-tuning.
  • Baseline: Un modello BERT zero-shot (BERT-ZS) e un modello vanilla a un solo strato di attenzione (OLA-CEA) addestrato da zero su GECO (privo di bias di pre-addestramento) sono utilizzati per il confronto.
• Metodi XAI Valutati: Lo studio applica vari metodi di attribuzione post-hoc, inclusi approcci basati sul gradiente (Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients) e metodi surrogati (LIME, Kernel SHAP, Gradient SHAP).
• Metrica di Valutazione: Viene utilizzata la metrica Mass Accuracy (MA) per quantificare la correttezza. La MA misura la sovrapposizione tra i punteggi di attribuzione normalizzati e la maschera binaria ground truth, penalizzando i falsi positivi (evidenziare parole non appartenenti al ground truth) pur essendo robusta ai falsi negativi (mancare di alcune parole del ground truth).
• Quantificazione del Bias: Gli autori definiscono la Relative Mass Accuracy (RMA) per misurare la deviazione delle prestazioni della spiegazione rispetto a una baseline zero-shot, quantificando il "bias della spiegazione".

Contributi Chiave

1. Dataset GECO: Un nuovo dataset controllato per genere con attribuzioni di caratteristiche ground truth a livello di parola, che consente la valutazione oggettiva della correttezza della XAI basata sull'associazione statistica.
2. GECOBench: Un workflow di benchmarking rigoroso per quantificare come i bias di pre-addestramento influenzino le attribuzioni di caratteristiche e come le strategie di fine-tuning mitigino tali bias.
3. Analisi Empirica del Bias nelle Spiegazioni: Il documento dimostra che i metodi di attribuzione delle caratteristiche sono suscettibili ai bias di pre-addestramento e che la correttezza di queste spiegazioni dipende fortemente da quali strati del modello vengono sottoposti a fine-tuning.

Risultati

Prestazioni della Spiegazione (RQ1)

• Difficoltà del Dataset: Le prestazioni sul dataset del solo soggetto ($D_S$) sono generalmente inferiori rispetto al dataset di tutto il genere ($D_A$) in tutti i metodi, probabilmente a causa del numero ridotto di token discriminanti.
• Confronto tra Metodi: Integrated Gradients, LIME e Gradient SHAP superano costantemente gli altri metodi e la baseline casuale.
• Confronto con la Baseline: Il Pattern Variant (un metodo indipendente dal modello basato sulla covarianza input-target) funge da limite superiore per le prestazioni. Sebbene nessun metodo raggiunga il punteggio del Pattern Variant, Integrated Gradients e Gradient SHAP si comportano bene nel regime di transfer learning.
• Modello Unbiased: Il modello OLA-CEA (addestrato da zero senza pre-addestramento) mostra prestazioni di spiegazione significativamente più elevate in tutti i metodi, confermando che i bias di pre-addestramento degradano la qualità della spiegazione.

Mitigazione del Bias (RQ2)

• Dipendenza dagli Strati: Esiste una chiara dipendenza tra le prestazioni della spiegazione e il numero di strati sottoposti a fine-tuning.
• Impatto dell'Embedding: I modelli in cui lo strato di embedding viene ri-addestrato o sottoposto a fine-tuning (BERT-CE, BERT-CEf) mostrano il miglioramento più significativo nella correttezza della spiegazione rispetto ai modelli con embedding fissi (BERT-C).
• Bias Residuo: Anche quando l'accuratezza della classificazione è mantenuta costante attraverso diversi regimi di addestramento, i modelli con embedding fissi mantengono bias residui che influenzano negativamente la correttezza delle attribuzioni delle caratteristiche. Il fine-tuning degli embedding è dimostrato essere la strategia più efficace per mitigare questi bias.
• Osservazioni Specifiche: In alcuni casi, i metodi XAI su modelli distorti evidenziano parole irrilevanti (es. "Bella" invece del pronome "lei") a causa delle associazioni di pre-addestramento, mentre i modelli non distorti si concentrano correttamente sui pronomi alterati.

Significato e Rivendicazioni

Il documento afferma che GECOBench fornisce il primo framework sistematico e centrato sui dati per valutare la correttezza delle attribuzioni di caratteristiche nell'NLP, affrontando specificamente la tensione tra spiegazioni model-centric e data-centric.

• Propagazione del Bias: Lo studio stabilisce che i bias nei corpora di pre-addestramento non sono limitati agli output di predizione, ma permeano anche le spiegazioni generate dalla XAI.
• La Correttezza come Indicatore di Bias: Gli autori sostengono che la correttezza data-centrica delle attribuzioni di caratteristiche (specificamente l'aderenza alla SAP) sia indicativa dei bias sottostanti del modello.
• Strategia di Mitigazione: I risultati suggeriscono che il semplice fine-tuning della testa di classificazione è insufficiente per ottenere spiegazioni non distorte; il ri-addestramento o il fine-tuning degli strati di embedding è necessario per mitigare l'influenza dei bias di pre-addestramento sulle attribuzioni delle caratteristiche.
• Ambito: Gli autori pongono questo lavoro come un primo passo verso una valutazione sistematica del bias nella XAI. Riconoscono i limiti, come la semplificazione del genere tramite l'alterazione dei pronomi e l'attenzione alle associazioni statistiche univariate, ma sottolineano che il framework riesce a isolare e quantificare con successo l'impatto del bias sulla correttezza della spiegazione in un ambiente controllato.

Il documento conclude che è necessaria cautela nell'uso dei metodi XAI per il debugging del modello o per compiti a valle (come l'analisi del sentiment) su modelli pre-addestrati, poiché le attribuzioni distorte possono evidenziare token legati al genere in modo spurio anziché caratteristiche semanticamente rilevanti.