Sensivity of LLMs' Explanations to the Training Randomness:Context, Class & Task Dependencies

Questo studio dimostra che la sensibilità delle spiegazioni dei modelli Transformer alla casualità del training è statisticamente significativa e varia in base al contesto sintattico, alle classi e ai compiti, risultando rispettivamente minima, media e massima.

L'essenziale

Immagina di avere un gruppo di 200 chef (i modelli di intelligenza artificiale) che hanno tutti ricevuto lo stesso identico libro di ricette (i dati di addestramento) e gli stessi ingredienti. Tuttavia, c'è un piccolo dettaglio: ogni chef ha un po' di "creatività casuale" quando inizia a cucinare. Alcuni mescolano gli ingredienti in un ordine leggermente diverso, altri tagliano le verdure con un ritmo variabile.

Il risultato? Tutti i chef preparano un piatto che sa quasi esattamente allo stesso modo (sono tutti bravi e precisi). Ma se chiedi loro: "Perché hai messo questo sale proprio qui?" o "Qual è stato l'ingrediente segreto che ha fatto la differenza?", le loro risposte possono essere completamente diverse.

Questo è il cuore del paper che hai condiviso. Gli autori (Romain, Jérémie e François-Xavier) hanno scoperto che le spiegazioni che diamo all'intelligenza artificiale sono molto fragili e cambiano a seconda di tre cose principali. Ecco come funziona, spiegato con parole semplici e analogie:

1. L'Ordine delle Parole (Il Contesto)

Immagina di avere una frase: "John ha mangiato la mela".
Se mescoli le parole come se fossero carte da gioco ("Mela John ha la mangiato"), il significato diventa assurdo, ma le parole sono le stesse.

• La scoperta: Quando le parole sono in ordine logico, i chef (i modelli) sono d'accordo su quale parola sia importante. Se mescoli le parole, anche se il modello impara comunque a riconoscere il senso, le sue spiegazioni diventano un po' più "nervose" e meno stabili.
• L'analogia: È come se, se le istruzioni fossero scritte in ordine, tutti i cuochi indicassero il sale come ingrediente chiave. Se le istruzioni sono scritte a caso, alcuni cuochi potrebbero indicare il sale, altri il pepe, anche se il piatto finale è buono.
• Conclusione: L'ordine delle parole ha un impatto, ma è il meno grave dei tre fattori.

2. La Presenza o Assenza di "Indizi Chiave" (Le Classi)

Ora immagina due tipi di indovinelli:

• Indovinello A: "Trova la parola 'John'". È facile, c'è un indizio chiaro.

• Indovinello B: "Trova la parola 'John', ma se non c'è, devi dire che la frase è diversa". Qui, se la parola manca, non c'è nessun indizio visibile da puntare con il dito.

• La scoperta: Quando l'intelligenza artificiale deve spiegare una decisione basata su un indizio chiaro (come la parola "John"), le spiegazioni sono stabili. Ma quando deve spiegare una decisione basata sull'assenza di qualcosa (quando "John" non c'è), le spiegazioni diventano molto più variabili e confuse.

• L'analogia: Se devi trovare un ago in un pagliaio, tutti diranno "l'ho trovato perché c'era l'ago". Ma se devi spiegare perché non hai trovato l'ago, ognuno di voi guarderà cose diverse (un filo rosso, un sasso, un'ombra) e dirà: "Ecco perché non c'era". Nessuno è d'accordo su cosa guardare.

• Conclusione: Questo è un fattore di media importanza. Se il modello deve spiegare un "non-evento", le sue giustificazioni sono meno affidabili.

3. Il Tipo di Compito (L'Obiettivo)

Infine, confrontiamo due compiti molto diversi:

• Compito 1: Distinguere tra articoli di "Astronomia" e "Matematica". Le parole sono molto diverse (stelle vs numeri). È facile.

• Compito 2: Distinguere tra "Notizie" e "Opinioni". Le parole sono simili, bisogna capire il tono, il contesto profondo e le sfumature. È difficile.

• La scoperta: La stabilità delle spiegazioni cambia drasticamente a seconda di quanto è difficile il compito. Per il compito facile (Astronomia vs Matematica), le spiegazioni sono molto stabili. Per il compito difficile (Notizie vs Opinioni), le spiegazioni cambiano molto da un modello all'altro.

• L'analogia: Se devi dire se una macchina è rossa o blu, tutti saranno d'accordo. Ma se devi dire se una persona è "gentile" o "scortese" basandoti su una conversazione, ognuno di voi potrebbe guardare cose diverse (un sorriso, un tono di voce, una parola specifica) e dare spiegazioni diverse.

• Conclusione: Questo è il fattore più importante. Più il compito è complesso e sfumato, meno le spiegazioni dell'IA sono stabili e affidabili.

In sintesi: Cosa ci dicono questi risultati?

Gli autori ci dicono che non possiamo fidarci ciecamente di una singola spiegazione data dall'IA. È come se chiedessimo a un solo chef perché ha cucinato quel piatto: la sua risposta potrebbe essere solo una delle tante possibili.

• Il problema: Se cambiamo leggermente come l'IA viene addestrata (il "caso" iniziale), le sue spiegazioni cambiano.
• La soluzione suggerita: Dobbiamo guardare le spiegazioni come un insieme di opinioni (una distribuzione) e non come una verità assoluta.
• Il messaggio finale: Quando l'IA deve fare compiti complessi o basarsi sull'assenza di indizi, le sue spiegazioni sono più fragili. Dobbiamo essere cauti e capire che la "ragione" che l'IA ci dà potrebbe essere solo una delle tante possibilità, non necessariamente la verità oggettiva su come ha lavorato il suo "cervello".

In parole povere: l'IA è brava a fare il lavoro, ma se le chiediamo di spiegare perché l'ha fatto, la sua risposta dipende da quanto è difficile il compito e da come è stata "impostata" la sua creatività iniziale.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Sensitivity of LLMs' Explanations to the Training Randomness: Context, Class & Task Dependencies" in lingua italiana.

1. Il Problema

I modelli Transformer sono diventati una pietra angolare nell'elaborazione del linguaggio naturale (NLP), ma spiegare le loro decisioni rimane una sfida significativa. Due proprietà fondamentali per le spiegazioni sono la fedeltà (quanto la spiegazione riflette il comportamento reale del modello) e la plausibilità (quanto è comprensibile e convincente per un umano).

Recentemente è emerso che lo stesso modello, addestrato sugli stessi dati ma con una diversa semina casuale (randomness) durante il training, può produrre spiegazioni drasticamente diverse. Questo solleva un problema critico: la sensibilità delle spiegazioni alla casualità del training. La maggior parte delle analisi precedenti si è concentrata su istanze singole, mentre questo studio indaga la distribuzione delle spiegazioni per comprendere come fattori specifici influenzino questa instabilità.

2. Metodologia

Gli autori hanno progettato un esperimento rigoroso per valutare la stabilità delle spiegazioni in relazione a tre fattori: contesto sintattico, classe da apprendere e compito (task).

• Modelli e Dati:
  • Utilizzo di RoBERTa-base per l'inglese e CamemBERT-base per il francese.
  • Addestramento di 200 modelli per dataset, utilizzando gli stessi iperparametri (learning rate $2 \times 10^{-5}$, batch size 16, 1 epoch) ma con semi casuali diversi.
  • Il seed controlla l'ordine dei dati, il dropout e l'inizializzazione della testa di classificazione.
• Selezione dei Modelli:
  • Vengono selezionati sottoinsiemi di $m$ modelli "equivalenti" (con accuratezza statisticamente indistinguibile sul set di test).
  • Vengono selezionati testi "compatibili" su cui tutti i modelli $m$ predicono la stessa etichetta.
• Metodo di Spiegazione:
  • Utilizzo della Propagazione della Rilevanza a Livello (Layer-wise Relevance Propagation - LRP). È un metodo deterministico che offre un buon compromesso tra plausibilità e fedeltà, assegnando un valore di rilevanza a ogni token.
• Metrica di Valutazione:
  • Utilizzo della MCWME (Mean Correlation With Mean Explanation).
  • Questa metrica calcola la stabilità delle spiegazioni calcolando la correlazione media (usando la validazione incrociata leave-one-out) tra le spiegazioni dei singoli modelli e la media delle spiegazioni di tutti gli altri modelli. Un valore più alto indica maggiore stabilità.

3. Contributi Chiave e Risultati Sperimentali

Lo studio analizza tre dipendenze principali, mostrando che tutte hanno un impatto statisticamente significativo sulla sensibilità delle spiegazioni alla casualità del training.

A. Impatto del Contesto Sintattico

• Esperimento: Confronto tra frasi ordinate e frasi con le parole mescolate (shuffled), mantenendo la stessa distribuzione di parole ma cambiando l'ordine. Il compito era distinguere tra due nomi propri ("John" vs "James").
• Risultati:
  • Per le frasi ordinate, le spiegazioni mostrano una stabilità quasi perfetta (MCWME alto).
  • Per le frasi mescolate, la stabilità diminuisce significativamente.
  • Interpretazione: I modelli Transformer catturano piccole relazioni tra parole che dovrebbero essere nulle; il meccanismo di attenzione di LRP riporta comunque queste relazioni come rilevanti, creando instabilità quando l'ordine cambia.
  • Implicazione: Si suggerisce l'uso di modelli più semplici quando non comportano perdite di accuratezza.

B. Dipendenza dalla Classe (Assenza di Marcatori Discriminanti)

• Esperimento: Confronto tra una classe definita dalla presenza di un marcatore specifico ("John") e una classe definita dall'assenza di quel marcatore (sostituito da una parola casuale o rimossa).
• Risultati:
  • La classe con il marcatore discriminante ("John") mantiene un'alta stabilità.
  • La classe senza marcatore discriminante mostra un MCWME significativamente più basso (intorno a 0.7, contro valori vicini a 0 per spiegazioni casuali).
  • Interpretazione: Quando la decisione si basa sull'assenza di una parola, le spiegazioni diventano più sensibili alla casualità del training. Anche se la media è "piatta", le parole iniziali, finali o vicine alla parola sostituita tendono ad avere rilevanze variabili.

C. Dipendenza dal Compito (Task)

• Esperimento: Confronto tra due task reali:
  1. ArXiv: Classificazione di abstract scientifici (Astrofisica vs Matematica). Vocabolario altamente discriminante.
  2. InfOpinions: Classificazione di articoli di stampa (Informazione vs Opinione). Richiede una comprensione più profonda delle relazioni semantiche.
• Risultati:
  • Il task ArXiv mostra una stabilità delle spiegazioni molto più alta rispetto a InfOpinions.
  • Interpretazione: La differenza è attribuita alla presenza di un vocabolario più discriminante nel dataset ArXiv, che rende il compito più facile (accuratezza del 99.8% vs 96%) e le spiegazioni meno sensibili alla casualità. Nel task InfOpinions, la necessità di comprendere relazioni complesse tra parole rende le spiegazioni più instabili.

4. Significato e Conclusioni

Il paper conclude che la sensibilità delle spiegazioni alla casualità del training non è uniforme, ma dipende fortemente dal contesto, dalla classe specifica e dalla natura del compito.

• Gerarchia dell'Impatto: L'impatto è minimo per il contesto sintattico, medio per le classi e massimo per i compiti (task).
• Implicazioni per la XAI (Explainable AI):
  • Caratterizzare la sensibilità delle spiegazioni alla casualità dovrebbe essere un'aggiunta utile ai framework esistenti.
  • Plausibilità: Interpretare una distribuzione di spiegazioni (anziché una singola) richiede più informazioni e cambia la percezione umana.
  • Fedeltà: Resta aperta la questione se metodi di spiegazione più complessi possano ridurre questa dipendenza dalla casualità nei modelli complessi.

In sintesi, lo studio avverte che l'affidabilità di una spiegazione di un LLM non può essere data per scontata, ma deve essere valutata considerando la variabilità intrinseca derivante dal processo di addestramento e le specifiche caratteristiche del compito da svolgere.