Sintesi Tecnica: Trasporto Ottimale per Livelli di Strato per il Rilevamento delle Allucinazioni in NMT e Riassunto Astrattivo

Definizione del Problema

I modelli di Traduzione Automatica Neurale (NMT) e di riassunto astrattivo soffrono frequentemente di "allucinazioni" o "fallimenti di fedeltà", in cui gli output generati sono fluidi ma fattualmente incoerenti con la sorgente. Sebbene il lavoro recente di Guerreiro et al. (2023) abbia dimostrato che le distanze di Trasporto Ottimale (OT) tra le distribuzioni di cross-attention e un riferimento possano rilevare le allucinazioni NMT in modo non supervisionato, diverse questioni critiche rimanevano irrisolte:

1. Risoluzione per Livello: Come si distribuisce il segnale di allucinazione attraverso i singoli strati del decoder e sono alcuni strati più diagnostici di altri?
2. Specializzazione del Rilevatore: Diversi metri basati su OT (ad esempio, distanza dall'uniformità rispetto a distanza dai dati) si specializzano nel rilevare diversi tipi di allucinazioni?
3. Trasferimento del Compito: Il concetto geometrico di "disimpegno dalla sorgente" (rilevato tramite OT in NMT) si trasferisce al riassunto astrattivo, dove le modalità di fallimento possono differire fondamentalmente?

Metodologia

1. Metriche di Trasporto Ottimale

Gli autori estendono il framework della distanza Wasserstein-1 ($W_1$) per analizzare le distribuzioni di cross-attention ($\pi^{(\ell,t)}$) attraverso tutti gli strati del decoder ($\ell$) e i passi di generazione ($t$). Le metriche chiave includono:

• Wass-to-Unif (WTU): Misura la concentrazione dell'attenzione calcolando la distanza $W_1$ da una distribuzione uniforme. Un'alta concentrazione (bassa distanza) suggerisce che il modello stia ignorando la sorgente.
• Wass-to-Data (WTD): Misura la somiglianza della distribuzione di attenzione di una frase di test con un set di riferimento di traduzioni confermate come corrette.
• Routing Consistency (RC): Una nuova metrica che quantifica quanto costantemente il decoder si riferisce alla stessa posizione della sorgente attraverso i passi di generazione. È derivata dall'entropia delle posizioni della sorgente argmax nel tempo.
• Step-to-Step OT: Misura lo spostamento dinamico dell'attenzione tra passi di decodifica consecutivi per catturare la fase "esplorativa" della generazione.
• Layer-Pairwise OT: Calcola le distanze tra le distribuzioni di attenzione medie di diversi strati per mappare l'organizzazione funzionale.

2. Dataset e Modelli

• NMT (Fairseq DE-EN): Rianalisi del corpus di Guerreiro et al. (2023) ($N=3.414$), che copre cinque categorie di allucinazione (full-unsupport, strong-unsupport, ripetizioni, ecc.).
• Riassunto Astrattivo (AggreFact): Valutazione sui set di test CNN/DailyMail e XSum utilizzando architetture T5-base e Flan-T5-Large.
• Baseline: Confronto con lo stato dell'arte supervisionato (MiniCheck-Flan-T5-L) e baseline casuali.

Contributi Chiave

1. Analisi NMT per Livello di Strato: Lo studio estende l'analisi aggregata dell'ultimo strato di Guerreiro et al. (2023) a tutti i sei strati del decoder. Identifica che le prestazioni di rilevamento sono concentrate negli strati L1–L4, mentre L5 (lo strato finale) è spesso anti-predittivo per tipi di allucinazione sottili.
2. Rilevatori Complementari: Il paper dimostra che WTU e WTD sono rilevatori specializzati. WTU eccelle nel rilevare allucinazioni di tipo "full-unsupport" (completo disimpegno dalla sorgente), mentre WTD è superiore per "strong-unsupport" e "ripetizioni". Il nuovo Routing Consistency (RC) proposto è identificato come il più forte rilevatore individuale per le allucinazioni di tipo full-unsupport.
3. Pattern di Generazione Dinamica: Gli autori caratterizzano la decodifica normale come una traiettoria a due fasi: una fase esplorativa (alto spostamento dell'attenzione, bassa concentrazione) seguita da una fase di impegno. Le traduzioni allucinate mancano della fase esplorativa, iniziando in uno stato staticamente concentrato fin dal primo passo di generazione.
4. Trasferimento al Riassunto e Limiti: La prima applicazione del rilevamento basato su OT al riassunto astrattivo. Sebbene il rilevatore non supervisionato raggiunga una performance sopra il caso (57,4% di Accuratezza Bilanciata), è significativamente inferiore ai baseline supervisionati (72,1%).
5. Interpretabilità Strutturale: Attraverso le metriche OT e gli studi di ablazione su T5-base, il paper rivela un'organizzazione del decoder coerente: lo Strato 3 funge da picco strutturale per la concentrazione e la divergenza del routing, mentre lo Strato 12 è critico per la qualità della generazione. Gli strati L9–L11 mostrano ridondanza funzionale.

Risultati

Prestazioni di Rilevamento NMT

• Forza del Segnale: Le traduzioni allucinate mostrano una concentrazione media significativamente più alta e un OT step-to-step inferiore rispetto alle traduzioni corrette ($p < 0,001$).
• Specificità dello Strato:
  • Full-unsupport: Altamente rilevabile in L1–L4 (AUROC > 0,93). RC raggiunge il picco a L2 (AUROC 0,955).
  • Strong-unsupport & Ripetizioni: Il rilevamento è più debole in tutto l'arco. Notevolmente, lo Strato 5 diventa anti-predittivo (AUROC < 0,5) per questi tipi, poiché lo strato finale è naturalmente il più concentrato indipendentemente dalla qualità della traduzione.
• Meccanismo: Le allucinazioni sono caratterizzate da una firma di attenzione "statica" dove il decoder si blocca su token della sorgente irrilevanti (o sullo stesso token) fin dal primo passo, saltando la fase di scansione dinamica osservata nelle traduzioni corrette.

Trasferimento al Riassunto Astrattivo

• Gap di Performance: Il rilevatore OT non supervisionato raggiunge il 57,4% di Accuratezza Bilanciata su AggreFact, rispetto al 72,1% di MiniCheck-Flan-T5-L supervisionato.
• Generalizzazione: Le feature OT non generalizzano bene tra regimi estrattivi (CNN) e astrattivi (XSum) quando testate trasversalmente (44,2% BAcc), confermando che il segnale è dipendente dal regime.
• Risultati Strutturali: In T5-base, lo Strato 3 mostra il picco di concentrazione più alto, e l'ablazione degli Strati 1–3 causa un crollo netto in ROUGE-L, identificandoli come un blocco indispensabile di codifica precoce del contesto.

Significato e Rivendicazioni

Il paper sostiene che il Trasporto Ottimale sulla cross-attention è un rilevatore non supervisionato affidabile specificamente quando la modalità di fallimento è il "disimpegno dalla sorgente".

• Interpretabilità Principata: Gli autori sostengono che l'OT fornis la lente geometrica, priva di etichette, per comprendere l'architettura Transformer, identificando specializzazioni funzionali (ad esempio, L3 in T5, L2 in Fairseq) che si allineano con i risultati di ablazione.
• Limitazione Teorica: Il gap di performance nel riassunto è attribuito a una differenza fondamentale nelle modalità di fallimento. Le allucinazioni NMT sono prevalentemente fallimenti di recupero intrinseci (ignorare la sorgente), che l'OT rileva bene. I fallimenti del riassunto astrattivo sono spesso uso improprio del contenuto (attribuire correttamente alla sorgente ma rappresentare erroneamente il contenuto), una modalità di fallimento "invisibile alle metriche OT basate sulla concentrazione per costruzione".
• Conclusione: Il lavoro stabilisce l'OT come uno strumento potente per rilevare quando un modello si stacca dalla sua sorgente, offrendo uno strumento di interpretabilità principato indipendentemente dal compito, pur riconoscendo esplicitamente i suoi limiti quando i fallimenti di fedeltà avvengono a valle del meccanismo di attenzione.