Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding

Sintesi Tecnica: Migliorare la Fattualità attraverso Consenso e Coerenza nella Riassunzione mediante Decodifica a Rischio Bayesiano Minimo

Enunciato del Problema
Migliorare la fattualità dei riassunti generati dai modelli—definita come l'accuratezza di un riassunto rispetto al suo contenuto sorgente—rimane una sfida significativa nella Generazione del Linguaggio Naturale (NLG). Sebbene esistano metodi di riclassificazione per selezionare le uscite ottimali da molteplici candidati, gli approcci attuali soffrono di tre limitazioni principali:

1. Incapacità di utilizzare metriche basate su riferimenti: La creazione di riferimenti "gold" di alta qualità è laboriosa, costringendo a fare affidamento su metriche prive di riferimenti.
2. Dipendenza esclusiva dalla sorgente: La riclassificazione basata solo sul documento sorgente spesso non riesce a penalizzare specifici errori fattuali a causa della natura ampia della valutazione delle metriche prive di riferimenti, portando a incoerenze fattuali.
3. Bias delle metriche: Fare affidamento su una singola metrica può causare overfitting e ereditare specifici bias di quella metrica.

I metodi esistenti spesso faticano a bilanciare fluidità e coerenza con un allineamento fattuale rigoroso, specialmente quando i riferimenti gold non sono disponibili o sono di bassa qualità.

Metodologia: ConSUM
Gli autori propongono ConSUM (Coerenza e Consenso nella Riassunzione), un nuovo framework di riclassificazione che combina due segnali distinti per selezionare il miglior candidato di riassunto. Il metodo opera in tre passaggi:

1. Generazione: Dato un documento sorgente $s$, il modello genera due insiemi distinti:

   • Riassunti Candidati ($Y$): Un pool di potenziali uscite.
   • Pseudo-Riferimenti ($R$): Un insieme di "proxy" ground truth campionati dallo stesso modello ma potenzialmente utilizzando strategie di decodifica diverse (ad esempio, campionamento epsilon) per catturare meglio la vera distribuzione del modello. Gli autori distinguono $Y$ e $R$ per impedire al modello di rafforzare i propri bias.

2. Punteggio: Ogni candidato $y_i$ viene valutato utilizzando due fattori:

   • Punteggio di Coerenza ($S_{sis}$): Misura l'allineamento tra il candidato e il documento sorgente utilizzando metriche di fattualità prive di riferimenti (nello specifico FENICE e FIZZ).
   • Punteggio di Consenso ($S_{sen}$): Misura l'accordo tra il candidato e l'insieme di pseudo-riferimenti utilizzando la decodifica Minimum Bayes Risk (MBR). La funzione di utilità per MBR è una metrica basata su riferimenti, MENLI (Metriche dall'Inferenza del Linguaggio Naturale), che valuta l'implicazione, la contraddizione e la qualità del riassunto. Questo passaggio identifica il candidato che massimizza l'utilità attesa rispetto agli pseudo-riferimenti.

3. Riclassificazione: Il punteggio finale ($S_{fin}$) è una combinazione lineare ponderata dei punteggi di coerenza e consenso normalizzati:
   $$S_{fin}(y_i, s, R) = w \cdot Z(S_{sen}(y_i, R)) + (1-w) \cdot Z(S_{sis}(y_i, s))$$
   dove $w$ è un iperparametro (impostato a 0,75 negli esperimenti principali) che bilancia l'importanza del consenso rispetto alla coerenza con la sorgente. Il candidato con il più alto $S_{fin}$ viene selezionato come uscita finale.

Contributi Chiave

• Riclassificazione a Doppio Segnale: Il documento introduce un framework che sfrutta simultaneamente la coerenza con la sorgente (tramite metriche prive di riferimenti) e il consenso del modello (tramite MBR con pseudo-riferimenti) per migliorare la fattualità.
• Disaccoppiamento di Candidati e Riferimenti: A differenza di lavori precedenti che spesso trattano candidati e riferimenti come lo stesso insieme, ConSUM li separa esplicitamente. Gli pseudo-riferimenti servono come proxy imparziale per il ground truth per stimare la distribuzione del modello, mentre i candidati servono come pool per la selezione.
• Integrazione di MBR e Metriche Prive di Riferimenti: Il metodo combina con successo la decodifica MBR (tipicamente utilizzata nella Traduzione Automatica) con metriche di fattualità prive di riferimenti all'avanguardia (FENICE, FIZZ) per la riassunzione, affrontando la mancanza di riferimenti gold.

Risultati Sperimentali
Il metodo è stato valutato sui dataset CNN/DailyMail e XSum utilizzando tre Modelli Linguistici Pre-addestrati (BART, PEGASUS, T5) e un Large Language Model (Llama-3).

• Miglioramenti della Fattualità: ConSUM ha costantemente ottenuto punteggi di fattualità superiori rispetto ai baseline (decodifica standard e riclassificatori basati solo sulla coerenza). Ad esempio, su CNN/DM, la configurazione FENICE-0,75 ha migliorato il punteggio FIZZ da 39,36 (Baseline) a 52,44. Su XSum, la stessa configurazione ha alzato il punteggio FIZZ da 16,91 a 27,79.
• Preservazione della Qualità: I miglioramenti nella fattualità non sono avvenuti a scapito della qualità del riassunto. I punteggi ROUGE, BERTScore e MoverScore sono rimasti competitivi o significativamente migliori rispetto ai baseline.
• Valutazione Umana: In una valutazione umana che coinvolgeva 50 documenti sorgente, il sistema FENICE-0,75 ha ottenuto i punteggi medi complessivi più alti per Informatività, Fattualità e Fluidità. Gli annotatori hanno costantemente preferito i riassunti generati da ConSUM rispetto ai baseline e persino ai riferimenti "gold" (che, come notato nella letteratura recente, erano di bassa qualità).
• Sensibilità agli Iperparametri: Il peso ottimale $w$ variava in base al dataset (0,75 per CNN/DM, 0,25 per XSum con FENICE), ma è stata scelta una configurazione unificata di $w=0,75$ per le sue prestazioni bilanciate. Lo studio ha rilevato che 16 candidati e 64 pseudo-riferimenti (generati tramite campionamento epsilon) producevano risultati ottimali.

Significato e Affermazioni
Gli autori affermano che ConSUM dimostra come combinare la fattualità basata sulla sorgente con il consenso basato sul modello migliori efficacemente l'affidabilità dei riassunti generati senza richiedere riferimenti gold. I risultati suggeriscono che la "saggezza della folla" (consenso tra le uscite del modello) può servire come segnale robusto per filtrare allucinazioni ed errori fattuali, specialmente in compiti altamente astratti come XSum dove le allucinazioni sono frequenti.

Il documento conclude che, sebbene vi sia ancora spazio per il miglioramento (come dimostrato dal divario tra ConSUM e i punteggi Oracle), il metodo proposto offre un approccio pratico e non supervisionato per migliorare la fattualità dei riassunti che è preferito dai valutatori umani. Gli autori riconoscono le limitazioni, inclusa la complessità computazionale di MBR ($O(n^2)$) e l'attuale restrizione ai dataset di notizie in inglese, suggerendo che lavori futuri potrebbero esplorare diversi tipi di testo e lingue.