Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

Sintesi Tecnica: Ottimizzazione della Coerenza Fattuale nel Riassunto tramite Apprendimento da Preferenze Derivate da Metriche Multiple Imperfette

Enunciazione del Problema
Sebbene i grandi modelli linguistici (LLM) dimostrino una fluidità impressionante, spesso faticano a mantenere la coerenza fattuale, generando frequentemente riassunti contenenti dettagli allucinati o incoerenze rispetto al testo sorgente. È stato proposto l'Apprendimento per Rinforzo (RL) per mitigare questo problema utilizzando metriche di valutazione come segnali di ricompensa. Tuttavia, le metriche automatiche di fattualità esistenti sono individualmente inaffidabili e spesso faticano a rilevare errori sottili. Inoltre, l'utilizzo di una singola metrica come ricompensa scalare può portare a un addestramento instabile, mentre la combinazione di metriche richiede tipicamente una ponderazione manuale (modellazione della ricompensa), che è complessa e soggetta a errori. Approcci alternativi come l'Apprendimento per Rinforzo da Feedback Umano (RLHF) spesso non danno priorità alla fattualità, poiché gli annotatori umani possono trascurare errori fattuali a favore di altre qualità come la fluidità o la coerenza. La costruzione di dataset di preferenze di alta qualità e focalizzati sulla fattualità tramite annotazione umana è intensiva in termini di risorse e difficile da scalare.

Metodologia
Gli autori propongono una pipeline di addestramento completamente automatizzata che migliora la coerenza fattuale senza fare affidamento su annotazioni umane o riassunti di riferimento. La metodologia di base consta di tre fasi principali:

1. Generazione di Riassunti Lessicalmente Simili:
   Invece di accoppiare campioni diversi, il metodo genera coppie di riassunti che sono lessicalmente simili per minimizzare differenze stilistiche o strutturali confondenti. Ciò permette al modello di concentrarsi specificamente sulle distinzioni fattuali.

   • Per un documento sorgente dato, il modello genera un riassunto principale utilizzando la Ricerca a Fascio (BS#1).
   • Un secondo riassunto viene generato selezionando la seconda sequenza più probabile dalla stessa ricerca a fascio (BS#2) o utilizzando la Decodifica Greedy.
   • Questo approccio garantisce che le differenze tra la coppia siano sottili, guidate principalmente dalle variazioni di decodifica piuttosto che da cambiamenti strutturali significativi.

2. Etichettatura Automatica delle Preferenze tramite Ensemble di Metriche:
   Per evitare l'inaffidabilità delle singole metriche, la pipeline impiega un ensemble di metriche di fattualità (nello specifico SBERTScore e SummaC-Conv negli esperimenti) per valutare le coppie generate.

   • I punteggi provenienti da metriche diverse vengono convertiti in etichette di preferenza binarie.
   • Viene applicato un filtro di conflitto: una coppia di riassunti viene mantenuta per l'addestramento solo se tutte le metriche selezionate concordano sull'etichetta di preferenza. Le coppie con un alto disaccordo tra le metriche vengono filtrate per rimuovere annotazioni rumorose.
   • Questo processo costruisce un dataset di preferenze di alta qualità utilizzando esclusivamente documenti sorgente.

3. Ottimizzazione delle Preferenze (DPO):
   Il dataset di preferenze filtrato viene utilizzato per addestrare i modelli linguistici tramite Ottimizzazione Diretta delle Preferenze (DPO). A differenza del RL standard, la DPO ottimizza direttamente i parametri del modello per aumentare la probabilità del riassunto preferito, senza richiedere un modello di ricompensa separato e complesso. Ciò riduce la complessità dell'addestramento e mitiga problemi come l'oblio catastrofico.

Contributi Chiave

• Pipeline Automatizzata: Una pipeline di apprendimento da preferenze completamente automatizzata e innovativa che ottimizza la fattualità del riassunto senza annotazioni umane o riassunti di riferimento.
• Strategia di Aggregazione delle Metriche: Un metodo per adattare multiple metriche di fattualità esistenti e imperfette in obiettivi di addestramento convertendo i punteggi in preferenze e filtrando i casi con alto disaccordo inter-metrica, migliorando così l'affidabilità dei dati.
• Focus sulla Similarità Lessicale: Un'analisi che dimostra come l'addestramento su coppie di riassunti lessicalmente simili sia più efficace per migliorare la fattualità rispetto all'addestramento su coppie diverse, poiché isola gli errori fattuali dalle variazioni stilistiche.
• Prestazioni su Modelli Più Piccoli: Il metodo eleva con successo le prestazioni di fattualità di modelli più piccoli (ad es. BART) a livelli comparabili a quelli di LLM moderni significativamente più grandi.

Risultati Sperimentali
L'approccio è stato valutato sui dataset XSUM e TL;DR utilizzando quattro modelli di architetture e scale diverse: BART-large, GPT-J, LLaMA-3 e DeepSeek-R1.

• Miglioramenti nella Fattualità: Il metodo proposto ha costantemente superato le linee di base, inclusi il Fine-Tuning Supervisionato (SFT), il RLHF e l'Ottimizzazione delle Preferenze basata su Modello (MPO), che si basa su assunzioni euristiche riguardanti le strategie di decodifica.
  • Su XSUM, BART ha ottenuto un aumento di AlignScore di +24,7 punti rispetto all'SFT.
  • Su TL;DR, BART ha registrato un aumento di +9,3 punti.
  • I modelli più piccoli (BART) hanno raggiunto punteggi di fattualità comparabili o superiori a quelli di modelli più grandi (LLaMA, DeepSeek) dopo l'addestramento.
• Robustezza: Il metodo ha dimostrato stabilità attraverso diverse famiglie di modelli e scale, evitando l'oblio catastrofico osservato in altri approcci basati su RL.
• Compromessi: Sebbene la fattualità sia migliorata significativamente, si è registrato un lieve compromesso nei punteggi ROUGE-L e nelle preferenze di qualità complessiva quando giudicati da ChatGPT. Gli autori notano che i riassunti preferiti (SFT/RLHF) contenevano spesso dettagli eccessivi, mentre i riassunti ottimizzati per la fattualità erano più astratti per ridurre il rischio di incoerenza.

Significato e Affermazioni
Il paper afferma che questo approccio fornisce un'alternativa stabile e scalabile al RLHF annotato da umani per migliorare la fattualità. Sfruttando l'accordo di multiple metriche deboli e concentrandosi su differenze lessicali sottili, il metodo addestra efficacemente i modelli a evitare la generazione di testi plausibili ma fattualmente errati. Gli autori sottolineano che questa pipeline "rivitalizza" il potenziale di modelli più vecchi e più piccoli per produrre riassunti accurati a costi computazionali inferiori, rendendo il riassunto ad alta fattualità più accessibile. Il lavoro suggerisce che l'apprendimento da preferenze, quando basato sull'accordo delle metriche piuttosto che su bias umani o ricompense di singola metrica, offre una via robusta verso output di modelli linguistici più fedeli.