Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding

Technische Samenvatting: Het Verbeteren van Feitelijke Juistheid door Consensus en Consistentie in Samenvattingen met Minimum Bayes Risk Decoding

Probleemstelling
Het verbeteren van de feitelijke juistheid van door modellen gegenereerde samenvattingen – gedefinieerd als de nauwkeurigheid van een samenvatting ten opzichte van de broninhoud – blijft een aanzienlijke uitdaging in Natural Language Generation (NLG). Hoewel er herordingsmethoden bestaan om optimale outputs te selecteren uit meerdere kandidaten, lijden huidige benaderingen onder drie primaire beperkingen:

1. Onvermogen om referentie-gebaseerde metrieken te gebruiken: Hoogwaardige "gouden" referenties zijn arbeidsintensief om te creëren, wat dwingt tot een beroep op referentievrije metrieken.
2. Uitsluitend afhankelijkheid van de bron: Herordening die uitsluitend gebaseerd is op het brondocument faalt vaak om specifieke feitelijke fouten te straffen vanwege het brede scoringskarakter van referentievrije metrieken, wat leidt tot feitelijke inconsistenties.
3. Metrische bias: Een beroep doen op een enkele metriek kan leiden tot overfitting en specifieke biases van die metriek overnemen.

Bestaande methoden worstelen vaak met het vinden van een balans tussen vloeiendheid en coherentie met strikte feitelijke uitlijning, vooral wanneer gouden referenties niet beschikbaar zijn of van lage kwaliteit.

Methodologie: ConSUM
De auteurs stellen ConSUM (Consistency and Consensus in Summarization) voor, een nieuw herordeningssysteem dat twee verschillende signalen combineert om de beste samenvattingkandidaat te selecteren. De methode werkt in drie stappen:

1. Generatie: Gegeven een brondocument $s$, genereert het model twee verschillende sets:

   • Kandidaat-Samenvattingen ($Y$): Een pool van potentiële outputs.
   • Pseudo-Referenties ($R$): Een set "proxy" grondwahrheden die uit hetzelfde model zijn gehaald, maar mogelijk gebruikmaken van verschillende decodingstrategieën (bijvoorbeeld epsilon sampling) om de ware verdeling van het model beter te vangen. De auteurs onderscheiden $Y$ en $R$ om te voorkomen dat het model zijn eigen biases versterkt.

2. Scoring: Elke kandidaat $y_i$ wordt gescoord aan de hand van twee factoren:

   • Consistentie Score ($S_{sis}$): Meet de uitlijning tussen de kandidaat en het brondocument met behulp van referentievrije feitelijke metrieken (specifiek FENICE en FIZZ).
   • Consensus Score ($S_{sen}$): Meet de overeenstemming tussen de kandidaat en de set pseudo-referenties met behulp van Minimum Bayes Risk (MBR) decoding. De nuttigheidsfunctie voor MBR is een referentie-gebaseerde metriek, MENLI (Metrics from Natural Language Inference), die implicatie, contradictie en samenvattingskwaliteit evalueert. Deze stap identificeert de kandidaat die de verwachte nuttigheid tegenover de pseudo-referenties maximaliseert.

3. Herordening: De finale score ($S_{fin}$) is een gewogen lineaire combinatie van de genormaliseerde consistentie- en consensuscores:
   $$S_{fin}(y_i, s, R) = w \cdot Z(S_{sen}(y_i, R)) + (1-w) \cdot Z(S_{sis}(y_i, s))$$
   waarbij $w$ een hyperparameter is ( ingesteld op 0,75 in de belangrijkste experimenten) die het belang van consensus versus bronconsistentie in evenwicht brengt. De kandidaat met de hoogste $S_{fin}$ wordt geselecteerd als de uiteindelijke output.

Belangrijkste Bijdragen

• Dubbel-Signaal Herordening: Het artikel introduceert een raamwerk dat tegelijkertijd bronconsistentie (via referentievrije metrieken) en modelconsensus (via MBR met pseudo-referenties) benut om de feitelijke juistheid te verbeteren.
• Ontkoppeling van Kandidaten en Referenties: In tegenstelling tot eerder werk dat kandidaten en referenties vaak als dezelfde set behandelt, scheidt ConSUM deze expliciet. Pseudo-referenties dienen als een onbevooroordeelde proxy voor de grondwahrheid om de verdeling van het model te schatten, terwijl kandidaten dienen als de pool voor selectie.
• Integratie van MBR en Referentievrije Metrieken: De methode combineert succesvol MBR decoding (doorgaans gebruikt in Machine Translation) met state-of-the-art referentievrije feitelijke metrieken (FENICE, FIZZ) voor samenvattingen, waardoor het gebrek aan gouden referenties wordt aangepakt.

Experimentele Resultaten
De methode werd geëvalueerd op de CNN/DailyMail- en XSum-datasets met behulp van drie voorgeprogrammeerde Taalmodellen (BART, PEGASUS, T5) en één Groot Taalmodel (Llama-3).

• Verbetering van Feitelijke Juistheid: ConSUM behaalde consistent superieure scores voor feitelijke juistheid in vergelijking met baselines (standaard decoding en alleen-consistentie herordenaars). Bijvoorbeeld, op CNN/DM verbeterde de FENICE-0,75-configuratie de FIZZ-score van 39,36 (Baseline) naar 52,44. Op XSum verhoogde dezelfde configuratie de FIZZ-score van 16,91 naar 27,79.
• Behoud van Kwaliteit: De verbeteringen in feitelijke juistheid kwamen niet ten koste van de kwaliteit van de samenvatting. ROUGE-, BERTScore- en MoverScore-scores bleven concurrerend met of aanzienlijk beter dan baselines.
• Menselijke Evaluatie: In een menselijke evaluatie met 50 brondocumenten behaalde het FENICE-0,75-systeem de hoogste gemiddelde totaalscores voor Informativiteit, Feitelijke Juistheid en Vloeiendheid. Annotatoren gaven consequent de voorkeur aan door ConSUM gegenereerde samenvattingen boven baselines en zelfs boven de "gouden" referenties (die in recente literatuur werden opgemerkt als van lage kwaliteit).
• Gevoeligheid voor Hyperparameters: De optimale gewicht $w$ varieerde per dataset (0,75 voor CNN/DM, 0,25 voor XSum met FENICE), maar een verenigde instelling van $w=0,75$ werd gekozen vanwege de gebalanceerde prestaties. De studie vond dat 16 kandidaten en 64 pseudo-referenties (gegenereerd via epsilon sampling) de beste resultaten opleverden.

Betekenis en Beweringen
De auteurs beweren dat ConSUM aantoont dat het combineren van bron-gebaseerde feitelijke juistheid met model-gebaseerde consensus effectief de betrouwbaarheid van gegenereerde samenvattingen verbetert zonder gouden referenties te vereisen. De resultaten suggereren dat de "wijsheid van de menigte" (consensus tussen modeloutputs) kan dienen als een robuust signaal om hallucinaties en feitelijke fouten te filteren, vooral in sterk abstractieve taken zoals XSum waar hallucinaties frequent voorkomen.

Het artikel concludeert dat er, hoewel er nog ruimte is voor verbetering (zoals blijkt uit de kloof tussen ConSUM en Oracle-scores), de voorgestelde methode een praktische, onbewaakte aanpak biedt om de feitelijke juistheid van samenvattingen te verbeteren die de voorkeur heeft van menselijke evaluatoren. De auteurs erkennen beperkingen, waaronder de computationele complexiteit van MBR ($O(n^2)$) en de huidige beperking tot Engelstalige nieuwsdatasets, en suggereren dat toekomstig werk diverse teksttypes en talen kan verkennen.