Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

Technische Samenvatting: Optimaliseren van feitelijke consistentie in samenvattingen via voorkeursleren uit meerdere imperfecte metrieken

Probleemstelling
Hoewel grote taalmodellen (LLMs) indrukwekkende vlotheid tonen, worstelen ze vaak met feitelijke consistentie en genereren ze regelmatig samenvattingen met gehallucineerde details of inconsistenties met de brontekst. Versterkingsleren (RL) is voorgesteld om dit te mitigeren door evaluatiemetrieken te gebruiken als beloningssignalen. Echter, bestaande automatische factualiteitsmetrieken zijn individueel onbetrouwbaar en worstelen vaak met subtiele fouten. Bovendien kan het gebruik van een enkele metriek als scalair resultaat leiden tot instabiele training, terwijl het combineren van metrieken doorgaans handmatige weging vereist (beloningsvorming), wat complex en foutgevoelig is. Alternatieve benaderingen zoals Versterkingsleren uit Menselijke Feedback (RLHF) slagen er vaak niet in om factualiteit te prioriteren, omdat menselijke annotatoren feitelijke fouten kunnen over het hoofd zien ten gunste van andere kwaliteiten zoals vlotheid of coherentie. Het construeren van hoogwaardige, op factualiteit gerichte voorkeursdatasets via menselijke annotatie is resource-intensief en moeilijk schaalbaar.

Methodologie
De auteurs stellen een volledig geautomatiseerde trainingspijplijn voor die de feitelijke consistentie verbetert zonder afhankelijk te zijn van menselijke annotaties of referentiesamenvattingen. De kernmethodologie bestaat uit drie hoofdfasen:

1. Generatie van Lexicaal Gelijke Samenvattingen:
   In plaats van diverse steekproeven te koppelen, genereert de methode paren van samenvattingen die lexicaal vergelijkbaar zijn om verstorende stijl- of structurele verschillen te minimaliseren. Dit stelt het model in staat zich specifiek te richten op feitelijke onderscheidingen.

   • Voor een gegeven brondocument genereert het model een primaire samenvatting met behulp van Beam Search (BS#1).
   • Een tweede samenvatting wordt gegenereerd door ofwel de tweede meest waarschijnlijke sequentie uit dezelfde beam search te selecteren (BS#2), of door Greedy Decoding te gebruiken.
   • Deze aanpak zorgt ervoor dat de verschillen tussen het paar subtiel zijn, voornamelijk gedreven door decoderingsvariaties in plaats van grote structurele verschuivingen.

2. Geautomatiseerde Voorkeurslabeling via Metriek-Ensembles:
   Om de onbetrouwbaarheid van enkele metrieken te vermijden, maakt de pijplijn gebruik van een ensemble van factualiteitsmetrieken (specifiek SBERTScore en SummaC-Conv in de experimenten) om de gegenereerde paren te scoren.

   • Scores van verschillende metrieken worden omgezet in binaire voorkeurslabels.
   • Een conflictfilter wordt toegepast: een paar samenvattingen wordt alleen voor training behouden als alle geselecteerde metrieken het eens zijn over het voorkeurslabel. Paren met hoge onenigheid tussen metrieken worden gefilterd om ruisachtige annotaties te verwijderen.
   • Dit proces construeert een hoogwaardige voorkeursdataset uitsluitend met behulp van brondocumenten.

3. Voorkeursoptimalisatie (DPO):
   De gefilterde voorkeursdataset wordt gebruikt om de taalmodellen te trainen via Direct Preference Optimization (DPO). In tegenstelling tot standaard RL, optimaliseert DPO de modelparameters direct om de waarschijnlijkheid van de voorkeurstekst te vergroten, zonder dat een apart, complex beloningsmodel vereist is. Dit vermindert de trainingscomplexiteit en mitigeert problemen zoals catastrofe vergeten.

Belangrijkste Bijdragen

• Geautomatiseerde Pijplijn: Een nieuwe, volledig geautomatiseerde voorkeursleringspijplijn die de factualiteit van samenvattingen optimaliseert zonder menselijke annotaties of referentiesamenvattingen.
• Strategie voor Metriekaggregatie: Een methode om meerdere bestaande, imperfecte factualiteitsmetrieken aan te passen tot trainingsdoelen door scores om te zetten in voorkeuren en gevallen met hoge inter-metriek onenigheid te filteren, waardoor de betrouwbaarheid van de data wordt versterkt.
• Focus op Lexicale Similariteit: Een analyse die aantoont dat training op lexicaal gelijke samenvattingparen effectiever is voor het verbeteren van factualiteit dan training op diverse paren, omdat dit feitelijke fouten isoleert van stijlvariaties.
• Prestaties op Kleinere Modellen: De methode slaagt er succesvol in de factualiteitsprestaties van kleinere modellen (bijv. BART) te verhogen tot niveaus die vergelijkbaar zijn met aanzienlijk grotere, moderne LLM's.

Experimentele Resultaten
De aanpak werd geëvalueerd op de XSUM en TL;DR datasets met behulp van vier modellen met variërende architecturen en schalen: BART-large, GPT-J, LLaMA-3 en DeepSeek-R1.

• Winsten in Factualiteit: De voorgestelde methode presteerde consequent beter dan baselines, waaronder Supervised Fine-Tuning (SFT), RLHF en Model-based Preference Optimization (MPO) die rust op heuristische aannames over decoderingsstrategieën.
  • Op XSUM behaalde BART een AlignScore-stijging van +24,7 punten ten opzichte van SFT.
  • Op TL;DR zag BART een stijging van +9,3 punten.
  • Kleinere modellen (BART) behaalden na training factualiteitsscores die vergelijkbaar waren met of hoger waren dan die van grotere modellen (LLaMA, DeepSeek).
• Robuustheid: De methode toonde stabiliteit over verschillende modelfamilies en schalen heen, en vermijdt het catastrofe vergeten dat bij andere RL-gebaseerde benaderingen wordt waargenomen.
• Afwegingen: Hoewel de factualiteit significant verbeterde, was er een lichte afweging in ROUGE-L-scores en algemene kwaliteitsvoorkeuren wanneer beoordeeld door ChatGPT. De auteurs merken op dat de voorkeursteksten (SFT/RLHF) vaak overmatige details bevatten, terwijl de op factualiteit geoptimaliseerde samenvattingen abstracter waren om het risico op inconsistentie te verminderen.

Betekenis en Claims
Het artikel stelt dat deze aanpak een stabiel en schaalbaar alternatief biedt voor menselijk geannoteerde RLHF voor het verbeteren van factualiteit. Door gebruik te maken van de overeenstemming van meerdere zwakke metrieken en zich te richten op subtiele lexicaal verschillen, traint de methode modellen effectief om het genereren van plausibele maar feitelijke onjuiste tekst te vermijden. De auteurs benadrukken dat deze pijplijn het potentieel van oudere, kleinere modellen "herbeleeft" om nauwkeurige samenvattingen te produceren tegen lagere rekenkosten, waardoor hoogwaardige factualiteit in samenvattingen toegankelijker wordt. Het werk suggereert dat voorkeursleren, wanneer het is gebaseerd op metriekovereenstemming in plaats van menselijke bias of beloningen van enkele metrieken, een robuust pad biedt naar meer getrouwe taalmodeloutput.