Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

Titel: Reductie van Hallucinaties in LLM's via Feitelijkheidsbewuste Voorkeurslering (F-DPO)

1. Het Probleem

Grote Taalmodellen (LLM's) neigen ertoe zelfverzekerd fouten te maken (hallucinaties), wat een groot risico vormt in kritieke domeinen zoals geneeskunde, recht en financiën. Bestaande uitlijningsmethoden, zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO), verbeteren weliswaar het volgen van instructies, maar kunnen hallucinaties onbedoeld versterken.

De kern van het probleem is een misalignement tussen menselijke voorkeuren en feitelijkheid:

• Annotatoren geven vaak de voorkeur aan antwoorden die vloeiend en zelfverzekerd klinken, zelfs als deze feitelijk onjuist zijn.
• Standaard DPO-optimalisatie leert van deze voorkeursparen en versterkt hierdoor gedrag dat "fluent maar fout" is.
• Bestaande oplossingen voor feitelijkheid vereisen vaak complexe, meervoudige trainingsfasen, externe verifiers (beloningmodellen) of token-level annotaties, wat de rekentijd en complexiteit aanzienlijk verhoogt.

2. Methodologie: F-DPO

De auteurs introduceren F-DPO (Factuality-aware Direct Preference Optimization), een eenvoudige maar effectieve uitbreiding van DPO die alleen binair feitelijkheidslabels vereist (0 = feitelijk correct, 1 = hallucinatie). De methode bestaat uit twee hoofdmechanismen:

A. Label-flipping (Label-omkering)
Om te garanderen dat het gekozen antwoord nooit minder feitelijk is dan het verworpen antwoord, wordt een deterministische regel toegepast op de voorkeursparen:

• Als het "winnaar"-antwoord ($y_w$) een hallucinatie is ($h_w=1$) en het "verliezer"-antwoord ($y_l$) feitelijk is ($h_l=0$), worden de labels en de antwoorden omgedraaid.
• Dit corrigeert foutieve voorkeursparen die door menselijke annotatie zijn ontstaan, zodat het model nooit wordt beloond voor het kiezen van een hallucinatie.

B. Feitelijkheidsbewuste Margin (Factuality-aware Margin)
Na de label-flipping wordt een straffende term toegevoegd aan de DPO-objective functie. De nieuwe margin ($m_{fact}$) wordt gedefinieerd als:
$$m_{fact} = m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h$$
Waarbij:

• $m_{\pi, \pi_{ref}}$ de standaard DPO-margin is.
• $\Delta h = h_l - h_w$ het verschil in feitelijkheid is.
• $\lambda$ een straffingscoëfficiënt is.

Werking:

• Als het gekozen antwoord feitelijk is en het verworpen antwoord een hallucinatie ($\Delta h = 1$), wordt de margin verlaagd met $\lambda$. Dit verhoogt de loss, waardoor het model gedwongen wordt om de kans op het feitelijke antwoord aanzienlijk te verhogen om de loss te minimaliseren.
• Als beide antwoorden dezelfde feitelijkheid hebben ($\Delta h = 0$), reduceert de loss tot de standaard DPO-loss.

Data-pijplijn:
De auteurs bouwen een dataset door de Skywork Reward-Preference corpus te verrijken met synthetische hallucinaties en automatische feitelijkheidsbeoordeling (via GPT-4o-mini). Dit resulteert in een gebalanceerde dataset met drie configuraties: (beide feitelijk), (gekozen feitelijk, verworpen hallucinatie), en (beide hallucinatie).

3. Belangrijkste Bijdragen

1. F-DPO Algorithm: Een nieuwe, eenvoudige uitbreiding van DPO die binair feitelijkheidslabels gebruikt via label-flipping en een margin-based doelstelling, zonder externe beloningmodellen.
2. Consistente Verbetering: Experimenten tonen aan dat F-DPO consistent hallucinaties vermindert en de feitelijkheid verbetert over zeven verschillende open-weight LLM's (van 1B tot 14B parameters).
3. Generalisatie: De methode generaliseert goed naar out-of-distribution benchmarks (zoals TruthfulQA), wat aantoont dat het de feitelijke redeneercapaciteit van het model verbetert en niet alleen de trainingsdata memoriseert.
4. Efficiëntie: Het is een single-stage training methode die geen token-level supervisie vereist, waardoor het rekenkundig efficiënter is dan veel bestaande factuality-methoden.

4. Resultaten

De resultaten zijn getest op zeven modellen (o.a. Qwen, LLaMA, Gemma) en vergeleken met de basismodellen en standaard DPO:

• Kwaliteitsverbetering: F-DPO reduceert hallucinatiepercentages aanzienlijk.
  • Op Qwen3-8B daalt het hallucinatiepercentage met een factor 5 (van 0,424 naar 0,084) en stijgt de feitelijkheidsscore met 50% (van 5,26 naar 7,90).
  • Op Qwen2.5-14B wordt een hallucinatiepercentage van slechts 0,008 bereikt.
• Vergelijking met Standaard DPO: Standaard DPO verhoogde in veel gevallen het hallucinatiepercentage (bijv. bij Gemma-2-9B van 0,072 naar 0,092), omdat het vloeiende maar foutieve antwoorden beloont. F-DPO voorkomt dit.
• TruthfulQA Generalisatie: Op de TruthfulQA-benchmark (out-of-distribution) behaalde Qwen2.5-14B met F-DPO een +17% verbetering in MC1-accuraatheid en +49% in MC2-accuraatheid, terwijl standaard DPO de prestaties liet verslechteren.
• Hulpvaardigheid: In tegenstelling tot wat vaak wordt verwacht, verbetert F-DPO de hulpvaardigheid (helpfulness) of behoudt deze, zonder de kwaliteit van het antwoord te schaden.

5. Betekenis en Impact

Dit paper is significant omdat het aantoont dat expliciete feitelijkheids-supervisie essentieel is om te voorkomen dat voorkeursoptimalisatie (zoals DPO) hallucinaties versterkt.

• Eenvoud vs. Complexiteit: Het bewijst dat je geen complexe multi-stage pipelines of dure externe verifiers nodig hebt om hallucinaties te bestrijden; een simpele aanpassing van de DPO-loss met binaire labels volstaat.
• Veiligheid en Betrouwbaarheid: De methode biedt een praktische route om LLM's betrouwbaarder te maken voor toepassingen waar feitelijke juistheid cruciaal is, zonder de flexibiliteit van het model te verliezen.
• Toekomstperspectief: Het opent de weg voor efficiëntere uitlijningsmethoden die de kloof tussen "wat mensen leuk vinden" (vloeiendheid) en "wat waar is" (feitelijkheid) overbruggen.

Kortom, F-DPO biedt een robuuste, schaalbare en rekenkundig efficiënte oplossing voor een van de meest dringende problemen in de huidige generatie AI-modellen: het verminderen van zelfverzekerde onzin.