💬 NLP

From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations

Dit artikel introduceert een curriculum-gedreven DPO-framework dat Actuality en Finesse-parameters integreert om kwalitatief hoogwaardige, menselijke redenering nabootsende feitelijke verklaringen in het Hindi te genereren en zo de verspreiding van desinformatie in deze taal te bestrijden.

Oorspronkelijke auteurs: Pulkit Bansal, Raghvendra Kumar, Shakti Singh, Sriparna Saha, Adam Jatowt

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pulkit Bansal, Raghvendra Kumar, Shakti Singh, Sriparna Saha, Adam Jatowt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Van Brokken naar Feiten: Hoe we een slimme "Hindi-Nieuwscontroleur" hebben gebouwd

Stel je voor dat je in een drukke markt staat waar iedereen roept wat ze zien. Soms vertellen mensen de waarheid, maar vaak roepen ze ook onzin, halve waarheden of pure leugens. In het Hindi-sprekende deel van de wereld (met honderden miljoenen mensen) is dit een enorm probleem. Er zijn weinig slimme computers die kunnen helpen om te zeggen: "Dit is waar" of "Dit is bedrog", en vooral: waarom.

De auteurs van dit paper hebben een oplossing bedacht genaamd DeFactoX. Laten we uitleggen hoe dit werkt, zonder ingewikkelde technische termen, maar met een paar leuke vergelijkingen.

1. Het Probleem: De "Grote Verwarde Verteller"

Stel je voor dat je een zeer slimme, maar nogal naïeve robot hebt (een AI-model) die alles in het Hindi kan lezen. Deze robot heeft veel gelezen, maar hij is niet goed getraind om te weten wat echt is en wat nep is. Als je hem vraagt: "Is dit nieuwsbericht waar?", zegt hij misschien: "Ja, want het klinkt logisch," terwijl het in feite een nepverhaal is.

Het probleem is dat bestaande robots vaak "hallucineren". Dat is als een kind dat een verhaal verzint omdat het denkt dat het leuk klinkt, in plaats van feitelijke feiten te checken. Voor het Hindi-sprekende publiek is dit gevaarlijk, omdat er weinig hulpmiddelen zijn om nepnieuws te stoppen.

2. De Oplossing: Een School voor Robots (Curriculum Learning)

De auteurs zeggen: "We kunnen deze robot niet zomaar laten studeren. We moeten hem stap voor stap leren."

Ze gebruiken een methode die Curriculum Learning heet. Denk hierbij aan een school:

Klas 1 (Gemakkelijk): De robot krijgt eerst heel duidelijke voorbeelden. Bijvoorbeeld: "Dit is een nepverhaal, en hier is de duidelijke reden waarom." En: "Dit is een waar verhaal, en hier is de reden."
Klas 2 (Moeilijker): Dan krijgt hij voorbeelden die iets subtieler zijn.
Klas 3 (Zeer moeilijk): Tot slot krijgt hij voorbeelden die heel lastig te onderscheiden zijn, zodat hij echt moet nadenken.

Zo leert de robot langzaam en stevig, net zoals een kind eerst leert lopen voordat het hardloopt.

3. De Leerkracht: De "Voorkeurs-Optimizer" (DPO)

Normaal gesproken leren robots door te kijken naar fouten en die te corrigeren. Maar deze auteurs gebruiken een slimme truc genaamd DPO (Direct Preference Optimization).

Stel je voor dat je een kok bent die een nieuwe receptuur leert.

De "Goede" Recepten: Je hebt een boek met recepten van een beroemde, eerlijke chef-kok (menselijke fact-checkers). Dit zijn de gewenste antwoorden.
De "Slechte" Recepten: Je hebt ook recepten van een slordige kok die vaak dingen verzonnen (de AI die we proberen te trainen). Dit zijn de ongewenste antwoorden.

De robot leert niet door te rekenen, maar door te zeggen: "Ik wil meer op de goede chef lijken en minder op de slordige." Hij krijgt een beloning als hij kiest voor de eerlijke uitleg en een "schop onder zijn stoel" als hij kiest voor de verzonnen uitleg.

4. De Nieuwe Regelboeken: "Actuality" en "Finesse"

Hier wordt het echt speciaal. De auteurs hebben twee nieuwe regels toegevoegd aan de leermethode, die ze Hin-DPO noemen.

Actuality (De Waarheidsmeter):
Stel je voor dat de robot een verhaal vertelt. De "Actuality"-meter kijkt: "Zit hier een feit in dat we kunnen bewijzen?" Als de robot zegt: "De president heeft een blauwe hoed gedragen," en dat is niet waar, dan krijgt hij een straf. Deze meter zorgt ervoor dat de robot niet gaat liegen, zelfs niet als het verhaal er mooi uitziet. Het is alsof je een detective aan de kant zet die elk feit controleert.
Finesse (De Zekerheidsmeter):
Dit is een heel slimme truc. Als je een robot vraagt om iets te doen, en hij is er 100% zeker van, zal hij elke keer hetzelfde antwoord geven. Maar als hij twijfelt of iets verzonnen heeft, zal hij elke keer iets anders zeggen.
De "Finesse"-meter kijkt: "Als we deze robot 5 keer dezelfde vraag stellen, geeft hij dan 5 keer hetzelfde antwoord?"
- Ja? Dan is hij zeker en betrouwbaar.
- Nee? Dan is hij aan het "dromen" (hallucineren) en krijgt hij een straf.
  Dit zorgt ervoor dat de robot niet alleen waarheid vertelt, maar ook stabiel en betrouwbaar blijft.

5. Het Resultaat: Een Betrouwbare Nieuwscontroleur

Door deze combinatie (stap-voor-stap leren + de voorkeursmethode + de twee nieuwe meters) is DeFactoX geboren.

Wat doet het? Het kijkt naar Hindi-nieuws, zegt of het waar of nep is, en geeft een duidelijke, menselijke uitleg waarom.
Waarom is dit belangrijk? Omdat mensen in Hindi-sprekende landen nu een hulpmiddel hebben dat hen helpt om nepnieuws te herkennen. Het is als een betrouwbare vriend die naast je staat en zegt: "Luister, dit verhaal klopt niet, hier is de bewijslast," in plaats van je in de war te brengen met mooie, maar valse verhalen.

Kortom: De auteurs hebben een robot getraind die niet alleen slim is, maar ook eerlijk, stabiel en stap voor stap is opgeleid om de waarheid in het Hindi te vinden. Van losse brokken informatie (fragments) naar harde feiten (facts).

Probleemstelling

De verspreiding van desinformatie vormt een ernstige bedreiging voor de integriteit van het nieuws, met name in talen met beperkte digitale hulpbronnen zoals het Hindi. Hoewel er grote inspanningen worden geleverd voor het detecteren van nepnieuws in talen als Engels en Chinees, ontbreekt het aan robuuste, geautomatiseerde tools voor het genereren van betrouwbare, mensachtige verklaringen in het Hindi.

Uitdagingen: Bestaande Large Language Models (LLMs) worstelen met coherentie, feitelijke nauwkeurigheid en het aligneren met menselijke redenering in het Hindi.
Tekortkomingen: Fact-checking in het Hindi is voornamelijk handmatig, wat niet schaalbaar is. Bestaande systemen genereren vaak hallucinaties of oppervlakkige verklaringen die niet diep ingaan op de feitelijke waarheid van het nieuws.

Methodologie: Het DeFactoX Framework

Het paper introduceert DeFactoX, een uniek framework dat Direct Preference Optimization (DPO) combineert met Curriculum Learning om de kwaliteit van verklaringen voor nieuwsveracity (waarheid) in het Hindi te verbeteren.

1. Dataset Creatie (Synthetische Voorkeursdataset)

Om het model te trainen, werd een synthetische dataset opgezet met een "preferred" (voorkeur) en "rejected" (afgekeurd) structuur:

Preferred Responses: Menselijk geschreven, door fact-checkers geverifieerde verklaringen uit betrouwbare bronnen (zoals OneIndia, Vishvas News, Aaj Tak). Voor "ware" nieuwsartikelen werden de oorspronkelijke, vaak minder expliciete verklaringen gestandaardiseerd zodat ze ook een duidelijke bevestiging van de waarheid bevatten, vergelijkbaar met de structuur van nepnieuws-ontmaskeringen.
Rejected Responses: Verklaringen gegenereerd door state-of-the-art LLMs (GPT-4o-mini, Mistral-7B, Gemini-1.5-flash) die bewust zijn geprompt om zwakkere, minder nauwkeurige antwoorden te geven. Deze bevatten vaak hallucinaties, oppervlakkige redeneringen of bias.
Ratio: De dataset heeft een balans van 1:3 (één menselijke verklaring tegen drie LLM-gegenereerde verklaringen).

2. Curriculum Learning Strategie

In plaats van het model direct op alle data te trainen, wordt een curriculum-aanpak gebruikt:

De afgekeurde (rejected) verklaringen worden gescoord op hun alignering met de grondwaarheid (ground truth) met behulp van een combinatie van BERTScore, ROUGE-L en METEOR.
De data wordt ingedeeld in drie niveaus van moeilijkheid:
- Rank-0 (Makkelijk): Duidelijk slechte verklaringen die sterk afwijken van de waarheid.
- Rank-1 (Gemiddeld): Matig vergelijkbare verklaringen.
- Rank-2 (Moeilijk): Subtiel afwijkende verklaringen die nauwelijks te onderscheiden zijn van de menselijke voorbeelden.
Het model wordt eerst getraind op de makkelijke gevallen en werkt zich op naar de moeilijkste, wat de stabiliteit en generalisatie van het leerproces verbetert.

3. Hin-DPO: Een Verbeterde Loss Function

De kern van de innovatie is Hin-DPO, een aangepaste versie van de standaard DPO-loss die twee nieuwe parameters integreert om hallucinaties te verminderen en feitelijke juistheid te garanderen:

Actuality (Feitelijke Juistheid): Een score die de feitelijke correctheid van een antwoord meet. Deze wordt berekend door een LLM (met webtoegang) te vragen om kernfeiten uit het nieuws te extraheren en te verifiëren. Een hogere score versterkt de beloning voor het voorkeursantwoord.
Finesse (Hallucinatiedetectie via Variatie): Een maatstaf voor de stabiliteit van het model. Door meerdere generaties te maken met een hoge decoding-temperatuur, wordt de variantie in de output-probabiliteitsdistributies gemeten. Een hoge variantie wijst op onzekerheid en potentiële hallucinaties. Dit wordt gebruikt als een schalingsfactor in de loss function om instabiele antwoorden te straffen.

De loss function wordt hierdoor:
$\mathcal{L}_{Hin-DPO} = -\mathbb{E} \left[ \log \sigma \left( \frac{\beta}{v + \epsilon} \left[ (1 + s_w) \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \max(0.01, s_l) \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right] \right) \right]$
Waarbij $s_w$ en $s_l$ de Actuality-scores zijn en $v$ de Finesse-score (variantie).

Belangrijkste Bijdragen

Eerste Framework voor Hindi: DeFactoX is het eerste framework dat zich specifiek richt op het genereren van veracity-gedreven verklaringen voor het Hindi, een taal die vaak wordt genegeerd in NLP-onderzoek.
Synthetische Voorkeursdataset: Het creëren van een hoogwaardige, gestandaardiseerde dataset die menselijke redenering koppelt aan LLM-foutpatronen.
Hin-DPO Innovatie: De introductie van de parameters Actuality en Finesse in de DPO-loss, wat een nieuwe standaard zet voor het verminderen van hallucinaties en het verbeteren van feitelijke consistentie.
Curriculum Learning Integratie: Het succesvol combineren van curriculum learning met preference optimization om modellen stapsgewijs te trainen op complexere onderscheidingsproblemen.

Resultaten

De auteurs hebben het framework getest op vijf modellen, waaronder LLMs (Gemma-2-9B, Llama-3.1-8B, Mistral-7B) en PLMs (mBART, mT5).

Automatische Evaluatie: Hin-DPO presteerde consistent beter dan baselines (Base+SFT), standaard DPO, en varianten met alleen Actuality of Finesse. Er werden significante verbeteringen geboekt in ROUGE, METEOR en BERTScore. Bijvoorbeeld, op het Gemma-2-9B model steeg de BERTScore van 79.34 (DPO) naar 82.95 (Hin-DPO).
Menselijke Evaluatie: Menselijke beoordelaars (studenten met ervaring in nieuwsverificatie) gaven Hin-DPO gegenereerde verklaringen de hoogste scores (gemiddeld 4.12 - 4.23 op een schaal van 0-5) voor factuele nauwkeurigheid, redeneringsalignement en volledigheid.
Ablatie Studies: De resultaten bevestigen dat zowel Curriculum Learning als de toevoeging van Actuality en Finesse individueel en gezamenlijk bijdragen aan de prestaties. Het model leert beter om subtiliteiten in nepnieuws te onderscheiden.

Betekenis en Impact

Dit werk is van groot belang voor de strijd tegen desinformatie in ondervertegenwoordigde talen:

Schaalbaarheid: Het biedt een schaalbare methode om fact-checking te automatiseren in het Hindi, wat essentieel is gezien de meer dan 600 miljoen Hindi-sprekers.
Betrouwbaarheid: Door hallucinaties te reduceren en feitelijke juistheid te prioriteren, kunnen mediahuizen en fact-checkers dit systeem gebruiken om misleidende verhalen sneller te detecteren en uit te leggen.
Toekomstperspectief: Het framework biedt een blauwdruk die kan worden uitgebreid naar andere low-resource talen, hoewel de auteurs erkennen dat de beschikbaarheid van hoogwaardige fact-check data en de berekening van de Finesse-score (die meerdere generaties vereist) nog uitdagingen vormen.

Samenvattend biedt DeFactoX een robuuste oplossing voor het genereren van vertrouwenswaardige, menselijke verklaringen over de waarheid van nieuws in het Hindi, door geavanceerde technieken van preference optimization en curriculum learning te combineren met domeinspecifieke maatstaven voor feitelijke juistheid.