Multilingual, Multimodal Pipeline for Creating Authentic and Structured Fact-Checked Claim Dataset

Probleemstelling

De snelle verspreiding van desinformatie op online platforms vereist robuuste, actuele en uitlegbare fact-checking middelen. Bestaande datasets voor automatische fake-news detectie hebben echter ernstige beperkingen:

• Taal- en modaal bias: De meeste benchmarks zijn Engels-dominant, tekst-gecentreerd en statisch. Ze negeren de visuele dimensie (afbeeldingen en video's) die cruciaal is voor de verspreiding van leugens.
• Gebrek aan diepgang: Huidige systemen behandelen gedownloade documenten vaak als uitwisselbare tekst, zonder de functionele verschillen tussen bronnen (bijv. officiële verslagen vs. nieuwsartikelen) te begrijpen. Ze missen lokale, controleerbare verwijzingen (zoals tekstspans of tijdstippen) en vertrouwen te veel op secundaire bronnen in plaats van primaire bewijslast.
• Ontkoppeling van journalistieke praktijk: Geautomatiseerde systemen repliceren niet de complexe, bronkritische workflow van professionele fact-checkers, die gebruikmaken van triangulatie en diverse bewijssoorten.

Methodologie: Een Meerdere Stappen- Pipeline

De auteurs stellen een schaalbaar, scriptable pipeline voor om multilinguale (Frans en Duits) en multimodale fact-checking datasets te construeren. De pipeline bestaat uit vijf hoofdstappen:

1. Data Collectie:

   • Aggregatie van ClaimReview feeds via de Google Claim Review API en het scrapen van volledige "ontmaskerende" artikelen (debunking articles) van de bronwebsites.
   • Het verzamelen van claim-uitspraken, metadata, en de bijbehorende volledige artikelen.

2. Contextuele Verrijking:

   • Scrapen van de volledige artikelen inclusief ingebedde afbeeldingen, video's en bijschriften.
   • Specifieke scrapers per organisatie om de heterogene structuur van fact-checking websites te hanteren.

3. Metadata Normalisatie:

   • Gebruik van een few-shot GPT-4o model om de bron van de claim te categoriseren op basis van de inhoud (tekst, beeld, video, statistieken).
   • Verdict Normalisatie: Het deterministisch mappen van diverse, heterogene rating-schalen (van binair True/False tot numerieke schalen) naar een uniforme set labels: True, False, Mixture (gedeeltelijk waar), Other.

4. Bewijsextractie Schema (Evidence Schema):

   • In plaats van ruwe tekstmatching, wordt een fijnmazig schema gebruikt dat gebaseerd is op journalistieke verificatiepraktijken. Bewijs wordt gecategoriseerd in zes epistemische rollen:
     1. Expert Testimony: Uitspraken van erkende experts (wetenschappers, artsen).
     2. Quantitative Data & Statistics: Meetbare cijfers, percentages, peilingen.
     3. Official Records & Legal/Policy Documents: Officiële documenten, wetten, rechterlijke uitspraken.
     4. Media Record: Publicaties in nieuwsmedia of sociale media die de verspreiding van de claim aantonen.
     5. Multimedia Evidence: Foto's, video's, audio, screenshots die als bewijs dienen.
     6. Eyewitness & Firsthand Accounts: Directe persoonlijke getuigenissen.

5. Generatie met LLMs:

   • Extractie: State-of-the-art Large Language Models (LLMs) zoals Gemini-2.5-Pro, Llama3.3-70B en Qwen2.5-72B worden gebruikt om bewijs uit de artikelen te extraheren en in de bovenstaande categorieën te plaatsen.
   • Justificatie: Dezelfde modellen genereren een tekstuele onderbouwing die het bewijs koppelt aan het oordeel (verdict), met een focus op transparante redenering.
   • Multimodale Integratie: Voor video's worden sleutelbeelden (keyframes) met tijdstippen geëxtraheerd en geïntegreerd in de input voor multimodale LLMs (zoals Qwen2.5-VL).

Belangrijkste Bijdragen

1. Reproduceerbare Pipeline: Een volledig scriptbare pipeline voor het bouwen van multimodale fact-checking datasets met gestructureerde metadata.
2. Nieuwe Datasets: Twee grote, actuele datasets voor Frans (5.170 claims, 2014-2025) en Duits (3.555 claims, 2017-2023). Deze bevatten claims, volledige artikelen, visuele media en bewijs gecategoriseerd volgens journalistieke standaarden.
3. Analyse van Praktijken: Een analyse van hoe verschillende organisaties en media-markten bewijs gebruiken, wat institutionele verschillen in verificatiestrategieën blootlegt.
4. Benchmarking: Een uitgebreide evaluatie van LLMs en multimodale LLMs voor bewijsextractie en justificatiegeneratie, inclusief een "LLM-as-a-judge" benadering.

Resultaten en Evaluatie

De systemen werden geëvalueerd met G-Eval (met GPT-4o als rechter) en menselijke annotatoren, gebaseerd op drie criteria: Correctheid, Coherentie en Volledigheid.

• Model Prestaties:
  • Gemini-2.5-Pro presteerde consistent het beste op alle criteria voor zowel bewijsextractie als justificatiegeneratie in zowel tekstuele als multimodale settings.
  • Qwen2.5 en Llama3.3 presteerden goed, maar met variaties: Llama3.3 scoorde vaak hoger op coherentie, terwijl Qwen2.5 soms beter scoorde op correctheid.
• Multimodale Impact:
  • Het toevoegen van visuele bewijslast (afbeeldingen, video-kaders) verbeterde de kwaliteit van de generaties, vooral voor Gemini-2.5-Pro, wat resulteerde in hogere coherentie en correctheid.
  • Modellen die visuele signalen minder goed koppelden aan tekst (zoals Qwen in sommige gevallen), presteerden iets lager op multimodale taken.
• Dataset Statistieken:
  • Er werden significante verschillen gevonden in bewijsgebruik tussen organisaties en landen. Bijvoorbeeld, Franse uitgevers gebruiken vaker kwantitatief bewijs en ooggetuigenverslagen, terwijl Duitse uitgevers vaker terugvallen op expert testimony.
  • Claims met een "gedeeltelijk waar" (Partially True) label bleken in beide talen het sterkst afhankelijk van documentair bewijs (experts, officiële stukken).

Betekenis en Toekomstperspectief

Dit werk vormt een brug tussen geautomatiseerde fact-checking en journalistieke praktijk. Door bewijs niet alleen als tekst te behandelen, maar te structureren volgens de rol die het speelt in de verificatie (bijv. expert vs. ooggetuige), creëren de auteurs een dataset die:

• Interpreteerbaarheid bevordert: Modellen kunnen leren waarom een claim waar of onwaar is, gebaseerd op de aard van het bewijs.
• Cross-culturele analyse mogelijk maakt: Het stelt onderzoekers in staat te onderzoeken hoe verificatiestrategieën variëren tussen verschillende media-systemen (Frankrijk vs. Duitsland).
• De basis legt voor de volgende generatie modellen: Het biedt een realistisch, multimodaal testbed voor het ontwikkelen van modellen die beter kunnen redeneren over complexe, multimodale desinformatie, in plaats van alleen tekstuele patronen te herkennen.

De datasets en scripts zijn openbaar beschikbaar gesteld om reproduceerbaarheid en verdere ontwikkeling in het veld te stimuleren.