MultiCW: A Large-Scale Balanced Benchmark Dataset for Training Robust Check-Worthiness Detection Models

Probleemstelling

Automatische detectie van "check-waardige" claims (claims die geverifieerd moeten worden door fact-checkers) is een cruciale stap in het proces van feitencontrole. Bestaande systemen en datasets hebben echter ernstige beperkingen:

• Taalbeperking: De meeste datasets zijn beperkt tot het Engels.
• Domein- en Stijlbeperking: Datasets focussen vaak op specifieke onderwerpen (bijv. COVID-19) of slechts één schrijfstijl (bijv. nieuwsartikelen of alleen sociale media).
• Onbalans: Bestaande datasets vertonen vaak grote onbalans tussen "check-waardige" en "niet-check-waardige" claims, en tussen formele en informele teksten.
  Dit maakt het moeilijk voor modellen om te generaliseren naar real-world scenario's die multilinguaal, thematisch divers en taalkundig heterogeen zijn (van gestructureerde nieuwsberichten tot rommelige sociale media-berichten).

Methodologie: Het MultiCW Dataset

De auteurs introduceren MultiCW, een groot, gebalanceerd, meertalig benchmark-dataset voor de detectie van check-waardige claims.

1. Dataset Samenstelling:

• Omvang: 123.722 samples voor het in-distribution (ID) deel en 27.761 samples voor het out-of-distribution (OOD) deel.
• Talen: 16 talen in het ID-deel en 4 extra talen in het OOD-deel (totaal 20 talen).
• Domeinen: 7 thema's (gezondheid, politiek, milieu, wetenschap, sport, entertainment, geschiedenis).
• Schrijfstijlen: Twee distincte stijlen:
  • Gestructureerd: Formele teksten (nieuws, Wikipedia) met correcte grammatica.
  • Rommelig (Noisy): Informele teksten (sociale media) met spelfouten, slang en conversatiestijl.
• Balancering: Het dataset is zorgvuldig gebalanceerd op drie assen: taal, klasse (check-waardig vs. niet-check-waardig) en schrijfstijl. Dit is uniek vergeleken met eerdere datasets die vaak zwaar scheef waren.

2. Constructie en Balancering:

• Bronnen: Het dataset integreert bestaande bronnen zoals CLEF-2022/2023, MultiClaim, Ru22Fact en LESA.
• Augmentatie: Om ondervertegenwoordigde talen en klassen aan te vullen, gebruikten de auteurs machinevertaling (van Engels naar minder gebruikte talen) en "Wikipedia-sampling" (het extraheren van zinnen uit Wikipedia als voorbeelden van niet-check-waardige, algemene kennis).
• Kwaliteitscontrole: Er werden strenge filters toegepast (duplicaten verwijderen, lengtefilters) en handmatige spot-checks uitgevoerd om vertaalfouten in zowel gestructureerde als rommelige teksten te minimaliseren.

3. Definities:
Een claim wordt gedefinieerd als "check-waardig" als het voldoet aan criteria zoals significantie (impact op beleid/veiligheid), controverse, impact op publieke opinie, of betrouwbaarheid van de bron. Niet-check-waardige claims zijn subjectief, triviaal, gemeenschappelijke kennis of hebben geen impact.

Experimentele Opzet

De auteurs hebben twee soorten modellen getest op het MultiCW dataset:

1. Fine-tuned Transformers: Drie multilinguale modellen (XLM-R, mDeBERTa, LESA) die zijn getraind op het trainingsdeel van MultiCW.
2. Zero-shot Large Language Models (LLMs): 15 verschillende LLMs (o.a. GPT-4, Claude, Llama, Mistral, Qwen) die zonder fine-tuning werden getest met verschillende prompt-strategieën (zoals Chain-of-Thought en Guided Answer).

De evaluatie omvatte prestaties op het totale testset, gesplitst per schrijfstijl (noisy vs. structured) en per taal. Er werd ook een out-of-distribution evaluatie uitgevoerd om generalisatie naar onbekende talen te testen.

Belangrijkste Resultaten

1. Fine-tuned Modellen vs. Zero-shot LLMs:

• Fine-tuned Transformers presteerden consistent beter dan zero-shot LLMs.
  • XLM-R en mDeBERTa bereikten een nauwkeurigheid van ongeveer 92% op het totale testset.
  • LESA (een oudere architectuur) behaalde 79%, maar presteerde slechter op rommelige teksten.
• Zero-shot LLMs bereikten een maximale nauwkeurigheid van 79% (Nemotron-4 340B met Chain-of-Thought prompting), wat significant lager is dan de fine-tuned modellen.
• Stijl-afhankelijkheid: Fine-tuned modellen presteerden uitstekend op gestructureerde teksten (>96%), maar zagen hun prestaties dalen bij rommelige teksten (~87%). LLMs hadden moeite met de nuance van informele taal.

2. Generalisatie (Out-of-Distribution):

• De fine-tuned modellen toonden sterke generalisatie naar de 4 extra talen in het OOD-deel, met een nauwkeurigheid van 81-87% (een daling van slechts 5-9 punten ten opzichte van het in-distribution deel).
• Dit bevestigt dat pre-training op grote multilinguale corpora, gecombineerd met fine-tuning, robuustheid biedt over taalgrenzen heen.

3. Taalspecifieke Prestaties:

• Fine-tuned modellen presteerden het beste op West-Europese talen (96-98%) en het slechtste op Arabisch (80-81%).
• LLMs toonden een ander patroon: ze presteerden verrassend goed op sommige minder gebruikte talen (zoals Hindi en Bengaals) in zero-shot settings, maar worstelden ook met Arabisch en Bulgaars.

Belangrijkste Bijdragen

1. MultiCW Dataset: Het eerste grote, gebalanceerde meertalige dataset dat specifiek is ontworpen om de robuustheid van modellen te testen over verschillende talen, domeinen en schrijfstijlen (formeel vs. informeel).
2. Benchmarks: Het biedt sterke baselines door zowel state-of-the-art fine-tuned transformers als een breed scala aan commerciële en open-source LLMs te evalueren.
3. Inzicht in LLM-capaciteiten: Het paper demonstreert dat, ondanks de kracht van LLMs, taak-specifiek fine-tuning nog steeds essentieel is voor de hoogste prestaties in feitencontrole-taken, vooral bij heterogene en informele data.
4. Prompt Engineering: Het toont aan dat Chain-of-Thought (CoT) prompting de prestaties van LLMs kan verbeteren, maar niet genoeg om de kloof met fine-tuned modellen te dichten.

Significantie en Toekomstperspectief

MultiCW biedt een rigoureuze testomgeving voor de ontwikkeling van automatische fact-checking systemen. De resultaten suggereren dat voor praktische toepassingen in de echte wereld (waar data vaak rommelig en multilinguaal is), fine-tuned modellen de voorkeur hebben boven pure zero-shot LLMs.

Toekomstig onderzoek zou moeten focussen op:

• Hybride systemen die de precisie van fine-tuned modellen combineren met de flexibiliteit van LLMs.
• Het onderzoeken van geavanceerde prompt-strategieën en in-context learning om de prestaties van LLMs te verbeteren.
• Het uitbreiden van datasets naar meer ondervertegenwoordigde talen (Afrikaans, inheemse talen) en domeinen (financieel, juridisch).
• Het integreren van multimodale input (tekst + afbeeldingen), wat momenteel ontbreekt in MultiCW.

Kortom, dit werk legt de basis voor de volgende generatie robuuste, multilinguale tools voor het bestrijden van desinformatie.