Multilingual and Cross-Lingual Citation Needed Detection on Wikipedia for Lower-Resource Languages

Technische Samenvatting: Multilinguale en Kruislingse Detectie van Bronvermelding Nodig op Wikipedia voor Talen met Minder Hoge Resources

Probleemdefinitie
Geautomatiseerde factchecking (AFC) vertrouwt op de detectie van bewering-controlewaardigheid (CWD) om beweringen te identificeren die verificatie vereisen. Op Wikipedia uit zich dit in de detectie van "Bronvermelding Nodig" (Citation Needed Detection, CND), een binaire classificatietaak waarbij redacteurs beweringen markeren die geen autoritatieve inline-bronvermeldingen missen. Hoewel bestaand onderzoek CND heeft behandeld voor talen met hoge resources, worden gemeenschappen met talen met minder hoge resources onevenredig zwaar belast door minder actieve redacteuren en een gebrek aan geautomatiseerde tools. Bovorm bovendien vertrouwen recente AFC-pipelines steeds vaker op Large Language Models (LLM's), die vaak ontoegankelijk zijn voor organisaties met beperkte middelen vanwege propriëtaire restricties en hoge kosten voor inferentie. Dit artikel adresseert de kloof in multilingale CND-resources en de haalbaarheid van het gebruik van kleinere, kosteneffectieve modellen voor deze taak.

Methodologie
De auteurs introduceren MCN (Multilingual Citation Needed), een grootschalige corpus afgeleid van hoogwaardige "Featured Articles" op Wikipedia. De dataset beslaat 18 taalkundig diverse talen over drie resource-niveaus (hoog, medium en laag), variërend van de Indo-Europese, Turkse, Austronesische en Austroasiatische families. Claims zijn gelabeld op basis van de aanwezigheid of afwezigheid van inline-bronvermeldingen, aangevuld met contextuele zinnen en onderwerp-metadata.

De studie evalueert Small Language Models (SLM's) (specifiek Llama-3-8B, Qwen3-8B en Aya-8b) als alternatieven voor LLM's. De methodologie richt zich op drie experimentele assen:

1. Supervised Fine-Tuning (SFT) Varianten: De auteurs vergelijken drie adaptatiestrategieën voor decoder-gebaseerde SLM's met behulp van QLoRA:
   • Full-Token Loss (FTL): Standaard autoregressieve training over alle tokens.
   • Target-Only Loss (TOL): Het maskeren van input-tokens om de focus van het leren te leggen op de assistent-tokens (labels).
   • Encoder-Style (ES): Het aanpassen van het decoder-model als een discriminatieve classifier door de laatste-token hidden state in een feed-forward classifier te voeden, geoptimaliseerd met cross-entropy loss.
2. Multilinguale Benchmarking: SLM's worden vergeleken met encoder-gebaseerde Pre-trained Language Models (PLM's zoals mBERT en XLM-R) en commerciële LLM's (GPT-5, Gemini 2.5) met behulp van zero-shot en few-shot prompting.
3. Kruislingse Transfer (X-CND): De auteurs evalueren de overdraagbaarheid van modellen die uitsluitend op Engelse data zijn getraind naar medium- en laag-resource doeltalen onder zero-shot en few-shot settings. Dit omvat testen op zowel synthetische parallelle data (vertaalde Engelse testsets) als niet-parallelle real-world data.

Belangrijkste Bijdragen

• MCN Corpus: De release van een grootschalige CND-dataset die 18 talen beslaat, wat de taalkundige en resource-niveau dekking van eerdere datasets (bijv. CitationNeeded, CheckThat) aanzienlijk vergroot.
• SLM vs. LLM Benchmark: Een uitgebreide evaluatie die aantoont dat gefinetunede SLM's aanzienlijk beter presteren dan geprompte LLM's over alle resource-niveaus.
• Eerste Kruislingse CND-studie: De eerste systematische evaluatie van kruislingse CND, die laat zien dat Engels-getrainde SLM's effectief kunnen transfereren naar talen met minder hoge resources.
• SFT Strategie Analyse: Identificatie van de Encoder-Style (ES) fine-tuning als de meest effectieve strategie voor het aanpassen van decoder-gebaseerde SLM's aan de discriminatieve CND-taak.

Resultaten

• SFT Varianten: Encoder-style (ES) fine-tuning presteert consistent beter dan generatieve varianten (FTL en TOL) over de meeste talen en modellen, met nauwkeurigheidswinsten van tot wel 8 procentpunten over generatieve methoden.
• Modelprestaties: Gefinetunede SLM's en PLM's presteren significant beter dan geprompte LLM's. Zo behalen gefinetunede SLM's bijvoorbeeld 66–70% nauwkeurigheid op talen met minder hoge resources, terwijl de best presterende LLM (Gemini 2.5) slechts ~59% bereikt.
• Kruislingse Transfer:
  • Op parallelle data vertonen gefinetunede SLM's een sterke zero-shot generalisatie (tot 87% nauwkeurigheid).
  • Op niet-parallelle real-world data daalt de nauwkeurigheid met ongeveer 15–20 procentpunten, wat de uitdaging van distributieverschuivingen benadrukt.
  • Cruciaal is dat ES-gefineetunde SLM's die uitsluitend op Engelse data zijn getraind, geprompte LLM's overtreffen op doeltalen, zelfs met nul of minimale supervisie in de doeltaal.
• Few-Shot Adaptatie: Hoewel few-shot tuning de prestaties verbetert, vereist dit zorgvuldige hyperparameter-tuning (met name lagere learning rates) om effectief te zijn voor QLoRA-gefineetunde SLM's. mBERT profiteert het meest van few-shot tuning, maar ES-getunede SLM's presteren nog steeds beter dan LLM's met minimale adaptatie.
• Generaliseerbaarheid: Modellen getraind op "Featured Articles" generaliseren goed naar willekeurig gesamplede Wikipedia-artikelen, waarbij de prestaties vergelijkbaar blijven na correctie voor annotatie-biases in niet-featured content.

Betekenis en Implicaties
Het artikel betoogt dat compacte, taakspecifieke modellen te verkiezen zijn boven algemene LLM's voor CND, met name voor Wikipedia-gemeenschappen met minder hoge resources. De bevindingen suggerieën dat:

1. Toegankelijkheid: Organisaties met beperkte middelen kunnen effectieve CND-tools inzetten met kleine, open-source modellen die zijn gefinetuned op talen met hoge resources, waardoor ze de noodzaak voor dure LLM API's of grote datasets in de doeltaal omzeilen.
2. Efficiëntie: Encoder-style fine-tuning biedt een betrouwbaar, kosteneffectief pad om decoder-gebaseerde modellen aan te passen voor discriminatieve taken.
3. Inzetbaarheid: De kruislingse transfer van gespecialiseerde, op Engels getrainde modellen biedt een levensvatbare strategie voor het ondersteunen van gemeenschappen met minder hoge resources, mits de beperkingen van real-world distributieverschuivingen worden erkend.

De auteurs vermelden beperkingen, waaronder een concentratie op Indo-Europese talen, de afhankelijkheid van QLoRA-gebaseerde fine-tuning, en het domeinspecifieke karakter van Wikipedia's bronvermeldingsbeleid, wat mogelijk niet direct overdraagbaar is naar andere fact-checking domeinen zoals politieke debatten.