Multilingual Reference Need Assessment System for Wikipedia

Probleemstelling

Wikipedia is een cruciale bron voor miljoenen gebruikers en voor AI-systemen (zoals Large Language Models), maar de betrouwbaarheid ervan hangt af van de verifieerbaarheid van de inhoud. Een kernbeleid van Wikipedia vereist dat claims worden onderbouwd met betrouwbare bronnen. Echter, door de enorme hoeveelheid dagelijkse bewerkingen (ongeveer zes per seconde) is het handmatig identificeren en markeren van claims zonder bronnen (met het label {{Citation needed}}) een traag en arbeidsintensief proces.

Bestaande oplossingen zijn vaak beperkt tot de Engelstalige Wikipedia en missen schaalbaarheid voor andere talen. Er is een dringende behoefte aan een multilinguale, geautomatiseerde oplossing die editors kan ondersteunen bij het handhaven van kwaliteitsstandaarden, rekening houdend met strikte infrastructuurbeperkingen (zoals CPU-only omgevingen en lage latentie-eisen).

Methodologie

1. Definities en Data Collectie

• Referentiebehoefte (Reference Need - RN): Het systeem definieert RN als het proportion van niet-geciteerde claims binnen een artikel die eigenlijk een bron nodig hebben.
• Ground Truth: De auteurs gebruiken "Featured Articles" (uitgelichte artikelen) als grondwaarheid. In deze hoogwaardige artikelen worden zinnen die een bron hebben als positief gelabeld (geciteerd) en zinnen zonder bron als negatief (niet nodig, omdat editors dit al hebben gecontroleerd en gecorrigeerd).
• Datasets: Er is data verzameld voor de top 10 Wikipedia-talen (Engels, Frans, Duits, Spaans, Russisch, Japans, Portugees, Chinees, Italiaans, Perzisch).
  • Training: Gebruikt data van 5 talen (EN, FR, DE, ES, RU).
  • Testing: Gebruikt data van alle 10 talen, inclusief talen die niet in de training zaten (zero-shot transfer).
• Feature Engineering: Het model neemt als input de doelzin, de voorafgaande en volgende zin, de sectienaam, de taalcode en de volledige alinea.

2. Model Architectuur en Training

• Base Model: Het team heeft gekozen voor DistilBERT (een gedistilleerde versie van multilingual BERT) vanwege de balans tussen prestaties en efficiëntie.
• Training: Het model is gefinetuned op een dataset van 100.000 zinnen (5 talen x 20k zinnen) met een maximale inputsequentie van 128 tokens.
• Infrastructuur: Het systeem is ontworpen om te draaien op CPU's (geen GPU's) met een maximale inferentietijd van 500 ms per verzoek, wat essentieel is voor de real-time aard van Wikipedia-bewerkingen.

3. Vergelijking met Alternatieven

• Small Language Models (SLMs): Verschillende configuraties van BERT, RoBERTa en hun gedistilleerde varianten zijn getest.
• Large Language Models (LLMs): Zero-shot prompting met modellen zoals Llama-3 (8B en 70B) en Mistral-7B is getest via een externe API (Together.AI) om te zien of ze zonder training kunnen presteren.
• Optimalisatie: Post-training optimalisaties zoals kwantisatie (INT8, FP8), pruning, en export naar ONNX en Intel Neural Compressor zijn toegepast om de snelheid te verhogen zonder de nauwkeurigheid te verliezen.

Belangrijkste Resultaten

1. Prestaties van SLM vs. LLM

• Het gefinetuned DistilBERT-128 model presteert aanzienlijk beter dan de bestaande "Citation-Needed" baseline (AUC-ROC van 0.765 vs. 0.650 voor de Engelse baseline).
• LLM-prestaties: Zero-shot LLMs (zoals Llama-3-70B) presteren slechter dan de gefinetuned SLM (AUC-ROC rond de 0.60) en hebben een veel hogere latentie (tot 5 seconden per zin versus 0.014 seconden voor de geoptimaliseerde SLM).
• Conclusie: Voor deze specifieke taak zijn kleine, gespecialiseerde modellen (SLMs) superieur aan grote, generieke modellen (LLMs) in termen van zowel nauwkeurigheid als snelheid.

2. Generalisatie over Talen

• Het model toont sterke generalisatievermogen. Hoewel het alleen is getraind op 5 talen, presteert het goed op de 5 niet-getrainde talen (zoals Portugees, Perzisch en Italiaans).
• Talen als Chinees en Japans tonen iets lagere prestaties, wat waarschijnlijk te wijten is aan verschillen in schrijfsystemen en citatiestijlen.

3. Optimalisatie en Latentie

• Door kwantisatie en andere optimalisaties (zoals PyTorch quantization en Intel NC) is de latentie met meer dan de helft verlaagd (van ~0.045s naar 0.014s per zin) terwijl de nauwkeurigheid behouden bleef.
• Dit maakt het mogelijk om het model in productie te draaien binnen de strikte CPU-beperkingen van Wikimedia.

Key Contributions

1. Open Source Multilinguale Systeem: De introductie van een open-source systeem dat de referentiebehoefte schat voor de top 10 Wikipedia-talen, niet beperkt tot het Engels.
2. Trade-off Analyse: Een gedetailleerde analyse van de afweging tussen modelnauwkeurigheid en computerefficiëntie in een productiesetting, waarbij wordt aangetoond dat SLMs de optimale keuze zijn voor dit gebruiksscenario.
3. Productie-implementatie: Het systeem is daadwerkelijk deployed in de productieomgeving van Wikimedia (via KServe op Kubernetes) en is toegankelijk via een publieke API.
4. Data en Code Publicatie: De publicatie van de training- en inferentiecode, evenals de datasets, om verder onderzoek naar informatiebetrouwbaarheid op het web mogelijk te maken.

Significantie en Toekomst

Deze studie is significant omdat het een brug slaat tussen academisch NLP-onderzoek en praktische toepassing in een grote, open-source community. Het bewijst dat complexe taakgerelateerde taken (zoals het beoordelen van Wikipedia-beleid) niet per se enorme LLMs vereisen, maar vaak beter worden opgelost met efficiëntere, gespecialiseerde modellen.

Beperkingen en Ethiek:

• Het model is getraind op "Western" citatiestijlen, wat een risico kan vormen voor culturele bias in minder vertegenwoordigde talen.
• Er bestaat een risico op misbruik door kwaadwillende editors die het systeem proberen te omzeilen.
• De auteurs benadrukken dat het model een hulpmiddel is voor editors en geen vervanging voor menselijke beoordeling, en dat toekomstig werk nodig is om de prestaties voor laag-resourced talen te verbeteren.

Kortom, dit paper levert een schaalbare, kosteneffectieve oplossing op om de verifieerbaarheid van Wikipedia wereldwijd te verbeteren, wat direct bijdraagt aan de kwaliteit van informatie die door zowel mensen als AI-systemen wordt gebruikt.