MultiWikiQA: A Reading Comprehension Benchmark in 300+ Languages

Dit paper introduceert MultiWikiQA, een leesbegripbenchmark met meer dan 1,2 miljoen voorbeelden in 306 talen die door middel van LLM-generatie en menselijke evaluatie is opgezet om de prestaties van taalmodellen te testen en aanzienlijke verschillen tussen talen aan het licht te brengen.

De kern

MultiWikiQA: Een wereldwijde leesproef voor AI

Stel je voor dat je een enorme bibliotheek hebt, de Wikipedia, die niet alleen in het Nederlands of Engels bestaat, maar in 306 verschillende talen. Nu wil je testen of een slimme computer (een AI) echt begrijpt wat er in die boeken staat, of dat hij gewoon raadt.

De auteurs van dit papier hebben een nieuw spelletje bedacht, genaamd MultiWikiQA. Hier is hoe het werkt, vertaald naar begrijpelijke taal:

1. Het Spelbord maken (De Dataset)

Stel je voor dat je een leraar bent die voor elke taal in de wereld een toets wil maken.

• De bron: Ze nemen een Wikipedia-artikel als "leesstuk".
• De vragen: Ze laten een super-slimme AI (een Large Language Model) vragen bedenken over dat artikel. De AI moet ook het antwoord geven, en dat antwoord moet letterlijk in het artikel staan.
• De valstrik: Soms is een AI te slim voor zijn eigen bestwil. Als de vraag precies hetzelfde klinkt als de zin in het artikel, kan de AI "cheaten" door gewoon woorden te matchen. Om dit te voorkomen, laten ze de AI de vraag opnieuw formuleren. Het is alsof je een vraag niet meer vraagt als "Wie won de wedstrijd?", maar als "Wie was de kampioen?". De AI moet nu echt denken en niet alleen zoeken.

Het resultaat is een gigantische verzameling van 1,22 miljoen vragen in 306 talen. Dat is alsof je een toets hebt voor elke taal die op aarde wordt geschreven.

2. De Kwaliteitscontrole (Mensen checken de AI)

Je kunt niet zomaar vertrouwen op wat een computer zegt. Is de vraag wel natuurlijk klinkend?

• De onderzoekers hebben 156 mensen uit 30 verschillende talen (zowel grote talen als kleine, minder bekende talen) gevraagd om de vragen te beoordelen.
• Ze kregen een simpele opdracht: "Klinkt deze vraag als iets wat een echt mens zou vragen?"
• Het resultaat: De vragen waren overal goed. Zelfs voor talen met maar een paar miljoen sprekers (zoals IJslands of Faeröers) klonken de vragen natuurlijk. Het was alsof de AI de taal echt had geleerd, niet alleen woordenboekdefinities.

3. De Proef (AI's tegen elkaar)

Nu de toets klaar is, laten ze 6 verschillende AI-modellen het spel spelen.

• Sommige modellen zijn "decoders" (ze bouwen zinnen op, zoals een schrijver).
• Andere zijn "encoders" (ze analyseren zinnen, zoals een lezer).
• Ze testen deze modellen op 261 van de 306 talen.

Wat ontdekten ze?

• Het is lastig: Zelfs de slimste AI's krijgen het niet altijd goed. Het is geen makkelijk spelletje meer.
• Het verschil is groot: Er is een enorm gat tussen talen. De AI's doen het fantastisch in talen als Engels of Nederlands (alsof ze daar opgroeiden), maar worstelen enorm in talen als Sotho of Quechua. Het is alsof je een voetballer vraagt om op een grasveld te spelen (goed) en dan plotseling op een ijsbaan (moeilijk). De AI's zijn getraind op "gras", maar veel talen zijn "ijs".

Waarom is dit belangrijk?

Vroeger hadden we alleen toetsen voor de "grote" talen. Dit project is als het openen van de deuren van de bibliotheek voor iedereen. Het laat zien dat AI's nog veel moeten leren om echt wereldwijd te kunnen helpen. Als we AI willen gebruiken voor het opzoeken van informatie in elk land ter wereld, moeten we eerst weten waar ze haperen.

Kortom:
De onderzoekers hebben een wereldwijde leesproef gemaakt, gecontroleerd door echte mensen, om te zien hoe goed AI's echt begrijpen wat ze lezen in bijna elke taal. Het bewijst dat we nog een lange weg te gaan hebben voordat AI voor iedereen even goed werkt.

Technische samenvatting

Probleemstelling

Het extraheren van informatie uit documenten is een van de primaire toepassingen van Large Language Models (LLMs), vooral in het kader van Retrieval-Augmented Generation (RAG). Lezingbegrip (extractive question answering) is hierbij een cruciale component. Hoewel er veel benchmarks bestaan voor hoge-resourcetalen (zoals Engels, Duits, Frans), is er een groot gebrek aan hoogwaardige evaluatiedatasets voor de duizenden andere talen, met name voor lage-resourcetalen. Bestaande meertalige datasets dekken vaak slechts een klein deel van de wereldtalen (bijv. 3 tot 26 talen) of gebruiken een ander formaat (zoals meerkeuzevragen in plaats van extractieve antwoorden), wat de vergelijkbaarheid en bruikbaarheid voor specifieke NLP-taken beperkt.

Methodologie

De auteurs hebben een nieuwe dataset, MultiWikiQA, gegenereerd met een geautomatiseerde pipeline die gebruikmaakt van LLMs en Wikipedia-artikelen als context. Het proces verloopt in drie hoofdfasen (zoals geïllustreerd in Figuur 1 van het paper):

1. Generatie van Tentatieve Vraag-Antwoordparen:

   • De pipeline start met Wikipedia-artikelen als context.
   • Een LLM (Gemini-1.5-pro) wordt geprompt om 2 tot 10 vraag-antwoordparen per artikel te genereren.
   • Cruciale beperking: Het antwoord moet verbatim (letterlijk) voorkomen in het bronartikel. Dit garandeert dat het een extractieve taak blijft.
   • De output wordt gestructureerd als JSON om validatie te vergemakkelijken.

2. Filtering en Validatie:

   • De gegenereerde JSON-objekten worden gefilterd om te controleren of ze de juiste sleutels ("question", "answer") bevatten.
   • Er wordt gecontroleerd of het antwoord daadwerkelijk exact voorkomt in de contextdocumenten.

3. Herformulering (Rephrasing) om "Cheating" te voorkomen:

   • Een bekend probleem in QA-datasets is dat modellen de oplossing vinden door simpelweg woord-over-woord matching (word matching) in plaats van echt begrip.
   • Om dit te voorkomen, wordt een tweede LLM-prompt gebruikt om de gegenereerde vragen te herformuleren. De context wordt hierbij niet meegegeven; de LLM moet de vraag herschrijven met synoniemen, andere zinsconstructies of woordvolgorde, terwijl de betekenis behouden blijft.
   • Dit zorgt voor een robuustere evaluatie die minder gevoelig is voor oppervlakkige patronen.

Dataset Specifics:

• Talen: 306 talen (inclusief speciale splitsingen voor Mandarijn: Simplified/Traditional en Portugees: Europees/Braziliaans).
• Aantal samples: Totaal 1.220.757 samples.
• Bron: Wikipedia dump van 20231101.

Kwaliteitsevaluatie (Crowdsourcing)

Om de kwaliteit van de automatisch gegenereerde vragen te verifiëren, hebben de auteurs een crowdsourced survey uitgevoerd:

• Deelnemers: 156 respondenten verspreid over 30 talen (een mix van hoge- en lage-resourcetalen).
• Methode: Respondenten beoordeelden de "vloeiendheid" (fluency) van 50 willekeurige vragen per taal op een schaal van 1 tot 3 sterren.
• Resultaat: Alle 30 geteste talen behaalden een gemiddelde score boven de 2.0 ("mostly natural"). Dit bevestigt dat de LLM-generatie van hoge kwaliteit is, zelfs voor talen met minder dan één miljoen moedertaalsprekers (zoals Faeröers, IJslands en Ossetisch).

Evaluatie van Taalmodellen

De auteurs hebben 6 verschillende taalmodellen getest op de dataset (voor 261 talen met voldoende data):

• Modellen:
  • Decoders: Mistral-Small-3.1-24B (Base & Instruct), Llama-3.1-8B (Base & Instruct).
  • Encoders: Multilingual-E5-large, XLM-RoBERTa-large.
• Setup: Decoder-modellen werden geëvalueerd met 2-shot learning (omdat base-modellen zonder instructies slecht presteren in zero-shot). Encoder-modellen werden getraind op de trainingsset met vroege stopzetting op de validatieset.
• Resultaten:
  • Er is een grote prestatieverschil tussen talen. Hoog-resourcetalen (zoals Engels, Nederlands, Duits) behalen hoge F1-scores (vaak >70%), terwijl lage-resourcetalen vaak onder de 20-30% zakken.
  • Decoder-modellen (vooral instruct-getuned) presteren over het algemeen aanzienlijk beter dan encoder-modellen op deze taak.
  • De benchmark is uitdagend genoeg om onderscheid te maken tussen modellen van verschillende groottes en architecturen.

Belangrijkste Bijdragen

1. MultiWikiQA Dataset: De release van een uitgebreid meertalig lezingbegrip-dataset in 306 talen, specifiek ontworpen voor de evaluatie van encoder-, decoder- en encoder-decoder modellen.
2. Kwaliteitsdata: Openbaarmaking van de ruwe data van de crowdsourced evaluatie (156 respondenten, 30 talen), wat zeldzaam is voor datasets van deze schaal.
3. Benchmarks Resultaten: Een grondige evaluatie van 6 state-of-the-art modellen over 261 talen, wat een nieuw referentiepunt biedt voor meertalige NLP-prestaties.

Significantie en Conclusie

MultiWikiQA vult een kritieke lacune in de NLP-community door de beschikbaarheid van evaluatiebronnen voor honderden talen drastisch te vergroten. Het paper demonstreert dat:

• Het is mogelijk om via LLMs en Wikipedia hoogwaardige, vloeiende QA-datasets te genereren voor een enorme verscheidenheid aan talen.
• Er nog steeds een enorme kloof bestaat in de prestaties van AI-modellen tussen hoge- en lage-resourcetalen.
• De dataset een effectief hulpmiddel is om de echte lezingbegrip-vaardigheden van modellen te testen, in plaats van hun vermogen om woorden te matchen.

De dataset en de evaluatieresultaten zijn publiek beschikbaar gesteld, wat onderzoekers in staat stelt om modellen te verbeteren voor talen die tot nu toe vaak werden genegeerd.