A multilingual hallucination benchmark: MultiWikiQHalluA
Dit artikel introduceert MultiWikiQHalluA, een meertalige hallucinatiebenchmark die 306 talen bestrijkt, en gebruikt deze om aan te tonen dat hallucinatiepercentages aanzienlijk hoger zijn in talen met minder bronnen en in kleinere modellen, waarbij de grootste modellen het beste presteren bij de beoordeelde Europese talen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een zeer slimme, meertalige robot voor die ervan houdt om Wikipedia-artikelen te lezen en vragen daarover te beantwoorden. Je vraagt het: "Wat is de hoofdstad van IJsland?" en het antwoordt: "Reykjavik." Geweldig! Maar soms wordt deze robot een beetje te creatief. Het kan zeggen: "Reykjavik ligt op de maan," of "De hoofdstad is een stad genaamd 'IJsberg'." Hoewel de zin vloeiend en zelfverzekerd klinkt, is het volledig verzonnen. In de wereld van AI noemen we dit hallucinatie.
Dit artikel is als een nieuwe "leugendetector"-test voor robots, maar in plaats van alleen Engels te controleren, hebben de onderzoekers een test gebouwd die werkt voor 306 verschillende talen, waaronder sommige die zelden door computers worden gezien (zoals IJslands).
Hier is het verhaal van hoe ze dit deden, eenvoudig uitgelegd:
1. Het Probleem: De "Vloeiende Leugenaar"
De meeste tests voor roboteerlijkheid controleren alleen Engels. Het is alsof je alleen het rijbewijs van een bestuurder in één stad test en er van uitgaat dat hij overal veilig kan rijden. De onderzoekers wilden weten: Logen robots vaker wanneer ze talen spreken die ze minder goed kennen?
Ze definieerden "hallucinatie" specifiek als trouw. Dit betekent: Hield de robot zich aan het verhaal dat je hem vertelde?
- Goede Robot: Leest een verhaal over een kat, zegt dan: "De kat is oranje."
- Hallucinerende Robot: Leest een verhaal over een kat, zegt dan: "De kat is eigenlijk een draak." (Het klinkt geloofwaardig, maar het staat niet in het verhaal).
2. De Oplossing: Een "Fake News"-fabriek bouwen
Om hun leugendetector te trainen, hadden de onderzoekers een enorme stapel voorbeelden nodig waarin de robot wel loog. Maar ze wilden niet wachten tot robots natuurlijk zouden liegen; dat duurt te lang.
Dus bouwden ze een synthetische fabriek:
- Ze namen een enorm dataset met echte vragen en antwoorden (MultiWikiQA) die 306 talen bestrijkt.
- Ze gebruikten een super-slimme AI (GPT-5) om de juiste antwoorden opzettelijk te herschrijven, zodat ze geloofwaardig klonken maar feitelijk verkeerd waren op basis van de brontekst.
- Ze deden dit voor 306 talen, waardoor een gigantische bibliotheek met "verzonnen antwoorden" ontstond.
- Vervolgens trainden ze een kleinere, gespecialiseerde AI (een "token-level classifier") om deze leugens op te sporen. Denk aan deze classifier als een spellingcontrole voor waarheid. In plaats van te controleren of een woord correct gespeld is, controleert het of een specifiek woord in een zin bij het oorspronkelijke verhaal hoort of of het een verzonnen uitvinding is.
Ze trainden deze "waarheidsspellingcontroles" voor 30 Europese talen en testten ze op vier: Engels, Duits, Deens en IJslands.
3. Het Experiment: De Robots Testen
De onderzoekers namen vijf verschillende AI-modellen (variërend van een heel klein tot een gigantisch model) en vroegen hen om vragen te beantwoorden in die vier talen. Vervolgens voerden ze de antwoorden door hun nieuwe "waarheidsspellingcontrole" om te zien hoeveel leugens in de tekst verstopt zaten.
4. De Resultaten: Grootte Maakt Uit, Maar Taal Maakt Meer Uit
Hier is wat ze vonden, met behulp van enkele eenvoudige analogieën:
- De "Kleine Robot" Strijdt: Het kleinste AI-model (Qwen3-0.6B) was de slechtste leugenaar. Het was als een student die niet genoeg had gestudeerd en gewoon gokte. In het IJslands bevatten 60% van zijn antwoorden minstens één leugen.
- De "Grote Robots" zijn Beter: De grotere, krachtigere modellen (zoals die met 70 miljard parameters) waren veel beter in het vasthouden aan de feiten. Ze waren de "ere-studenten" van de groep.
- De "Taalkloof": Dit is de belangrijkste bevinding. De robots loog veel vaker in talen die ze minder goed kenden.
- Engels en Duits (talen die de robots zeer goed kennen): Zeer weinig leugens.
- Deens en IJslands (talen die de robots minder goed kennen): Veel meer leugens.
- IJslands was het moeilijkst. Zelfs de beste robots loog hier meer dan in het Engels. Het is alsof je een chef-kok vraagt om een gerecht te koken dat hij nog nooit heeft gezien; dan is de kans groter dat hij de ingrediënten verkeerd raadt.
5. Een Verrassende Draai
Je zou denken: "Hoe groter de robot, hoe minder hij liegt." Maar het is niet zo simpel. Soms was een middelgrote robot beter dan een gigantische, afhankelijk van de taal. Dit suggereert dat hoe de robot is getraind (welke talen hij bestudeerde) net zo belangrijk is als hoe groot hij is.
6. De Haken en Ogen (Het "Token"-Probleem)
De onderzoekers merkten ook een technische eigenaardigheid op. In talen zoals IJslands breekt de computer woorden op in vele kleine stukjes (tokens) om ze te begrijpen. In het Engels ziet het misschien één woord als één stukje. In het IJslands kan datzelfde woord vijf stukjes zijn.
- De Analogie: Stel je voor dat je een zin controleert op fouten. Als je het woord-voor-woord controleert, vind je misschien 1 fout. Als je het letter-voor-letter controleert, vind je misschien 5 fouten alleen maar omdat het woord langer is.
- De onderzoekers waarschuwen dat hun "aantal leugens" voor IJslands deels hoger kan lijken omdat de woorden in meer stukjes worden gehakt, waardoor de detector meer kansen krijgt om een "leugen" te vinden, zelfs als de betekenis hetzelfde is.
Samenvatting
Het artikel introduceert een nieuwe, open-source tool die kan detecteren wanneer AI-modellen dingen verzinnen in 306 talen. Ze vonden dat hoewel grotere modellen over het algemeen eerlijker zijn, robots aanzienlijk vatbaarder zijn voor hallucinaties in talen die ze minder goed kennen, zoals IJslands. Ze hebben hun "fake news"-datasets en hun "waarheidsdetectoren" vrijgegeven voor iedereen om te gebruiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.