Multilingual Large Language Models do not comprehend all natural languages to equal degrees
Dit onderzoek toont aan dat meertalige Large Language Models ondanks hun veelzijdigheid in alle onderzochte talen onder het menselijke niveau presteren, waarbij Engels verrassend niet de beste taal is, maar juist door diverse Romaanse talen wordt overtroffen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: De Taal-Keuken van AI: Waarom Spanje en Italië beter scoren dan Engeland
Stel je voor dat Large Language Models (LLM's), de slimme chatbots die we vandaag de dag gebruiken, als een gigantische, internationale kok zijn. Deze kok heeft in zijn keuken (zijn trainingsdata) recepten uit de hele wereld verzameld. De algemene aanname was altijd: "Deze kok is natuurlijk het beste in het koken van Engelse gerechten, want dat is de taal van de wereld."
Maar een nieuw onderzoek, gedaan door een team van wetenschappers uit Spanje, Duitsland en Nederland, heeft deze kok op de proef gesteld. Ze hebben hem gevraagd om 12 verschillende gerechten (in 12 verschillende talen) te begrijpen en te beantwoorden. Het resultaat? De kok is verrassend goed in veel talen, maar Engeland is niet de beste. Sterker nog, de kok kookt in het Spaans en Italiaans vaak beter dan in het Engels!
Hier is hoe het onderzoek in het kort werkt, vertaald naar alledaagse taal:
1. De Proef: Een Taal-Quiz
De onderzoekers gaven de AI-modellen (GPT-4o, Grok-3 en DeepSeek-V3) een simpele maar slimme quiz. Het ging niet om moeilijke wiskunde, maar om het begrijpen van korte verhalen.
- Voorbeeld: "Jan bedroog Marie en Lucy werd bedrogen door Marie. Bedroeg Marie in dit verhaal Lucy?"
- Ze deden dit in 12 talen: van grote talen als Engels, Chinees en Spaans tot kleinere of minder vaak gebruikte talen als Turks, Arabisch en Japans.
- Ze vergeleken de antwoorden van de AI met die van echte mensen.
2. Het Grote Verassende Resultaat: De "Engelse" Mythe
De grootste verrassing was dat Engels niet de koning is.
- De verwachting: Omdat de meeste data in het Engels is, zou de AI in het Engels het slimst moeten zijn.
- De werkelijkheid: De AI scoorde in het Spaans en Italiaans vaak beter dan in het Engels. In sommige gevallen was de AI zelfs net zo goed als een mens in het Spaans, maar in het Engels bleef hij achter.
- De metafoor: Het is alsof je een chef-kok hebt die in Frankrijk is opgeleid, maar die in Spanje verrassend goed kookt, terwijl hij in zijn eigen "moedertaal" (Engels) soms de kruiden vergeten is.
3. Waarom is dit zo? De "Taal-Bril" en de "Recepten"
De onderzoekers keken naar drie redenen waarom de AI in sommige talen beter presteert dan in andere:
- De "Taal-Bril" (Tokenisatie): Computers zien taal niet als woorden, maar als stukjes (tokens). Het is alsof je een zin in blokjes moet breken. Voor sommige talen (zoals Spaans) passen deze blokjes heel mooi in elkaar, waardoor de AI de zin makkelijker "leest". Voor andere talen (zoals Japans of Grieks) is het breken van de zin lastiger, waardoor de AI de betekenis soms mist.
- De "Recepten" (Trainingsdata): De AI is getraind op enorme hoeveelheden tekst uit internet. Talen die veel op internet staan (zoals Engels), hebben veel "recepten". Maar het onderzoek toont aan dat hoeveelheid niet alles is. Soms is de kwaliteit of de soort data belangrijker.
- De "Afstand" tot het hart van de AI: Het bleek dat de AI het beste presteerde in talen die lijken op het Spaans. Het is alsof de AI een "Spaans hart" heeft. Talen die ver weg staan van het Spaans (of het Engels), krijgen minder aandacht.
4. Mens vs. Machine: Wie is consistenter?
Er was nog een opmerkelijk verschil gevonden:
- Mensen: Wij mensen zijn soms slordig. Als we moe zijn of afgeleid, maken we fouten. Onze antwoorden wisselen.
- De AI: De machines (vooral Grok-3 en DeepSeek) waren in sommige talen onveranderlijk consistent. Als ze een antwoord gaven, gaven ze dat antwoord elke keer weer. Ze werden niet moe. Echter, als ze een fout maakten, maakten ze die fout elke keer weer.
5. Wat betekent dit voor ons?
Dit onderzoek is een wake-up call.
- Geen "One-size-fits-all": We kunnen niet zomaar aannemen dat AI in alle talen even goed werkt. Als je een AI gebruikt in het Japans of het Grieks, moet je rekening houden met het feit dat de "kookkunsten" daar minder verfijnd zijn.
- Het "WEIRD"-probleem: Veel AI-onderzoek focust op westerse, rijke landen (WEIRD). Dit onderzoek laat zien dat zelfs binnen die groep, de "standaard" (Engels) niet altijd de beste is.
- Risico's: Als we vertrouwen op AI voor belangrijke beslissingen (zoals in de rechtspraak of geneeskunde), moeten we oppassen. In talen waar de AI minder goed is, kunnen er misverstanden ontstaan die schadelijk zijn.
Kortom:
Deze studie laat zien dat AI's geen perfecte, universele taalmeesters zijn. Ze hebben sterke voorkeuren en zwakke plekken. Soms koken ze in het Spaans een betere maaltijd dan in het Engels. Het is belangrijk dat we dit weten, zodat we AI niet blindelings vertrouwen, maar weten waar de "kruiden" goed zijn en waar we extra moeten opletten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.