Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

Stel je voor dat je een super slimme robot test die verhalen kan lezen en vragen kan beantwoorden. Je geeft het de robot een verhaal in het Engels, stelt een vraag en de robot krijgt het antwoord goed. Nu geef je de robot exact hetzelfde verhaal, maar dit keer is het geschreven in het Spaans, Frans of een taal met heel weinig boeken op internet. Begrijpt de robot het verhaal dan nog steeds even goed? Dit is de grote vraag in de wereld van Kunstmatige Intelligentie, specifits in een veld genaamd "Natural Language Processing" (Natuurlijke Taalverwerking). Wetenschappers weten al lang dat deze AI-modellen vaak beter zijn in het Engels dan in andere talen, maar het is moeilijk te achterhalen waarom. Komt het doordat de robot simpelweg niet genoeg boeken in die taal heeft gelezen? Komt het doordat de vertaling slecht is? Of komt het doordat de robot simpelweg de betekenis niet "begrijpt" wanneer de woorden veranderen? Om dit op te lossen, hebben onderzoekers een manier nodig om de hersenen van de robot te testen zonder iets anders te veranderen — geen nieuwe vragen, geen andere verhalen, alleen een andere taal.

Dit artikel, getiteld "Measuring the Cross-Lingual Comprehension Gap", is als een wetenschappelijk detectiveverhaal dat precies dat specifieke probleem isoleert. De onderzoekers bouwden een enorme, perfect afgestemde set tests met 559 artikelen die vertaald zijn in 18 verschillende talen, variërend van veel gesproken talen zoals Portugees tot zeer zeldzame talen zoals Fon en Ayacucho Quechua. Ze stelden vijf verschillende AI-modellen exact dezelfde vragen over deze artikelen. De truc was dat de vragen en de "correcte" antwoorden altijd in het Engels waren, zodat de robot niet hoefde te worstelen met het schrijven in een nieuwe taal; de robot hoefde alleen maar te lezen en de nieuwe taal te begrijpen. Door dit te doen, konden ze precies meten hoeveel "begrip" de robot verloor, enkel omdat het verhaal in een andere taal was. Ze vonden een duidelijke, meetbare kloof: wanneer het verhaal niet in het Engels was, daalde het begrip van de AI aanzienlijk, vooral voor talen met minder digitale middelen. De studie bewijst dat het feit dat een AI geweldig is in het Engels, niet betekent dat het even slim is in elke andere taal, en het suggereert dat we de capaciteiten van deze robots voor mensen die die andere talen spreken, mogelijk overschatten.

De Grote Taalfout

Denk aan een taalmodel als een briljante student die elk boek in de schoolbibliotheek heeft gelezen, maar bijna allemaal zijn in het Engels. Als je deze student een geschiedenisexamen geeft in het Engels, haalt hij een hoog cijfer. Maar wat als je hem exact hetzelfde examen geeft, maar het verhaal is vertaald naar een taal die hij nauwelijks heeft gezien, zoals een zeldzaam dialect dat door een kleine gemeenschap wordt gesproken? Je zou verwachten dat hij het net zo goed doet, uitgaande van het idee dat zijn "brein" slim genoeg is om het uit te vogelen. Maar dit artikel laat zien dat het brein van de student eigenlijk begint te vertroebelen.

De onderzoekers noemen deze vertroebeling de Cross-Lingual Comprehension Gap (CLCG). Het is het verschil tussen hoe goed de AI een verhaal in het Engels begrijpt versus hoe goed hij exact hetzelfde verhaal in een andere taal begrijpt. Om dit te meten, hebben ze niet zomaar willekeurige tests van het internet gehaald. In plaats daarvan bouwden ze een "parallel universum" van data. Ze namen 559 artikelen (voornamelijk uit een meertalige publicatiebron) en legden deze perfect naast elkaar in 18 verschillende talen. Het is alsof je 18 identieke exemplaren van een mysteryroman hebt, één in elke taal.

Vervolgens zetten ze een strikt experiment op. Ze vroegen vijf verschillende AI-modellen (van vijf verschillende labs) om deze verhalen te lezen en vragen te beantwoorden. Hier zit het magische deel: de vragen en de "gouden standaard" antwoorden waren altijd in het Engels. De AI hoefde zijn antwoord niet in het Spaans of Swahili te formuleren; hij hoefde alleen het Spaanse of Swahili verhaal te lezen en het antwoord in het Engels te geven. Dit is cruciaal omdat het het probleem wegneemt dat de AI "slecht is in schrijven" in een nieuwe taal. Als de AI het antwoord fout heeft, is dat niet omdat hij de woorden niet kan vormen, maar omdat hij het verhaal niet heeft begrepen.

De Resultaten: Een Duidelijke Daling in Begrip

De resultaten waren alsof je een loper ziet vertragen wanneer hij overschakelt van een glad parcours naar een modderig veld. Wanneer de AI de verhalen in het Engels las, scoorde hij hoog. Maar toen dezelfde verhalen werden gepresenteerd in de 16 doeltalen, daalden de scores.

De studie vond dat de prestaties van de AI gemiddeld met ongeveer 17% daalden bij de overstap van het Engels naar andere talen. In de taal van het artikel is dit een kloof van 0,078 (gemeten op een schaal waarbij hoger beter is). Dit is geen klein foutje; het is een aanzienlijk verlies aan begrip.

De onderzoekers keken ook of de "rijkdom" van de taal uitmaakte. Ze gebruikten een systeem dat talen rangschikt op basis van hoeveel digitale middelen (zoals boeken en websites) er voor hen bestaan. Ze vonden een duidelijk patكpatroon: hoe minder middelen een taal heeft, hoe groter de kloof.

• Rijkere talen (zoals Portugees, dat ze als baseline gebruikten) hadden nog steeds een kleine kloof vergeleken met het Engels.
• Armere talen (zoals Fon of Ayacucho Quechua) hadden veel grotere kloven.

De AI presteerde bijvoorbeeld merkbaar slechter op vragen over het "doel" van een verhaal of complexe gevolgtrekkingen wanneer de tekst in een armere taal was. Het artikel suggereert dat de AI niet alleen "woorden vergeet", maar moeite heeft met het samenvoegen van de betekenis van het hele verhaal wanneer de digitale "steunwieltjes" er niet zijn.

Wat het Uitsluit (En Wat Niet)

De onderzoekers waren zeer zorgvuldig om andere redenen voor de daling in scores uit te sluiten.

• Het is geen slechte vertaling: Ze gebruikten hoogwaardige, door mensen vertaalde teksten van een professionele bron, dus de verhalen waren goed. De kloof kwam niet doordat de vertaling gebrekkig was; het kwam doordat de AI de betekenis niet kon vatten.
• Het is niet alleen memorisatie: Ze controleerden of de AI de Engelse versie van het verhaal niet gewoon "onthield". Ze testten met artikelen die gepubliceerd waren na de afsluitdatum van de trainingsdata van de AI (wat betekent dat de AI ze niet eerder had kunnen zien). De kloof bleef bestaan, wat bewees dat de AI daadwerkelijk probeerde te lezen en te begrijpen, en niet alleen eerder geleerde feiten reciteerde.
• Het is niet alleen het type vraag: Ze testten verschillende soorten vragen, van eenvoudige "zoek het woord" taken tot complexe "wat is het doel van de auteur?" vragen. De kloof trad over de hele linie op, hoewel het soms groter was voor bepaalde soorten denkprocessen.

De paper is echter voorzichtig om niet te zeggen dat dit een "opgelost" probleem is of dat de AI "kapot" is. Het meet simpelweg de kloof. Ze merken ook op dat hoewel menselijke beoordelaars het algemene patroon bevestigden (ze gaven vaker de voorkeur aan de op het Engels gebaseerde antwoorden), het voor mensen moeilijk was om het eens te worden over de exacte reden waarom een specifiek antwoord fout was, wat aantoont dat zelfs menselijk oordeel hier zijn grenzen heeft.

Waarom Dit Belangrijk Is

Deze studie is een wake-up call. Lange tijd hebben we aangenomen dat als een AI slim is in het Engels, hij overal slim is. Dit artikel laat zien dat dat niet waar is. Als je een hulpmiddel bouwt om artsen, leraren of advocaten te helpen in een land waar een armere taal wordt gesproken, kun je er niet vanuit gaan dat de in het Engels getrainde AI perfect zal werken. De "comprehension gap" betekent dat de AI belangrijke details kan missen, complexe instructies verkeerd kan begrijpen of onvolledige antwoorden kan geven.

De auteurs hebben niet alleen een probleem gevonden; ze hebben ook een nieuwe tool gebouwd om het te meten. Ze hebben hun data en methoden vrijgegeven zodat andere wetenschappers dezelfde "parallelle universum" tests kunnen gebruiken om nieuwe AI-modellen te controleren. Het is alsof je de wetenschappelijke gemeenschap een nieuwe liniaal geeft om te meten hoe goed AI de wereld werkelijk begrijpt, en niet alleen hoe goed het Engels spreekt. De les is simpel: we moeten stoppen met aannemen dat vloeiendheid in het Engels gelijkstaat aan universeel begrip, en beginnen met het meten van de kloof om AI eerlijk en accuraat te maken voor iedereen, ongeacht de taal die zij spreken.