Skill Issue: Are Skills Language-Invariant in LLMs?

Grote taalmodellen zijn de motoren achter veel van de kunstmatige intelligentietools die we vandaag de dag gebruiken, in staat om verhalen te schrijven, problemen op te lossen en vragen te beantwoorden in tientallen talen. Al jaren weten onderzoekers dat deze systemen niet in elke taal even goed presteren; een model kan briljant zijn in het beantwoorden van een geschiedenisvraag in het Engels, maar moeite hebben om hetzelfde feit te vinden wanneer er in het Arabisch of Chinees naar wordt gevraagd. Deze inconsistentie werd meestal toegeschreven aan de data waarop de modellen zijn getraind, uitgaande van de veronderstelling dat sommige talen simpelweg minder beschikbare informatie hebben om de machine te onderwijzen. Echter, een nieuwe lijn van onderzoek stelt een diepere vraag: gaat het probleem alleen over wat het model weet, of gaat het over wat het model daadwerkelijk kan? Zou het kunnen dat dezelfde kunstmatige geest verschillende sets vaardigheden bezit afhankelijk van de taal die hij spreekt, zelfs wanneer de taak zelf exact hetzelfde blijft?

Een team van onderzoekers zette zich in om dit te beantwoorden door taal niet te behandelen als een onderwerp van studie, maar als een variabele in een gecontroleerd experiment. Ze wenden zich tot een bekend concept: het spel. Door twee identieke kopieën van hetzelfde kunstmatige intelligentiemodel in een digitale arena tegen elkaar te laten spelen, creëerden ze een perfecte test van vaardigheid. In deze opzet bleven de regels van het spel, het bord, de kaarten en de mogelijke zetten bevroren en identiek voor beide spelers. Het enige dat veranderde, was de taal die werd gebruikt om de situatie te beschrijven. De ene speler kreeg instructies en zag de speltoestand in het Engels, terwijl de tegenstander exact hetzelfde bord en dezelfde regels zag vertaald in het Duits, Hebreeuws, Chinees of een van de andere talen. Omdat de modellen identiek waren en de spelmechanica vaststonden, moest elk verschil in wie er won voortkomen uit de taalkundige interface zelf, en niet uit een verschil in kennis of intelligentie.

De onderzoekers bouwden een enorme testomgeving genaamd een meertalige extensie van een gameplatform genaamd TextArena, die hen in staat stelde om duizenden wedstrijden te draaien over zes verschillende soorten spellen. Deze spellen varieerden van eenvoudige ruimtelijke puzzels zoals Tic-Tac-Toe, waarbij spelers een raster moeten visualiseren, tot complexe strategische spellen die draaien om middelenallocatie en bluffen. Ze testten drie verschillende open-source modellen van vergelijkbare grootte, waarbij ze ze tegen zichzelf lieten spelen in acht verschillende talen. De resultaten onthulden een schokkende realiteit: hetzelfde model kon een meesterstrateeg zijn in de ene taal en een onhandige beginner in een andere. In sommige gevallen versloeg het model dat in het Engels speelde consequent zijn eigen versie die in het Hebreeuws of Arabisch speelde, niet omdat het meer over het spel wist, maar omdat de taal zelf leek te ontsluiten of te blokkeren hoe het helder kon denken.

De aard van deze fouten was specifief en onthullend. In spellen die ruimtelijk redeneren vereisten, zoals het verbinden van lijnen op een raster, maakten modellen die in talen met niet-Latijnse schriften speelden, zoals het Arabisch of Hebreeuws, regelmatig fouten die leken op een fundeel misverstand van het bord. Ze faalden vaak in het zien van een winnende lijn die diagonaal of verticaal liep, waarbij ze het raster behandelden alsof alleen de rijen ertoe deden. In spellen van kans en strategie, zoals een vereenvoudigde vorm van poker, veranderde de modellen volledig van persoonlijkheid op basis van de taal. Een model kon voorzichtig en eerlijk spelen in de ene taal, maar werd defensief en geneigd tot riskante bluffs in een andere, zelfs toen de kaarten in zijn hand identiek waren. De onderzoekers ontdekten dat dit geen willekeurige fouten waren; het waren systematische verschuivingen in gedrag die volledig afhankelijk waren van de woorden die werden gebruikt om het probleem te kaderen.

Misschien wel de meest verrassende ontdekking was dat het probleem niet altijd ging over de taal die het model las, maar de taal die het gebruikte om na te denken. In sommige experimenten hielden de onderzoekers de spelinstructies in een zwakkere taal, zoals het Duits, maar instrueerden ze het model om zijn interne redenering in het Engels uit te voeren. Deze eenvoudige schakeling stelde het model in staat om veel van zijn verloren prestaties te herstellen, wat suggereert dat de taalbarrière niet alleen een vertaalprobleem was, maar een cognitief probleem. Het model kon zijn volledige strategische potentieel bereiken als het werd toegestaan om in een sterkere taal te "denken", zelfs terwijl het in een zwakkere taal speelde. Dit geeft aan dat de taalinterface de zeer cruciale stadia van besluitvorming beïnvloedt, van het begrijpen van de huidige staat van het spel tot het selecteren van de beste zet.

De studie onderzocht ook of deze verschillen verklaard konden worden door de hoeveelheid tekst die voor elke taal op het internet bestaat. Hoewel het waar is dat talen met meer beschikbare data over het algemeen beter presteerden, vertelde deze factor niet het hele verhaal. Sommige talen met relatief weinig data op het web zorgden er nog steeds voor dat de modellen erg goed speelden, terwijl andere met overvloedige data tot slechte prestaties leidden. Dit suggereert dat het probleem niet alleen gaat over de hoeveelheid trainingsmateriaal, maar over hoe het model heeft geleerd vaardigheden te verbinden over verschillende linguïstische systemen. De bevindingen impliceren dat voor kunstmatige intelligentie om werkelijk betrouwbaar en eerlijk te zijn, ontwikkelaars niet simpelweg kunnen aannemen dat de vermogens van een model consistent zijn over alle talen. De taal die een model spreekt is niet alleen een venster naar zijn kennis; het is een lens die zijn vaardigheden kan vervormen, waardoor de manier verandert waarop het de wereld ziet en hoe het het spel speelt.