Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

Stel je voor dat je een robot probeert te leren hoe hij de wereld moet begrijpen. Je geeft hem niet alleen een woordenboek; je laat hem miljoenen boeken, websites en verhalen lezen. Na verloop van tijd begint de robot een mentale kaart op te bouwen van hoe dingen met elkaar verband houden. In de wereld van de informatica wordt dit een "Large Language Model" (LLM) genoemd. Denk aan deze modellen als superintelligente digitale hersenen die bijna alles op het internet hebben gelezen. Maar hier komt het lastige deel: het grootste deel van wat ze hebben gelezen, is in het Engels. Wanneer je ze vraagt om een taal te spreken die ze niet veel hebben gezien, zoals Swahili of IJslands, struikelen ze vaak.

Wetenschappers vragen zich al lang af waarom dit gebeurt. Een kernidee uit de psychologie suggereert dat onze hersenen (en slimme computers) leren door overeenkomsten op te merken. Als je weet wat een "hond" is, kun je raden wat een "wolf" is omdat ze op elkaar lijken en hetzelfde gedrag vertonen. Dit wordt "generalisatie" genoemd. Hoe beter je mentale kaart gelijkaardige dingen bij elkaar groepeert, hoe beter je nieuwe dingen kunt raden. Maar geldt dezelfde regel voor hele talen? Organiseren deze digitale hersenen talen stiekem zoals een stamboom verwanten organiseert? Dat is de grote vraag die dit artikel probeert te beantwoorden.

---

De Grote Taalfamilie-reünie

Stel je een enorme, onzichtbare partij voor waar elke taal uit de Indo-Europese familie (een enorme groep die onder andere Engels, Spaans, Hindi en Russisch omvat) is uitgenodigd. In de echte wereld weten we dat deze talen aan elkaar verwant zijn als neven, broers en verre familieleden. Sommige, zoals Spaans en Italiaans, zijn als tweelingen die in hetzelfde huis zijn opgegroeid. Anderen, zoals Engels en Hindi, zijn verre neven die elkaar al duizenden jaren niet meer hebben gezien.

De onderzoekers in dit artikel wilden zien of Large Language Models (LLM's) stiekem deze stamboom kennen. Ze vroegen de modellen niet: "Hé, zijn deze talen aan elkaar verwant?" In plaats daarvan keken ze naar de "gedachten" van de modellen (hun interne wiskunde) om te zien hoe ze talen bij elkaar groepeerden. Het is alsof je een gast op het feestje observeert en ziet bij wie hij staat. Als het model Spaans en Italiaans dicht bij elkaar plaatst, maar ze ver weg houdt van Hindi, dan laat het zien dat het de familiale connecties begrijpt zonder dat het er expliciet voor is onderwezen.

De Ontdekking: De Modellen Hebben een Geheime Kaart

Het team testte 12 verschillende AI-modellen, variërend van oudere tot nieuwere, krachtigere versies. Ze voerden de modellen duizenden zinnen in 38 verschillende talen. Daarna gebruikten ze een speciale wiskundige truc om in kaart te brengen hoe de modellen over elke taal "voelden".

Het resultaat was verrassend en aangenaam: de modellen hadden per ongeluk een kaart gebouwd die bijna exact leek op de echte stamboom van talen.

Net zoals een genealoog die een stamboom tekent, groepeerden de modellen talen van nature in dezelfde subfamilies: de Germaanse talen (zoals Engels en Duits) klonterden samen; de Romaanse talen (zoals Frans en Spaans) vormden hun eigen cirkel; en de Slavische talen (zoals Russisch en Pools) bleven bij hun eigen groep. De modellen hadden geen leraar nodig om hen te vertellen: "Dit zijn Romaanse talen." Ze ontdekten het zelf door simpelweg de data te lezen.

Waarom Sommige Modellen Beter Zijn op het Feestje

Maar hier komt de twist: niet alle modellen zijn even goed in dit. De onderzoekers vonden een direct verband tussen hoe goed een model zijn taalkaart organiseerde en hoe goed het daadwerkelijk presteerde op een moeilijke test genaamd XNLI (een test waarbij het model moet raden of de ene zin de andere bewijst, tegenspreekt of niets met de andere te maken heeft in een andere taal).

Denk er zo over na: als een student een slordig, rommelig schrift heeft waarin hij al zijn geschiedenisfeiten door elkaar haalt, zal hij moeite hebben met het beantwoorden van een testvraag. Maar als zijn schrift perfect is georganiseerd per onderwerp, kan hij het antwoord direct vinden. Het artikel vond dat modellen die hun "taalkaartboek" correct organiseerden (gelijkaardige talen dicht bij elkaar hielden), veel beter waren in het oplossen van de testproblemen.

Specifiek deden de modellen die getraind waren op data van veel verschillende talen (meertalige modellen) het veel beter bij het tekenen van deze stamboom dan modellen die voornamelijk op Engels waren getraind. Het is alsof de meertalige modellen een grotere, duidelijkere kaart hadden, terwijl de Engels-georiënteerde modellen probeerden te navigeren met een wazige, onvolledige schets.

De "Script"-val en Andere Verrassingen

Men zou kunnen vermoeden dat de modellen talen simpelweg groepeerden op basis van hoe ze op papier staan (hun alfabet of schrift). Bijvoorbeeld, misschien dachten ze dat Hindi en Urdu op elkaar leken omdat ze beide het Devanagari-schrift gebruiken? Het artikel zegt nee. Hoewel de manier waarop woorden worden geschreven (orthografie) een kleine invloed heeft, is dat niet de belangrijkste reden. De modellen waren slim genoeg om te zien dat Hindi en Urdu linguïstische neven zijn, ook al gebruiken ze verschillende schriften, en dat Perzisch (dat een Arabisch schrift gebruikt) eigenlijk verwant is aan Noord-Indiase talen, en niet aan Arabische talen. De modellen keken naar de structuur van de taal, niet alleen naar het lettertype.

De modellen waren echter niet perfect. Soms raakten ze een beetje in de war met "weeslanden" zoals Grieks, Welsh en Albanees. In sommige modellen werden Grieks en Welsh vreemd bij elkaar geplaatst, ook al zijn ze niet nauw verwant. Dit suggereert dat hoewel de modellen goed zijn in het zien van het grote plaatje, ze soms struikelen over de unieke, geïsoleerde takken van de stamboom.

Wanneer Hebben Ze Dit Geleerd?

De onderzoekers volgden de modellen ook tijdens hun training, zoals je een baby ziet leren lopen. Ze ontdekten dat de modellen begonnen met het organiseren van talen in deze taalgroepen heel vroeg in hun training — al na slechts 100 stappen van het leren. Dit suggereert dat het uitzoeken van "wie aan wie verwant is" een van de eerste dingen is die een slim taalmodel leert, nog voordat het zich bezighoudt met de fijne details van specifieke woorden.

De Kern van het Verhaal

Dit artikel suggereert dat het geheim van het succes van een taalmodel niet alleen het onthouden van meer woorden is; het gaat om het bouwen van een goede mentale kaart van hoe talen met elkaar verband houden. Wanneer een model begrijpt dat Spaans en Italiaans nauwe neven zijn, en dat Engels en Duits broers zijn, wordt het veel beter in het vertalen van ideeën van de ene naar de andere taal.

Het blijkt dat deze digitale hersenen verrassend goed zijn in geschiedenis. Ze hadden geen tekstboek nodig om de Indo-Europese stamboom te leren; ze hadden alleen de wereld nodig om te lezen, en de patronen kwamen vanzelf naar voren. En hoe beter ze die kaart kunnen tekenen, hoe beter ze elke taal op die kaart kunnen spreken.