💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

Dit artikel onderzoekt de meertaligheid van grote taalmodellen door middel van een structurele representatieanalyse, waarbij wordt onthuld dat talen met weinig middelen structureel meer verschillen van het Engels dan talen met veel of gemiddelde middelen, en dat taalspecifieke post-training deze structuren wijzigt terwijl de interlinguale relaties behouden blijven.

Oorspronkelijke auteurs: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, meerverdiepingsbibliotheek waar elk boek een andere taal vertegenwoordigt. Lange tijd hebben onderzoekers geprobeerd te begrijpen hoe deze bibliotheek haar boeken organiseert. De meeste eerdere studies keken naar de bibliotheek door individuele woorden (of "tokens") op de planken te bestuderen, met de vraag: "Hoe vergelijkbaar is het woord 'kat' in het Engels met het woord 'kat' in het Japans?"

Dit artikel hanteert echter een andere aanpak. In plaats van naar individuele woorden te kijken, kijkt de auteur naar de volledige structuur van de bibliotheek zelf. Ze vragen: "Hoe is het hele gebouw gerangschikt? Zien de Engelse sectie en de Japanse sectie eruit alsof ze tot dezelfde architecturale stijl behoren, of zijn ze gebouwd op compleet verschillende blauwdrukken?"

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het probleem met alleen naar woorden kijken

Beschouw een tokenizer (het hulpmiddel dat tekst in woorden opbreekt) als een schaar. In het Engels knipt de schaar de tekst in kleine, nette stukjes. In andere talen knipt de schaar de tekst misschien in enorme brokken of juist in piepkleine, gefragmenteerde stukjes. Omdat de "stukjes" verschillende groottes hebben, is het vergelijken van woorden woord voor woord als het proberen te vergelijken van een stapel Lego-steentjes met een stapel zand. Je ziet misschien dat ze beide "spul" zijn, maar je mist het grotere plaatje van hoe ze zijn opgebouwd.

2. Het nieuwe hulpmiddel: "Structurele Röntgenfoto"

De auteurs gebruikten een hulpmiddel genaamd STRUCTLENS. Stel je dit voor als een röntgenapparaat dat niet alleen naar de stenen kijkt, maar het volledige skelet van de bibliotheek scant. Het bouwt een "stamboom" voor elke taal, die laat zien hoe de verschillende onderdelen van een zin met elkaar verbonden zijn terwijl het model ze verwerkt.

Ze maten de afstand tussen deze stambomen. Als de boom voor Engels erg lijkt op die van het Duits, is de afstand klein. Als de boom voor Engels totaal niet lijkt op die van een taal met weinig middelen (zoals Jinghpaw), is de afstand enorm.

3. Belangrijkste bevindingen

De kloof tussen "rijke" en "arme" talen
De studie vond een duidelijke splitsing in hoe de bibliotheek is georganiseerd:

Talen met veel en gemiddelde middelen (De "rijke" wijken): Talen zoals Duits, Japans, Chinees en Indonesisch zijn als goed verbonden wijken. Hoewel ze verschillend zijn, behandelt de interne structuur van de bibliotheek hen zeer vergelijkbaar. Ze delen een vergelijkbare architecturale blauwdruk.
Talen met weinig middelen (De "verlegen" dorpjes): Talen met minder beschikbare data (zoals Aranese, Guarani en Jinghpaw) zijn structureel heel anders dan het Engels. Het zijn als afgelegen dorpjes met een compleet andere bouwstijl. Zelfs als het model ze kan "lezen", is de interne manier waarop het ze verwerkt fundamenteel verschillend van hoe het het Engels verwerkt.

De "Cosine Similarity"-valstrik
De auteurs ontdekten dat een veelgebonden meting in de wetenschap (genaamd "Cosine Similarity") lijkt op het kijken naar de gemiddelde kleur van een schilderij.

Als je rode en blauwe verf mengt, kan het gemiddelde er paars uitzien.
Als je rood en blauw in een andere verhouding mengt, kan het gemiddelde ook paars lijk zien.
De valstrik: Het "gemiddelde" beeld van het Engels en Japans kan voor het model erg vergelijkbaar lijken (hoge cosine similarity), waardoor het lijkt alsof het model ze even goed begrijpt.
De realiteit: De "Structurele Afstand" (de röntgenfoto) onthult dat het patroon van de verf totaal anders is. Het model organiseert de Japanse woorden in een compleet ander intern patroon dan de Engelse woorden, zelfs als het "gemiddelde" hetzelfde is.

Het effect van "Gespecialiseerde Training" (Post-training)
De onderzoekers keken ook naar wat er gebeurt als je een algemeen model neemt en het extra training geeft specifiek voor één taal (zoals het Japans).

De analogie: Stel je een algemene aannemer voor die huizen voor iedereen bouwt. Als je hem inhuurt om een specifiek type Japans huis te bouwen, wordt hij heel goed in de details van dat huis (het dak, de schuifdeuren).
De bevinding: Het model wordt beter in het Japans, en de interne structuur van de Japanse sectie wordt verfijnder en unieker. Echter, de afstand tussen de Japanse sectie en de Engelse sectie blijft exact hetzelfde. Het model heeft niet veranderd hoe het Japans relateert aan Engels; het heeft alleen de Japanse sectie zelf opgepoetst.

Samenvatting

Kortom, dit artikel betoogt dat om echt te begrijpen hoe AI met verschillende talen omgaat, we niet alleen woorden kunnen tellen of naar gemiddelde gelijkenissen kunnen kijken. We moeten kijken naar het structurele skelet van hoe de AI denkt.

Ze kwamen tot de conclusie dat:

Bekende talen (veel data) een vergelijkbare interne "architectuur" delen.
Onbekende talen (weinig data) een totaal andere interne architectuur hebben, zelfs als het model ze technisch gezien wel kan lezen.
Gespecialiseerde training de interne structuur van een specifieke taal verbetert, maar niet noodzakelijkerwijs verandert hoe die taal zich tot andere talen verhoudt in de geest van het model.

Dit helpt ons te begrijpen dat hoewel AI-modellen meertalig worden, ze "rijke" en "arme" talen diep van binnen in hun "hersenen" op fundamenteel verschillende manieren behandelen.

Technische Samenvatting: Meertaligheid van Large Language Models vanuit een Structureel Perspectief

Probleemstelling

Hoewel Large Language Models (LLMs) meertalige capaciteiten hebben getoond door pre-training op meertalige corpora en continue post-training, zijn bestaande analyses van deze meertaligheid voornamelijk beperkt tot het token-niveau (of subwoord-niveau). Eerder werk heeft instrumenten zoals Logit Lens gebruikt om verborgen toestanden als symbolen te interpreteren of de geometrie van token-representaties te analyseren. Deze op tokens gebaseerde benadering faalt echter in het vastleggen van de inherente structurele eigenschappen van taal, zoals diverse morfosyntactische kenmerken. Bovendien variëren tokenizers aanzienlijk tussen verschillende talen, waardoor de semantische granulariteit van de minimale eenheden die door LLM's worden verwerkt inconsistent is, wat het vermogen van token-gebaseerde analyse beperkt om holistisch te begrijpen hoe LLM's meerdere talen representeren en verwerken.

Methodologie

Om deze beperkingen aan te pakken, stelt deze studie een structureel perspectief op meertalige representaties voor, waarbij wordt bewogen van token-gebaseerde analyse naar het onderzoeken van de organisatie van volledige invoersequenties.

1. Structurele Analyse via STRUCTLENS
De auteurs maken gebruik van STRUCTLENS (Sakajo et al., 2026), een methode die boomstructuren afleidt uit paarsgewijze L2-afstanden tussen token-representaties binnen de residual streams van Transformer-modellen.

Constructie van Spanningbomen: Voor elke laag $\ell$ en taal construeert de methode een maximale spanningboom op basis van inter-token gelijkenis. De adjacency matrix $A$ wordt gedefinieerd door het inverse van de L2-afstand tussen verborgen toestanden $h^{(\ell)}_i$ en $h^{(\ell)}_j$ .
Meten van Structurele Afstand: Om de interne structuren van verschillende talen te vergelijken, berekent de studie de Tree Edit Distance (TED) tussen de spanningbomen van twee talen. Deze afstand wordt genormaliseerd door de grotere inputlengte om een eerlijke vergelijking mogelijk te maken tussen talen met verschillende token-sequentielengtes. De herlabelingskosten worden op nul gezet om strikt te focen op structurele verschillen in plaats van lexicale discrepanties.

2. Experimentele Opzet

Modellen: De studie evalueert zowel meertalige pre-trained modellen (Gemma3 4B PT, Qwen3 8B Base) als een monolinguale Engels-gecentreerde modellen (Olmo3 7B Base). Het bevat ook taal-specifieke post-trained modellen (Qwen3 Swallow 8B CPT voor Japans) om de effecten van continue pre-training te analyseren.
Talen: Een diverse set talen is geselecteerd, inclusief talen met hoge/middelmatige middelen (Engels, Duits, Japans, Chinees, Indonesisch) en talen met lage middelen (Aranese, Guarani, Jinghpaw).
Datasets: Parallellen vertaalde zinnen uit FLORES+ en bijbehorende Jinghpaw-data worden gebruikt.
Vergelijkende Metrieken: Om structurele bevindingen te contextualiseren, meet de studie ook niet-structurele metrieken: Perplexity, Machinevertaling prestaties (BLEU, chrF, TER), Cosine Similarity van gemiddelde representaties, en L2-afstand.

Belangrijkste Bijdragen en Resultaten

1. Structurele Afstand Onthult Clustering op Basis van Middelen
De studie vindt dat structurele afstand (TED) talen onderscheidt op basis van de beschikbaarheid van middelen op manieren die cosine similarity niet doet.

Meertalige Modellen: In meertalige modellen (Gemma3, Qwen3) vormen talen met hoge- en middelmatige middelen een cluster met relatief uniforme interne structuren en een lage structurele afstand tot het Engels. In contrast hiermee vertonen talen met lage middelen aanzienlijk hogere structurele afstanden tot het Engels.
Monolingale Modellen: Het monolinguale Olmo3 7B Base model vertoont een duidelijke scheiding tussen het Engels en alle andere talen, met hoge structurele afstanden over de hele linie, wat de Engels-gecentreerde training weerspiegelt.
Contrast met Cosine Similarity: Terwijl de cosine similarity tussen het Engels en andere talen hoog en uniform blijft over de lagen in meertalige modellen (wat wijst op gealigneerde abstracte semantische zwaartepunten), onthult de structurele afstand significante interne relationele verschillen. Dit geeft aan dat hoewel het "centrum" van de representatieruimte gealigneerd kan zijn, de interne topologie van token-relaties verschilt op basis van taalbekendheid.

2. Impact van Taal-Specifieke Post-Training
De studie onderzoekt hoe taal-specifieke post-training (continue pre-training op doeltaal-data) de modelstructuren verandert.

Differentiatie van de Doeltaal: Post-training op Japans (Qwen3 Swallow 8B CPT) verandert de interne structurele afstand van het Japans aanzienlijk, waardoor het onderscheidend wordt van zijn pre-trained staat.
Behoud van Inter-taal Relaties: Cruciaal is dat, terwijl de interne structuur van de doeltaal verandert, de structurele afstand tussen talen (bijv. tussen Engels en Japans, of Engels en Chinees) grotendeels invariant blijft. Dit suggereert dat post-training de specifieke interne organisatie van de taal verfijnt zonder de bredere structurele relaties die tijdens pre-training zijn gevestigd te verstoren.

3. Invloed van Linguïstische Kenmerken
Onder talen met lage middelen correleert de structurele afstand met de linguïstische gelijkenis met het Engels. Aranese, dat typologisch dichter bij het Engels ligt, vertoont een lagere structurele afstand dan Jinghpaw, dat verder weg ligt. Dit suggereert dat linguïstische gelijkenis structurele alignment in de representatieruimte faciliteert, zelfs voor talen met lage middelen.

Betekenis en Claims

Het artikel beweert dat een perspectief op representatiestructuur een onderscheidende maatstaf biedt voor taalgelijkenis die niet wordt gevangen door conventionele token-gebaseerde of zwaartepunt-gebaseerde metrieken.

Holistisch Zicht: De bevindingen demonstreren dat LLM's invoersequenties organiseren volgens taal-specifieke structurele patronen die evolueren door de Transformer-lagen.
Bekendheid versus Onbekendheid: De structurele afstand dient als een metriek voor model-"bekendheid". Meertalige modellen vertonen een hoge structurele gelijkenis tussen bekende (high-resource) talen, maar divergeren aanzienlijk voor onbekende (low-resource) talen.
Mechanisme van Adaptatie: De studie onthult dat taal-specifieke post-training werkt door de interne structurele organisatie van de doeltaal te modificeren, terwijl de globale structurele relaties tussen talen behouden blijven.

De auteurs concluderen dat dit structurele perspectief essentieel is voor het begrijpen van hoe LLM's meerdere talen verwerken, waarbij zij benadrukken dat modellen onderscheid maken tussen bekende en onbekende talen via hun interne structurele organisatie, en dat post-training prestatieverbetering in specifieke talen mogelijk maakt zonder de tijdens pre-training geleerde meertalige relaties uit te wissen.