💬 NLP

The Latin Substrate: How Language Models Represent and Mediate Script Choice

Dit artikel onthult dat grote taalmodellen de keuze van schrift bemiddelen via gedeelde latente representaties en taal-agnostische mechanismen, waarbij zij een structurele asymmetrie vertonen waarbij niet-Latijnse schriften worden gecontroleerd door specifieke componenten in de latere lagen, terwijl het Latijnse schrift verschijnt als een geprivilegieerde, diffuse standaardondergrond.

Oorspronkelijke auteurs: Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot taalmodel (LLM) voor als een enorme, meertalige vertaler die bijna alles heeft gelezen wat er ter wereld is geschreven. Maar hier komt de twist: deze vertaler heeft een favoriete "thuisbasis"-taal om in te denken: het Latijnse schrift (het A, B, C-alfabet gebruikt in het Engels, Frans, Spaans, etc.).

Dit paper onderzoekt hoe deze vertaler omgaat met talen die andere schriften gebruiken, zoals Hindi (dat Devanagari gebruikt), Arabisch of Russisch (Cyrillisch). De onderzoekers ontdekten dat het model niet simpelweg tussen deze schriften schakelt alsof het een lichtknopje omzet. In plaats daarvan volgt het een zeer specifieke, eenrichtingsweg.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Verborgen Tussenpersoon" (Latente Romanisering)

Wanneer je het model vraagt om een woord van het Malayalam (een taal uit India) naar Devanagari te vertalen, zou je verwachten dat het direct van "Malayalam" naar "Devanagari" gaat.

De onderzoekers keken echter laag voor laag in het "brein" van het model en ontdekten iets verrassends. Voordat het model de uiteindelijke Devanagari-letters schrijft, denkt het kortstondig in Latijnse letters.

De Analogie: Stel je voor dat je een complex idee probeert uit te leggen aan een vriend die een andere taal spreekt. Je wisselt niet direct van taal; je denkt eerst het concept in je eigen taal, misschien schrijf je het zelfs in je eigen schrift op om zeker te weten dat je de betekenis goed hebt, en vertaal je het dan pas naar het schrift van je vriend.
De Bevinding: Het model doet dit automatisch. Het zet de invoer om in een "geromaniseerde" versie in zijn middelste lagen voordat het uiteindelijk het doelscript produceert. Het behandelt het Latijn als een universele brug.

2. De "Eenrichtingsweg" (Directionele Asymmetrie)

Het paper vond een grote onbalans in hoe het model deze schriften afhandelt.

Naar Latijn gaan (Niet-Latijn → Latijn): Dit is gemakkelijk en direct. Het model heeft een specifieke, compacte "poort" of schakelaar die wordt ingeschakeld om Latijnse tekst te produceren. Het is als een speciale snelwegafslag.
Naar Niet-Latijn gaan (Latijn → Niet-Latijn): Dit is rommelig en diffuus. Om Hindi, Arabisch of Russisch te produceren, gebruikt het model niet één enkele schakelaar. In plaats daarvan vertrouwt het op honderden kleine, zwakke signalen die verspreid over het hele netwerk samenwerken.
De Analogie: Denk aan het brein van het model als een stad.
- Het Latijnse Schrift is het Stadscentrum. Het is enorm, open en overal aanwezig. Naar het stadscentrum gaan is makkelijk omdat je vanuit elke richting kunt arriveren.
- Niet-Latijnse Schriften zijn Gespecialiseerde Wijken. Om daar te komen, heb je een specifieke, smalle tunnel (een "poort") nodig. Als je vanuit het stadscentrum naar een wijk wilt gaan, moet je een complex, kronkelend pad volgen dat afhankelijk is van veel verschillende wegen. Als je één weg blokkeert, kom je er misschien nog wel, maar als je de specifieke tunnel blokkeert, kun je er helemaal niet in.

3. Het "Stuurwiel" (Het Schrift Besturen)

De onderzoekers probeerden het model te "sturen" met behulp van wiskunde. Ze berekenden een eenvoudige vector (een richting) die staat voor "Schakel naar Latijn" of "Schakel naar Natief Schrift".

Het Resultaat: Ze ontdekten dat ze het model konden aanzetten tot het produceren van Latijn of een specifiek niet-latijns schrift door de interne wiskunde in de juiste richting te duwen.
Het Nadeel: De "duw" werkte perfect om elke niet-latijnse tekst in Latijn te veranderen. Maar het omzetten van Latijnse tekst naar een specifiek niet-latijns schrift was moeilijker en minder stabiel. Het is alsolijk een stuur dat de auto heel soepel naar links laat sturen (naar het Latijn), maar om naar rechts te sturen (naar een specifiek niet-latijns schrift), is een veel sterkere, meer precieze duw nodig.

4. De "Universele Poortwachters" (Mechanistische Lokalisatie)

Het meest opwindende deel is dat de onderzoekers de exacte "schakelaars" (specifieke attention heads) hebben gevonden die verantwoordelijk zijn voor de niet-latijnse schriften.

De Bevinding: Ze vonden een kleine groep van ongeveer 5 specifieke "werkers" (neuronen/heads) diep in het model die fungeren als de poortwachters voor niet-latijnse schriften.
De Magie: Deze werkers zijn taal-agnostisch. Als je de "poortwachters" die getraind zijn op Hindi en Arabisch gebruikt voor Russisch, Japans of Grieks, werken ze nog steeds! Het maakt ze niet uit welke niet-latijnse taal het is; ze weten alleen hoe ze het model van "Latijn-modus" naar "Niet-Latijn-modus" moeten schakelen.
De Analogie: Stel je een uitsmijter bij een club voor. Deze uitsmijter geeft niet om het feit of je een sari, een kimono of een kilt draagt. Hij controleert alleen je ID om te zien of je wel welkom bent in de "Niet-Latijnse VIP-sectie". Eenmaal binnen, laat de uitsmijter je toe, ongeacht je specifieke outfit.

Samenvatting

Het paper concludeert dat Large Language Models een geprivilegieerde bias hebben naar het Latijnse schrift.

Latijn is de standaard, comfortabele "thuisbasis" van het model waar informatie wordt opgeslagen en breed wordt verwerkt.
Niet-latijnse schriften worden benaderd via een gespecialiseerde, compacte "poort" die bovenop deze Latijnse fundering ligt.

Het model behandelt alle schriften niet als gelijkwaardig; het behandelt het Latijn als het universele substraat (de fundering) en bouwt de rest daarop met behulp van specifieke, gelokaliseerde mechanismen.

Technische Samenvatting: Het Latijnse Substraat in Large Language Models

Probleemstelling

Veel talen worden in meerdere schriften geschreven (bijv. Hindi in Devanagari en Latijn, Servisch in Cyrillisch en Latijn). Hoewel Multilinguale Large Language Models (LLM's) equivalente linguïstische inhoud kunnen genereren over deze verschillende orthografische systemen heen, blijven de interne mechanismen die scriptvariatie bemiddelen slecht begrepen. Eerder werk suggereert dat representaties gedeeld zijn over scripts, met fenomenen zoals "latente romanisering" waarbij intermediaire lagen tijdelijk informatie in Latijnse vorm representeren. Het is echter onduidelijk hoe LLM's informatie tussen scripts routeren, of ze vertrouwen op gedeelde latente representaties, en of specifieke architecturale componenten verantwoordelijk zijn voor scriptselectie.

Methodologie

De auteurs hanteren een veelzijdige aanpak die representatieanalyse, lineaire sturing (linear steering) en mechanistische lokalisatie combineert over vier open-source instructie-afgestemde LLM's (Llama-3.1-8B/70B en Aya-Expanse-8B/32B), met een specifieke focus op Hindi en Arabisch.

Per-layer Output Analyse (Logit Lens): Gebruikmakend van de logit lens-techniek decoderen de auteurs de activaties van intermediaire lagen om de next-token distributie tijdens transliteratie-taken te observeren. Ze kwantificeren de "latente fractie"—het aandeel tijdstappen waarbij geromaniseerde subwoorden verschijnen in de top-1 voorspelling—om intermediaire Latijnse representaties te detecteren.
Representatieanalyse:
- Scheidbaarheid: Ze meten script-scheidbaarheid met behulp van lineaire probes, cosinus-gelijkenis en Fisher-discriminantratio's op gemiddeld gepoolde verborgen toestanden (hidden states) van native versus geromaniseerde zinnen.
- Sturing (Steering): Ze construeren lineaire sturingsvectoren ( $v_{nat2lat}$ en $v_{lat2nat}$ ) gebaseerd op het verschil in gemiddelde verborgen representaties tussen scriptklassen. Deze vectoren worden toegepast op de residual stream om te testen of de scriptidentiteit kan worden omgegooid terwijl de semantiek behouden blijft.
- Generalisatie: Afgeleide sturingsvectoren van Hindi en Arabisch worden toegepast op ongeziene talen (bijv. Russisch, Japans, Thais) om taal-agnostische script-assen te testen.
Mechanistische Analyse (Activation Patching): De auteurs gebruiken counterfactual activation patching om specifieke attention heads te lokaliseren die de scriptkeuze causaal bemiddelen. Door activaties tussen native en Latijnse runs te wisselen, meten ze de verandering in de log-odds van het produceren van native-script versus Latijn-script tokens. Ze valideren deze bevindingen door gerichte interventies (het nul maken of patchen van specifieke head-subsets) op hold-out prompts.

Belangrijkste Resultaten

1. Latente Romanisering

Tijdens transliteratie-taken vertonen de modellen consistent latente romanisering. In middelste tot hogere lagen (bijv. lagen 20–40 in Llama-3.1-8B), komt de interne voorspelling van het model tijdelijk overeen met geromaniseerde subwoorden voordat het zich vastlegt op het uiteindelijke doelscript. Dit suggereert dat het Latijnse schrift fungeert als een gedeelde intermediaire representatiebrug tijdens scripttransformatie.

2. Representatieve Asymmetrie en Sturing

Scheidbaarheid: Scriptinformatie wordt steeds scheidbaarder over de lagen heen, waarbij distincte clusters voor verschillende scripts ontstaan, voornamelijk in het bovenste derde deel van het netwerk.
Lineaire Sturing: Een eenvoudige lineaire sturingsrichting kan het output-script van een model omgooien terwijl de semantische inhoud grotendeels behouden blijft.
Directionele Asymmetrie: Het sturingseffect is asymmetrisch. Het converteren van niet-Latijn naar Latijn ($lat2lat$) is zeer betrouwbaar en vereist een lagere interventiekracht. Omgekeerd is het converteren van Latijn naar niet-Latijn ($nat2lat$) minder stabiel en resulteert het vaak in outputs die afdwalen naar diverse niet-Latijnse scripts in plaats van één enkel doelscript. Dit impliceert dat het Latijn een "diffuus" gebied inneemt in de representatieruimte, terwijl niet-Latijnse scripts compactere, meer uitgesproken clusters vormen.

3. Mechanistische Lokalisatie van een "Script-Bemiddeling Gate"

Compacte Niet-Latijnse Gate: Causale analyse onthult dat de generatie van niet-Latijnse scripts wordt bemiddeld door een kleine, compacte set late-layer attention heads (bijv. L30H20, L30H23, L26H7 in Llama-3.1-8B). Het patchen van slechts vijf van deze heads is voldoende om de output van het script te veranderen van Latijn naar een native script (bijv. Devanagari) met een hoog succespercentage.
Diffuse Latijnse Generatie: In tegen tegenstelling hiertoe rust de generatie van het Latijnse script niet op een specifieke, gelokaliseerde circuit. In plaats daarvan ontstaat het uit diffuse, lage-amplitude bijdragen van vele heads. Het verwijderen van de "niet-Latijnse gate" zorgt ervoor dat het model voor een deel van de prompts terugvalt op Latijnse output, wat suggereert dat Latijn de fallback-substraat van het model is.
Taal-Agnosticisme: De geïdentificeerde heads zijn overdraagbaar naar ongerelateerde talen en schriften. Heads geïdentificeerd met behulp van Hindi of Arabisch slagen erin om de output-scripts van Russisch (Cyrillisch), Marathi (Devanagari), Urdu (Perzisch-Arabisch), Grieks en Japans succesvol om te leiden, wat wijst op een taal-agnostisch mechanisme voor script-routing.

Betekenis en Claims

Het artikel claimt de eerste verenigde analyse te bieden van hoe LLM's meerdere schriften intern representeren en bemiddelen. De centrale bevinding is dat het Latijnse schrift functioneert als een geprivilegieerd substraat voor oppervlakte-taalrepresentaties in LLM's.

Geprivilegieerd Substraat: Het model organiseert scriptvariatie rond gedeelde latente representaties die zijn uitgelijnd met het Latijn. Niet-Latijnse outputs worden geproduceerd via een toegewijde, identificeerbare en compacte routing-mechanisme (de "gate"), terwijl Latijnse outputs voortkomen uit de standaard, diffuse verwerkingspaden van het netwerk.
Mechanistisch Inzicht: Het werk identificeert een specifieke, overdraagbare set attention heads die de scriptkeuze causaal controleren, wat aantoont dat script-routing wordt geïmplementeerd door taal-agnostische componenten in plaats van volledig gescheiden verwerkingspaden voor elk script.
Implicaties voor Begrip: Deze bevindingen suggeren dat de dominantie van het Latijnse schrift in de pretraining-data de interne geometrie van LLM's heeft gevormd, waardoor een asymmetrische architectuur is gecreëerd waarbij het Latijn de "grondtoestand" (ground state) is en niet-Latijnse schriften actieve, gelokaliseerde gating vereisen om gegenereerd te worden.

De auteurs merken beperkingen op, waaronder de focus op specifieke open-source modellen en talen met gevestigde romaniseringsconventies, waarbij zij erkennen dat modellen getraind op andere datadistributies of gesloten modellen kwalitatief andere mechanismen kunnen vertonen.