Vocabulary shapes cross-lingual variation of word-order learnability in language models

Probleemstelling

De kernvraag van dit onderzoek is waarom sommige talen (zoals Tsjechisch) een vrij woordvolgorde toestaan, terwijl andere (zoals Engels) een strikte woordvolgorde vereisen, en of taalmodellen alle talen even goed kunnen leren. Bestaand onderzoek naar de "leerbaarheid" (learnability) van talen door computationele modellen heeft twee belangrijke beperkingen:

1. Gekoppelde variabelen: In natuurlijke talen zijn typologische kenmerken (zoals woordvolgorde en morfologische complexiteit) sterk met elkaar verweven. Het is moeilijk om het effect van de ene variabele te isoleren van de andere.
2. Subword-problematiek: Eerdere experimenten met woordvolgorde-perturbaties (verstoren) werken vaak op subword-niveau (bijv. met BPE-tokenizers). Dit splitst woorden op onlogische manieren op, waardoor zowel de syntaxis als de morfologie tegelijkertijd worden verstoord. Dit maakt het moeilijk om te bepalen of een model faalt door de woordvolgorde of door de kapotte morfologie.

Het artikel onderzoekt of de leerbaarheid van een taal wordt bepaald door de categorie "vrij vs. vast woordvolgorde" of door onderliggende statistieken van de woordenschat (vocabulaire).

Methodologie

De auteurs ontwikkelen een gecontroleerd experiment met synthetische taalvarianten om typologische variabelen te ontkoppelen.

• Synthetische Taalvarianten: Ze gebruiken het Europarl-corpus (Europese parlementaire toespraken) voor 10 Europese talen (5 met een "vrije" woordvolgorde en 5 met een "vaste" woordvolgorde, variërend van analytisch tot agglutinerend).
• Deterministische Shuffling: In plaats van willekeurige subwords te shuffelen, worden hele woorden gedeterministisch herschikt binnen elke zin. Dit behoudt de morfologische integriteit en de globale entropie van de tekst.
• Mallows Permutatiemodel: Ze gebruiken het Mallows-model om een continu spectrum van woordvolgorde-irregulariteit te creëren, gecontroleerd door een parameter $\theta$:
  • $\theta \to \infty$: Originele woordvolgorde.
  • $\theta > 0$: Lokale herschikking.
  • $\theta = 0$: Volledig onregelmatige woordvolgorde (alle permutaties even waarschijnlijk).
  • $\theta < 0$: Herschikking met voorkeur voor omgekeerde volgorde.
  • $\theta \to -\infty$: Volledige omkering van de zin.
• Model Training: Er worden identieke, lichte autoregressieve transformer-modellen (PICOLM-framework, ~50M parameters) getraind op elke synthetische variant van elke taal.
• Evaluatiemetaiek: De leerbaarheid wordt gemeten via surprisal ($S$), de gemiddelde negatieve log-probabiliteit van het volgende token. Een hogere surprisal betekent dat het model de structuur minder goed heeft geleerd (minder leerbaar).

Belangrijkste Bijdragen en Resultaten

1. Woordvolgorde-irregulariteit verhoogt surprisal, maar omkering niet

• Het model toont een duidelijke stijging in surprisal naarmate de woordvolgorde onregelmatiger wordt (naar $\theta = 0$ toe). Dit bevestigt dat taalmodellen een sterke voorkeur hebben voor de oorspronkelijke, lokale woordvolgorde.
• Verrassend resultaat: De omkering van zinnen ($\theta \to -\infty$) heeft slechts een zeer gering effect op de leerbaarheid. De surprisal voor omgekeerde zinnen is vergelijkbaar met die van lokaal geschudde zinnen. Dit suggereert dat modellen niet sterk gevoelig zijn voor de typologische correlaties die door een volledige omkering worden geschonden.

2. De "Vrij vs. Vast" categorisering is ontoereikend

• De traditionele indeling in "vrije" (bijv. Tsjechisch, Fins) en "vaste" (bijv. Engels, Frans) woordvolgorde-talen verklaart de verschillen in leerbaarheid niet goed.
• Hoewel deze groepen verschillen in hun originele surprisal ($S_{orig}$), overlappen ze sterk in hun toename van surprisal bij onregelmatige woordvolgorde ($\Delta S$). Talen met een "vrije" woordvolgorde zijn niet per se robuuster tegen perturbaties dan talen met een "vaste" woordvolgorde.

3. Vocabulaire-structuur is de sleutelfactor

• In plaats van typologische categorieën, voorspellen statistieken van de woord- en subwoord-vocabulaire de leerbaarheid veel beter.
• Zipf-dekking (Coverage): Talen met een "vrije" woordvolgorde hebben een langzamere dekking van de corpus door de meest frequente woorden (een bredere verdeling van frequenties).
• PLS-regressie: Een Partial Least Squares regressie toont aan dat twee latente componenten de variatie in surprisal verklaren:
  1. Vocabulaire-structuur (dekking, zinslengte): Verklaart vooral de surprisal bij de originele en omgekeerde volgorde.
  2. Morfologische complexiteit (fertiliteit, woordlengte, uniek woordtype-aantal): Is cruciaal voor het verklaren van de weerbaarheid tegen sterk onregelmatige woordvolgorde.
• Talen met complexe morfologie en een vocabulaire die sterk afhankelijk is van zeldzame subwoorden, vertonen een grotere stijging in surprisal bij onregelmatige volgorde, vooral bij kleine vocabulaire-groottes.

4. Invloed van Tokenisatie

• Het experiment toont aan dat het opbreken van woorden in subwords (bijv. bij agglutinerende talen) de vergelijking tussen talen kan vertekenen. Bij grotere vocabulaire-groottes convergeert het verschil in surprisal tussen de talen, wat suggereert dat de beperkte capaciteit van het model om zeldzame subwoorden te leren, een grote rol speelt bij de leerbaarheid van morfologisch complexe talen.

Significantie en Conclusie

Dit onderzoek biedt een fundamenteel nieuw perspectief op de leerbaarheid van talen door AI-modellen:

• Van Categorie naar Continuum: Het weerlegt het idee dat taaltypologie (vrij vs. vast) een binair en voorspellend onderscheid maakt. In plaats daarvan is leerbaarheid een continuüm dat wordt gedreven door de statistische structuur van de vocabulaire (Zipf-kenmerken) en de morfologische complexiteit.
• Rol van Vocabulaire: De structuur van de vocabulaire (hoe woorden en subwoorden frequentie en lengte delen) is een sterkere voorspeller voor computationele leerbaarheid dan de syntactische regels zelf.
• Implicaties voor NLP: Voor het trainen van meertalige modellen is het belangrijk om rekening te houden met de tokenisatie-strategie en vocabulaire-grootte, vooral voor talen met complexe morfologie. De "zwakheid" van modellen bij bepaalde talen is vaak een artefact van hoe die talen worden getokeniseerd en niet noodzakelijk een inherente beperking van de taal zelf.

Kortom, de robuustheid van een taal tegenwoordige woordvolgorde is een inherente eigenschap die voortkomt uit de interactie tussen vocabulaire-structuur en morfologie, en niet simpelweg uit de typologische classificatie van de woordvolgorde.