Left Behind: Cross-Lingual Transfer as a Bridge for Low-Resource Languages in Large Language Models

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als universele tools, maar hun prestaties vertonen een aanzienlijke ongelijkheid tussen talen. Hoewel hoog-risicotalen (zoals Engels) profiteren van enorme trainingscorpora en uitgebreide benchmarks, worden talen met minder bronnen (Low-Resource Languages of LRLs) systematisch onderschat. Dit geldt specifiek voor de Turkse en Mongoolse taalfamilies (zoals Kazachs en Mongools), die ondanks hun typologische diversiteit (agglutinerende morfologie, variatie in Cyrillisch en Latijns schrift) en culturele rijkdom, slecht worden vertegenwoordigd in Engelstalige trainingsdata. Gebruikers van deze talen ervaren daardoor een verlaagde nauwkeurigheid, onbetrouwbare vloeiendheid en een fundamenteel mindere gebruikerservaring. Een veelvoorkomende aanpak om dit op te lossen is Cross-Lingual Transfer (CLT): het model vragen om een vraag naar het Engels te vertalen, in het Engels te redeneren en het antwoord terug te vertalen. De effectiviteit van deze strategie over verschillende modelarchitecturen is echter nog onvoldoende onderzocht.

Methodologie

De auteurs hebben een gecontroleerde benchmark ontwikkeld om de prestaties van LLMs in LRLs te evalueren.

• Dataset: Een benchmark van 50 handgemaakte vragen, verdeeld over vijf categorieën: neutrale feitelijke kennis, neutrale redenering, neutrale technische kennis, Kazachs-georiënteerde culturele kennis en Mongools-georiënteerde culturele kennis. Elke vraag bestaat in drie parallelle, door mensen vertaalde versies (Engels, Kazachs, Mongools).
• Modellen: Acht generatieve LLMs werden getest, ingedeeld in drie architectuurklasses:
  1. Engels-first: Voornamelijk getraind op Engels (bijv. Claude Opus 4.5, GPT-5.2, Llama 4 Maverick).
  2. Tweetalig: Bevat aanzienlijke Chinese en meertalige data naast Engels (Qwen3, DeepSeek V3.2).
  3. Meertalig: Expliciet getraind voor brede dekking (100+ talen), inclusief Turkse talen (Aya Expanse).
• Experimentele Condities: Vijf scenario's werden getest:
  • C1: Baseline in het Engels.
  • C2 & C4: Directe prompt in respectievelijk Kazachs en Mongools.
  • C3 & C5: Cross-Lingual Transfer (CLT) pipeline in de doeltaal (vertalen naar Engels -> redeneren in Engels -> terugvertalen).
• Evaluatie: 2.000 antwoorden werden beoordeeld op drie dimensies (0-2 punten elk): Nauwkeurigheid (Accuracy), Vloeiendheid (Fluency) en Volledigheid (Completeness). De beoordeling vond semi-automatisch plaats met een LLM als rechter, waarbij strikte taalidentificatie werd gehandhaafd (antwoorden in de verkeerde taal kregen 0 punten voor vloeiendheid).

Belangrijkste Resultaten

1. Significant Prestatiekloof: Er is een consistente prestatiekloof van 13,8 tot 16,7 procentpunten tussen de Engelstalige baseline en de LRL-condities. Hoewel de vloeiendheid van de modellen redelijk hoog blijft (87-89%), daalt de feitelijke nauwkeurigheid aanzienlijk.
2. Selectief Effect van CLT: Cross-Lingual Transfer levert geen universele verbetering op:
   • Engels-first modellen: Geen voordeel, en zelfs een lichte daling (-0,7 tot -1,1 pp) door de extra stappen in de pipeline.
   • Tweetalige modellen: Duidelijk voordeel (+2,2 pp voor Kazachs, +4,3 pp voor Mongools). De gestructureerde decompositie compenseert voor zwakkere redeneervermogens in de doeltaal.
   • Meertalige modellen: Geen voordeel; prestaties blijven laag.
3. De "Meertalige Illusie": Het model dat specifiek voor meertaligheid was ontworpen (Aya Expanse), presteerde catastraal slecht op de doeltalen. Hoewel het 82,3% scoorde in het Engels, daalde dit naar 15,7% voor Kazachs en 4,7% voor Mongools. Het model produceerde vaak Kirgizisch in plaats van Kazachs, wat aantoont dat brede trainingsdekking niet garandeert dat individuele, nauw verwante talen correct worden beheerst.
4. Latentie: De reactietijd neemt aanzienlijk toe bij LRLs en nog meer bij CLT-condities (van 7,3s in Engels naar 35,4s voor Kazachs CLT).

Kernbijdragen

• Empirisch Bewijs: Het artikel biedt kwantitatief bewijs dat huidige LLMs systematisch slechter presteren voor LRL-gemeenschappen, zelfs wanneer ze oppervlakkig vloeiend lijken.
• Architectuurgeafhankelijkheid: Het toont aan dat mitigatiestrategieën zoals CLT niet universeel werken, maar afhankelijk zijn van de modelarchitectuur. CLT werkt alleen als "steun" (scaffolding) voor modellen met een bepaalde mate van meertalige competentie (tweetalig), maar niet voor Engelsgedomineerde of schijnbaar meertalige modellen.
• Gevaar van Vloeiendheid: De studie benadrukt het gevaar van de "vloeiendheidsillusie": modellen genereren grammaticaal correcte tekst die feitelijk onjuist is, wat misleidend kan zijn voor gebruikers die geen toegang hebben tot Engelstalige verificatie.

Betekenis en Conclusie

De bevindingen onderstrepen dat de huidige generatie LLMs niet klaar is voor een eerlijke inzet in laag-risicotalen. De auteurs concluderen dat:

1. Er een dringende behoefte is aan taal-specifieke evaluaties die verder gaan dan geaggregeerde meertalige benchmarks.
2. Cross-linguale transfer geen wondermiddel is, maar een gerichte oplossing voor specifieke modeltypen.
3. Het simpelweg "noemen" van een taal in de trainingsdata (zoals bij Aya Expanse) niet voldoende is voor betrouwbare output, vooral binnen verwante taalfamilies.
   Toekomstig werk moet zich richten op het uitbreiden van deze frameworks naar andere Turkse en Mongoolse talen en het onderzoeken of gerichte fine-tuning op kleine corpora effectiever is dan prompt-strategieën alleen.