💬 NLP

When English Isn't the Best Teacher: Source Language Effects in Cross-Lingual In-Context Learning

Dit artikel demonstreert empirisch dat conventionele op fine-tuning gebaseerde heuristieken voor het selecteren van brontalen niet betrouwbaar van toepassing zijn op cross-linguale In-Context Learning, wat de noodzaak onthult voor alternatieve strategieën om taalverwarring te mitigeren en transfer over diverse taken en modellen te optimaliseren.

Oorspronkelijke auteurs: Fred Philippy, Siwen Guo, Jacques Klein, Tegawendé F. Bissyandé

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fred Philippy, Siwen Guo, Jacques Klein, Tegawendé F. Bissyandé

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Nieuwe Manier om AI te Onderwijzen

Stel je voor dat je een briljante student hebt (een Large Language Model) die bijna alles in de bibliotheek heeft gelezen, maar vooral boeken die in het Engels zijn geschreven. Je wilt deze student een wiskundeprobleem laten oplossen of een verhaal laten schrijven in een taal die hij niet veel heeft geoefend, zoals het Swahili of het Bengalees.

In het verleden, om de student een nieuwe taal te leren, gaf je hem een tekstboek en liet je hem dit uit het hoofd leren (dit wordt Fine-Tuning genoemd). In die oude methode was de beste manier om hem te leren een taal die erg lijkt op de taal die hij leerde (bijv. Spaans gebruiken om Italiaans te leren).

Dit paper stelt een andere vraag: Wat gebeurt er als we de student geen tekstboek geven? Wat als we hem gewoon een paar voorbeelden laten zien van hoe je de taak goed uitvoert, vlak voor zijn neus, en hem vragen om het ter plekke uit te zoeken? Dit wordt In-Context Learning (ICL) genoemd.

De onderzoekers wilden weten: Als we deze "show, don't tell"-methode gebruiken, is Engels dan nog steeds de beste leraar? En is een taal die lijkt op de doeltaal nog steeds de beste leraar?

De Verrassing: Engels is Hier Eigenlijk een Slechte Leraar

Het team heeft dit getest met zes verschillende AI-modellen en zeven verschillende taken (zoals vragen beantwoorden, wiskunde doen of onderwerpen classificeren) over 18 verschillende talen.

Dit is wat ze vonden, wat alle oude regels doorbreekt:

1. De "Moedertaal"-mythe is Vals

De Oude Overtuiging: Als je een student Frans wilt leren, moeten de beste voorbeelden komen van een Franstalige.
De Realiteit: In deze nieuwe "show, don't tell"-methode is de doeltaal (Frans) slechts in ongeveer 24% van de gevallen de beste leraar voor zichzelf. Soms werkt het veel beter om een totaal andere taal te gebruiken.

2. Engels is Vaak de Slechtste Leraar

De Oude Overtuiging: Omdat de AI voornamelijk in het Engels is getraind, zou Engels de sterkste leraar voor alles moeten zijn.
De Realiteit: Engels was de slechtste bron-taal in ongeveer 16% van de experimenten. Het is alsof je iemand probeert te leren hoe je met een handgeschakelde auto rijdt door hem een video te laten zien van iemand die een automaat rijdt; de regels zijn te verschillend en de student raakt in de war.

3. Gelijkenis Maakt Niet Uit

De Oude Overtuiging: Talen die "neven" zijn (zoals Spaans en Italiaans), zouden kennis gemakkelijk overdragen.
De Realiteit: In deze specifieke leerstijl helpt het niet veel om taalkundig verwant te zijn. De AI lijkt er niet om te geven of de talen op elkaar lijken.

Het Echte Geheim: Het "Stille Klaslokaal"-effect

Dus, wie is de beste leraar? Het paper vond een verrassend patroon:

Talen met weinig middelen en een niet-Latijns schrift (zoals Thais, Telugu of Bengalees) zijn de beste leraren.

De Analogie:
Stel je een klaslokaal voor.

Talen met veel middelen (zoals Engels of Spaans) zijn als een luidruchtig, druk feestje. Wanneer de AI voorbeelden in deze talen ziet, raakt hij afgeleid door alle patronen die hij al kent uit zijn enorme trainingsdata. Hij begint te gokken op basis van wat hij meestal hoort, in plaats dat hij goed naar de specifieken voorbeelden kijkt die je hem gaf.
Talen met weinig middelen zijn als een stille, lege kamer. Omdat de AI deze talen minder vaak heeft gezien, kan hij niet vertrouwen op zijn "spiergeheugen" of oude gewoontes. Hij wordt gedwongen om heel goed op de specifieke voorbeelden die je hebt gegeven te letten om het patroon te ontdekken. Het werkt als een "regularizer"—het dwingt de AI om zich te concentreren op de taak in plaats van op de taal.

Het "Verwarring"-probleid

De onderzoekers keken ook naar wat er gebeurt als de AI in de war raakt. Soms vraag je de AI om in het Swahili te antwoorden, maar antwoordt hij per ongeluk in het Engels. Dit wordt Language Confusion genoemd.

Ze ontdekten dat:

Als je een "luidruchtige" taal (zoals Engels) als leraar gebruikt, is de AI eerder geneigd in de war te raken en in de verkeerde taal te antwoorden.
Als je een "stille" taal (zoals een taal met weinig middelen en een niet-Latijns schrift) als leraar gebruikt, is de AI minder snel in de war. Hij blijft gefocust op de instructies.

De "Donor vs. Ontvanger" Twist

Het paper ontdekte een vreemde relatie tussen talen:

Talen die goed zijn in het ontvangen van hulp (goed presteren wanneer zij de doel-taal zijn), zijn vaak slecht in het geven van hulp (slecht presteren wanneer zij de bron-taal zijn).
Omgekeerd zijn talen die moeite hebben om op eigen kracht goed te presteren, vaak de beste in het helpen van andere talen.

Het is als een sportteam: Het team dat de meeste kampioenschappen wint (Engels) kan eigenlijk de slechtste coach zijn voor een rookie-team omdat ze te verschillend spelen. Een team dat een beetje worstelt, kan een coachingstijl hebben die perfect bij de rookie past.

Samenvatting

Het paper concludeert dat wanneer we AI gebruiken om te leren van voorbeelden (In-Context Learning) in plaats van het uit het hoofd leren van tekstboeken (Fine-Tuning), de regels volledig veranderen:

Ga er niet vanuit dat Engels de beste leraar is.
Ga er niet vanuit dat vergelijkbare talen de beste leraren zijn.
Soms zijn de talen waarvan de AI het minst weet, de beste in het aanleren van nieuwe taken aan de AI.

De auteurs waarschuwen dat hoewel dit een nuttige truc is voor nu, we niet moeten stoppen met het onderwijzen van de AI in talen met weinig middelen. We moeten er nog steeds voor zorgen dat de AI deze talen goed begrijpt, en ze niet alleen als een hulpmiddel gebruiken om andere talen te onderwijzen.

Technische Samenvatting: Wanneer Engels niet de beste leraar is

Probleemstelling
Hoewel cross-linguale transfer in meertalige Natural Language Processing (NLP) uitgebreid is bestudeerd binnen de context van supervised fine-tuning, blijven de dynamieken ervan in het opkomende paradigma van In-Context Learning (ICL) onderbelicht. Bij fine-tuning zijn factoren zoals linguïstische gelijkenis, lexicale overlap en schrifttypes bekende determinanten voor de kwaliteit van de transfer. Echter, nu het veld verschuift naar instruction-tuned Large Language Models (LLMs) die vertrouwen op few-shot ICL in plaats van parameterupdates, is het onduidelijk of deze gevestigde heuristieken standhouden. Specifiek is er een gebrek aan rigoureuze evaluatie over hoe effectieve bron-talen te selecteren voor cross-linguale ICL, met name voor laag-resource doel-talen. Een heersende aanname is dat hoog-resource talen (zoals Engels) of linguïstisch verwante talen de beste bronnen zijn, maar dit is in het ICL-regime niet gevalideerd.

Methodologie
De auteurs voerden een brede empirische studie uit om de relaties tussen bron- en doel-talen in cross-linguale ICL te onderzoeken.

Omvang: De studie besloeg zeven meertalige benchmarks (variërend van taken zoals parafrase-identificatie, commonsense reasoning, kennisbegrip en wiskundig redeneren) en zes LLM's (variërend van 1B tot 4B parameters, waaronder Llama 3.2, Gemma 3, Qwen3 en Phi-4-Mini).
Talen: Achttien typologisch diverse talen werden geselecteerd om de overlap tussen benchmarks te maximaliseren.
Experimenteel ontwerp: De onderzoekers evalueerden alle mogelijke bron-doel-taalcombinaties. Om de inhoudelijke consistentie te waarborgen en transfer-dynamieken te isoleren, gebruikten zij volledig parallelle datasets met uitgelijnde test- en in-context voorbeelden. Een 4-shot configuratie werd gehanteerd op basis van eerdere bevindingen dat extra demonstraties een afnemend rendement opleveren in meertalige scenario's.
Metrieken en Analyse:
- Transferprestaties: Gemeten via gemiddelde z-scores over taken en modellen heen.
- Donor/Ontvanger-analyse: Gedefinieerd door donor-scores (de gemiddelde prestatie die een taal aan anderen biedt) en ontvanger-scores (de gemiddelde prestatie die een taal ontvangt).
- Correlatiestudies: Onderzocht de correlaties tussen transferprestaties en (1) linguïstische gelijkenis (gebruikmakend van URIEL en lang2vec voor syntactische, genetische, fonologische en kenmerkende eigenschappen), (2) cross-linguale uitlijning binnen modelrepresentaties (gemeten via Centered Kernel Alignment op FLORES-200 data), en (3) schrifttype en beschikbaarheid van resources.
- Taalverwarring: Breidde de analyse uit naar generatieve taken met behulp van de Language Confusion Benchmark om de frequentie te meten waarmee modellen er niet in slagen de output in de gevraagde taal te genereren.

Belangrijkste Bijdragen en Resultaten
De studie daagt verschillende aannames uit die afkomstig zijn uit het tijdperk van fine-tuning:

De doel-taal is niet altijd de beste bron: In tegen tegenstelling tot de algemene overtuiging dient de doel-taal zelf slechts in ongeveer 24% van de gevallen als de meest effectieve bron.
Engels is vaak een slechte bron: Ondanks de dominantie in pretraining-corpora, kwam Engels in ongeveer 16% van de experimenten als de slechtste bron-taal naar voren.
Linguïstische gelijkenis is geen voorspeller: In tegenstelling tot bij supervised fine-tuning, vertoont linguïstische gelijkenis (genetisch, syntactisch, etc.) geen sterke correlatie met de effectiviteit van de transfer in ICL.
Interne uitlijning drijft transfer aan: Cross-linguale uitlijning binnen de interne representatieruimte van het model (geleerd tijdens pre-training) is een aanzienlijk sterkere indicator voor transfer-succes dan oppervlakkige linguïstische kenmerken.
De "Low-Resource, Non-Latin" Paradox: De meest effectieve bron-talen zijn vaak laag-resource talen met een niet-Latijns schrift (bijv. Thais, Telugu, Bengaals). Daarentegen behoren hoog-resource talen met een Latijns schrift (zoals Engels, Spaans, Duits) tot de minst effectieve bronnen.
Donor-Ontvanger Asymmetrie: Er is een sterke negatieve correlatie (Pearson $r = -0.932$ ) tussen het vermogen van een taal als donor en haar vermogen als ontvanger. Talen die goed presteren als doel-talen, presteren vaak slecht als bron-talen, en vice versa.
Taalverwarring: Bij generatieve taken is taalverwarring (output genereren in de verkeerde taal) een specifieke uitdaging die niet direct gerelateerd is aan de taak-transferprestaties. Talen met een niet-Latijns schrift hebben de neiging meer last te hebben van verwarring wanneer ze als doel-taal worden gebruikt, maar veroorzaken minder verwarring wanneer ze als bron-taal worden gebruikt vergeleken met talen met een Latijns schrift.

Significantie en Claims
Het artikel betoogt dat cross-linguale ICL steunt op mechanismen die verschillen van die in fine-tuning. Terwijl fine-tuning gebruikmaakt van structurele overlap en parameterupdates geleid door linguïstische gelijkenis, lijkt ICL te vertrouwen op de representatieve eigenschappen die tijdens pre-training zijn geleerd. De auteurs suggereren dat hoog-resource talen "hoog-entropisch" kunnen zijn, waardoor overlappende pretraining-patronen worden geactiveerd die leiden tot een grotere afhankelijkheid van taal-specifieke heuristieken in plaats van de taakstructuur. In contrast hiermee kunnen laag-resource of typologisch atypische talen fungeren als impliciete regularisatoren, die het model dwingen zich te concentreren op abstracte input-output mappingen.

De significantie van deze bevindingen ligt in het heroverwegen van strategieën voor de selectie van bron-talen. De auteurs stellen dat de minst ondersteunde talen in huidige LLM's — met name laag-resource talen met een niet-Latijns schrift — onverwacht sterke bronnen kunnen zijn voor cross-linguale ICL. Dit daagt de standaardpraktijk uit om standaard voor Engels of linguïstisch gelijkaardige talen te kiezen bij het prompten. Het werk benadrukt dat een sterke prestatie als doel-taal niet impliceert dat een taal effectief is als bron-taal, wat suggereert dat huidige evaluatiepraktijken die uitsluitend gericht zijn op de prestaties aan de doel-zijde, cruciale aspecten van de selectie van de bron-taal kunnen missen.

Beperkingen en Ethische Overwegingen
De auteurs merken op dat hun analyse beperkt is tot 18 talen en modellen met $\le$ 4B parameters voor computationele hanteerbaarheid, hoewel de hoge stabiliteit over de runs wijst op robuuste trends. Ethisch gezien benadrukken de auteurs expliciet dat hun bevindingen niet geïnterpreteerd moeten worden als een aanbeveling om de aanwezigheid van bepaalde talen in pre-training te verminderen; in plaats daarvan weerspiegelen de resultaten de huidige eigenschappen van modellen en trainingsdistributies. Zij waarschuwen dat naarmate de beschikbaarheid van data voor laag-resource talen verbetert, hun rol als effectieve bronnen kan veranderen.