Technische Samenvatting: Gradual Code-Switching als Inference-Time Cross-Lingual Representational Alignment voor LLM's

Probleemstelling

Ondanks aanzienlijke vooruitgang in meertalige capaciteiten, vertonen Large Language Models (LLM's) een ongelijkmatige prestatie over verschillende talen. Deze discrepantie komt voort uit een overmatige afhankelijkheid van Engels-centrische latente representaties. Recente studies wijzen erop dat LLM's niet-Engelse inputs vaak intern vertalen naar het Engels voordat ze redeneren, wat een "translatiebarrière" creëert. Als deze initiële interne vertaling faalt, degradeert de kwaliteit van de uiteindelijke output scherp.

Bestaande benaderingen om dit te mitigeren, zoals Cross-Lingual In-Context Learning (X-ICL), vertrouwen doorgaans op een abrupte, eenstaps pivot. Bijvoorbeeld, een model kan worden geprompt met Engelse demonstraties om een taak in een doeltaal op te lossen, of een query kan volledig naar het Engels worden vertaald voordat er wordt gerekeneerd. Deze methoden dragen vaak oppervlakkige taakpatronen over (bijv. outputformaten) zonder echter de onderliggende representationele kloof tussen de doeltaal en de Engels-centrische latente ruimte van het model effectief te overbruggen. Gevolgen hiervan zijn dat de prestaties in laag-resource en ongeziene talen suboptimaal blijven.

Methodologie: Code-Switching In-Context Learning (CSICL)

De auteurs stellen CSICL voor, een training-vrije, inference-time mechanisme ontworpen om cross-linguale representaties te aligneren door de redeneertrajectorie expliciet te scaffolden. In plaats van een abrupte transitie, hanteert CSICL een strategie van graduele code-switching die overgaat van de doeltaal naar het Engels.

Kernmechanisme

CSICL werkt via twee primaire componenten:

1. Graduele Vertalinstructie: Het model krijgt de instructie om een niet-Engelse input te verwerken door deze geleidelijk naar het Engels te vertalen, in het Engels te denken, en vervolgens het uiteindelijke antwoord in de doeltaal te genereren.
2. Graduele Code-Switching Demonstraties: De few-shot voorbeelden die aan het model worden verstrekt, schakelen niet abrupt van taal. In plaats daarvan volgen ze een stapsgewijze progressie:
   • 0% (Doeltaal): De query is volledig in de doeltaal.
   • 25% - 75% (Intermediaire stappen): De query incorporeert progressief Engelse tokens terwijl de grammaticale structuur van de doeltaal behouden blijft (Matrix Language Frame model).
   • 100% (Engels): De query is volledig vertaald naar het Engels.

Deze graduele verschuiving fungeert als een "linguïstische brug", die de LLM stimuleert om niet-Engelse inputs dynamisch af te stemmen op de Engels-centrische redeneerruimte van het model voordat de eigenlijke redeneerstap plaatsvindt.

Implementatiedetails

• Constructie van Demonstraties: Voor elke doeltaal genereren de auteurs graduele code-switching sequenties. Hoewel de standaardimplementatie GPT-5 gebruikt voor de constructie van demonstraties, is CSICL fundamenteel niet beperkt tot een externe oracle. De methode ondersteunt zelfgeneratie (met hetzelfde model) of regelgebaseerde generatie. De methode is niet beperkt tot het gebruik van GPT-5 als het inference-model; de paper evalueert CSICL op vier verschillende meertalige LLM's: Qwen3-32B, deepseek-chat-v3.1, grok-4-fast, en Gemini 2.5 Flash.
• Directionaliteit: De methode transiteert specifelijk van Doeltaal $\to$ Engels. Ablatiestudies suggereren dat deze richting superieur is aan de omgekeerde (Engels $\to$ Doeltaal), omdat het de input afstemt op de latente ruimte van het model in plaats van ervan af te wijken.
• Granulariteit: De auteurs testten verschillende stapenaantallen (bijv. 3-staps, 5-staps, 7-staps transities) en vonden dat een 5-staps lineaire transitie over het algemeen de beste balans biedt tussen prestaties en token-efficiëntie.

Belangrijkste Bijdragen

1. Voorstel van CSICL: Een nieuw inference-time mechanisme dat doeltalen en Engelse representaties overbrugt via gestructureerde, graduele code-switching, waardoor de valkuilen van abrupte pivots worden vermeden.
2. Systematisch Empirisch Bewijs: Uitgebreide evaluatie over 4 meertalige LLM's (Qwen3, DeepSeek, Grok, Gemini), 6 datasets (inclusen Global MMLU, MedExpQA, PolyMath), en 10 talen (variërend van high-resource tot mid- en low-resource settings).
3. Visualisatie van de Latente Ruimte: De paper levert visueel bewijs (via PCA van verborgen toestanden) dat CSICL de representaties van niet-Engelse input systematisch dichter bij de Engelse ankerplaats in de latente ruimte brengt, wat de alignatiehypothese valideert.
4. Analyse van Ontwerpfactoren: De auteurs analyseren kritieke factoren zoals directionaliteit, granulariteit en de bron van de generatie van demonstraties, waarbij zij aantonen dat CSICL effectief blijft, zelfs wanneer er gebruik wordt gemaakt van zelfgegenereerde of regelgebaseerde demonstraties.

Experimentele Resultaten

CSICL presteert consequent beter dan standaard X-ICL baselines (inclusen monolinguale, parallelle en vertaling-gebaseerde prompting) in alle geëvalueerde settings.

• Prestatiewinst:
  • Doeltalen: Gemiddelde winst van 6,0 procentpunten (pp) ten opzicht van monolinguale baselines.
  • Ongeziene Talen: Gemiddelde winst van 4,8 pp.
  • Low-Resource Settings: De verbeteringen zijn het meest uitgesproken in low-resource scenario's, met winsten van 14,7 pp in doeltalen en 5,3 pp in ongeziene talen.
• Taakspecifiteit:
  • Vertaling: CSICL behaalde de grootste winsten (+6,8 pp in doeltalen), aangezien de graduele transitie het vertalingsproces in de latente ruimte direct scaffolded.
  • Redeneren: Significante verbeteringen werden waargenomen in redeneringsgerichte taken (+5,4 pp), wat suggereert dat "denken in het Engels" via graduele alignment de representationele interferentie vermindert.
  • Kennis: Bescheiden maar consistente winsten werden gevonden in culturele kennis en taken over sociale bias.
• Efficiëntie: Hoewel de volledige CSICL-configuratie (5 shots, 5 stappen) meer tokens gebruikt dan simpelere baselines, is de overhead beheersbaar binnen standaard context windows. Opmerkelijk is dat zelfs 0-shot en 1-shot versies van CSICL sterke baselines overtreffen terwijl ze minder tokens gebruiken dan veel bestaande X-ICL alternatieven.

Betekenis en Claims

De paper positioneert CSICL als een robuuste en effectieve benadering om cross-linguale misalignatie tijdens de inference te verminderen zonder dat modelretraining of fine-tuning vereist is.

• Eerlijke Inzetbaarheid: Door de prestaties in low-resource en ongeziene talen te verbeteren, beweegt CSICL LLM's naar meer rechtvaardige meertalige systemen, waarbij het huidige tekort aan competentie dat zwaar naar het Engels is verschoven, aanpakt.
• Inzicht in het Mechanisme: Het werk vestigt dat graduele code-switching niet louter een stilistische keuze is, maar een functioneel mechanisme dat het redeneertraject controleert, waardoor modellen hun sterkste Engelse redeneercapaciteiten kunnen benutten terwijl de getrouwheid aan de doeltaal behouden blijft.
• Praktisch Nut: De methode wordt gepresenteerd als een lichtgewicht, afstelbare oplossing die een gunstige efficiency–accuracy trade-off biedt, waardoor het geschikt is voor zowel budgetbeperkte settings (via 0/1-shot varianten) als scenario's met hoge nauwkeurigheidseisen.

De auteurs concluderen dat CSICL een nieuw perspectief biedt voor cross-linguale alignment, waarbij wordt aangetoond dat het expliciet scaffolden van de transitie van de doeltaal naar het Engels de meertalige capaciteiten van bestaande LLM's aanzienlijk kan verbeteren.