Technische Samenvatting: Routing-Gealigneerde Fine-Tuning voor Meertalige Downstream Taken in Mixture-of-Experts Modellen

Probleemstelling

Mixture-of-Experts (MoE) modellen zijn de dominante paradigma geworden voor het efficiënt schalen van Large Language Models (LLMs). Het aanpassen van deze vooraf getrainde MoE-modellen aan niet-Engelse downstream taken blijft echter uitdagend. Bestaande fine-tuning-benaderingen behandelen MoE-modellen doorgaans als monolithische leraars, waarbij standaard Supervised Fine-Tuning (SFT) wordt toegepast op gegevens in de doeltaal. Deze aanpak negeert de heterogene routingstructuur die zich tijdens de vooraftraining ontwikkelt.

Recente studies wijzen op een "U-vormig" patroon in cross-linguale routingdivergentie: vroege en late lagen zijn sterk taalspecifiek, terwijl middelste lagen sterke cross-linguale uitlijning vertonen. Ondanks deze uitlijning degradeert de prestatie in niet-Engelse talen vaak omdat het model niet de specifieke, taakrelevante experts activeert voor niet-Engelse invoer. Het kernprobleem is hoe deze cross-linguale routingstructuur kan worden benut om de fine-tuning voor niet-Engelse taken te verbeteren, zonder het hele model opnieuw te trainen of de sparse routingdynamiek te negeren.

Methodologie: RA-MoE

De auteurs stellen RA-MoE (Routing-Gealigneerde MoE Fine-Tuning) voor, een drie-fasen raamwerk dat is ontworpen om routingpatronen in de doeltaal uit te lijnen met Engelse taak-expert-activatiepatronen in de middelste lagen van het model.

Fase 1: Constructie en Categorisatie van Parallelle Gegevens

De methode begint met het construeren van een parallelle dataset waarbij Engelse taakvoorbeelden $(x_{en}, y_{en})$ worden vertaald naar een doeltaal $(x_{tgt}, y_{tgt})$. Het MoE-model voert inferentie uit op beide versies, en de voorbeelden worden gecategoriseerd in een vier-weg taxonomie op basis van juistheid:

• cc: Juist in zowel het Engels als de doeltaal.
• ci: Juist in het Engels, onjuist in de doeltaal.
• ic: Onjuist in het Engels, juist in de doeltaal.
• ii: Onjuist in beide.

De auteurs veronderstellen dat de ci-categorie een "taalgedreven" prestatiekloof vertegenwoordigt waarbij het model de benodigde taalkennis bezit (aangetoond in het Engels), maar deze niet kan toepassen in de doeltaal vanwege routingmisalignering.

Fase 2: Identificatie van Middelste Lagen en Taakexperts

Deze fase analyseert het routinggedrag van het model om de optimale doelen voor uitlijning te identificeren:

1. Identificatie van Middelste Lagen: De auteurs berekenen de Jensen-Shannon (JS) divergentie tussen Engelse en doeltaal-routingdistributies over de lagen. Ze bevestigen het U-vormige patroon en identificeren een aaneengesloten reeks middelste lagen ($L_{mid}$) waar de divergentie minimaal is. Deze lagen dienen als de "taal-universele uitlijnzone".
2. Identificatie van Taakexperts: Binnen deze middelste lagen identificeren de auteurs "taakexperts" door routinggewichten op Engelse taakgegevens (beperkt tot correct beantwoorde voorbeelden) te vergelijken met een algemeen Engelstalig corpus. Experts die preferentieel worden geactiveerd voor de taak (hoge specificiteitscore) worden geselecteerd als de doelset ($E_{task}$).

Fase 3: Routing-Gealigneerde SFT

De laatste fase omvat het fine-tunen van het model op gegevens in de doeltaal met een gewijzigde objectiviteitsfunctie:
$$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$$

• $\mathcal{L}_{CE}$: Standaard cross-entropy-verlies toegepast op alle voorbeelden.
• $\mathcal{L}_{align}$: Een routing-uitlijnverlies dat selectief wordt toegepast op ci-type voorbeelden. Voor deze voorbeelden wordt het model aangemoedigd om invoer in de doeltaal door dezelfde taakexperts in de middelste lagen te routeren als het Engelse referentiepunt. Het verlies wordt berekend als de KL-divergentie tussen de hergenormaliseerde routingdistributie van de doeltaal (beperkt tot $E_{task}$) en de Engelse referentiedistributie.

Deze selectieve toepassing zorgt ervoor dat het uitlijnsignaal is verankerd in gevallen waar het Engelse routingpatroon een geldige, betrouwbare referentie voor de taak is.

Belangrijkste Bijdragen

1. Validatie van U-vormige Divergentie in Taakinstellingen: Het artikel valideert empirisch dat het U-vormige patroon van cross-linguale routingdivergentie geldt in taakspecifieke instellingen, en toont aan dat routingdivergentie in middelste lagen betrouwbare voorspellers zijn van taakprestatiekloven per taal.
2. Vier-Categorie Taxonomie en Predictor: De auteurs introduceren de cc/ci/ic/ii-taxonomie voor het diagnosticeren van cross-linguale kloven. Ze leveren empirisch bewijs dat het aandeel ci-voorbeelden in een taal-taalpaar een sterke voorspeller is (correlatie $r=0,70$) van het potentieel voordeel van routinguitlijning.
3. Identificatie van Taakexperts en Uitlijnobjectief: Er wordt een procedure voorgesteld om taakrelevante experts in middelste lagen te lokaliseren met behulp van Engelse gegevens, gekoppeld aan een fine-tuning-doelstelling die de cross-linguale expert-activatiekloof sluit zonder dat heridentificatie van taal-specifieke experts vereist is.
4. Cross-Linguele Overdraagbaarheid: De studie toont aan dat taakexperts die in één taal zijn geïdentificeerd (bijvoorbeeld Chinees), kunnen worden overgedragen om het model te fine-tunen voor taalkundig verre talen (bijvoorbeeld Arabisch, Bengaals) zonder de identificatiefase opnieuw uit te voeren, wat suggereert dat taakexpertise in middelste lagen grotendeels taal-agnostisch is.

Experimentele Resultaten

De auteurs hebben RA-MoE geëvalueerd over drie MoE-modellen (OLMoE-1B-7B, Qwen1.5-MoE, DeepSeek-V2-Lite), drie downstream taken (GSM8K, IFEval, MMLU) en zes doeltalen (Arabisch, Bengaals, Chinees, Frans, Japans, Spaans).

• Prestatiewinst: RA-MoE presteerde consequent beter dan standaard SFT en sterke baselines, waaronder Routing Steering (interventie tijdens inferentie) en RISE (selectieve fine-tuning van taal-specifieke subnets).
• Correlatie met CI-aandeel: De prestatiewinst was het meest uitgesproken bij taaltaalparen met een hoger aandeel ci-voorbeelden, wat de hypothese bevestigt dat de methode zich richt op taalgedreven kloven in plaats van kenniskloven.
• Mechanistische Veranderingen: Analyse toonde aan dat RA-MoE de routingdivergentie in middelste lagen aanzienlijk verminderde in vergelijking met standaard SFT, waardoor de routing in de doeltaal dichter bij de Engelse referentie kwam. Bovendien steeg het selectiepercentage voor taakexperts in doeltalen steiler en convergeerde het onder RA-MoE naar een hoger plateau.
• Efficiëntie: De methode brengt verwaarloosbare rekenkundige overhead met zich mee. Het uitlijnverlies voegt minder dan $10^{-3}\%$ toe aan de totale FLOPs, en de voorbereidende fasen (dataannotatie en routingprofiel) voegen maximaal 15% toe aan de totale wandkloktijd, wat teruggebracht kan worden tot onder de 10% als taakexperts worden gedeeld over talen.

Betekenis en Beperkingen

Het artikel stelt dat RA-MoE de kloof overbrugt tussen de theoretische cross-linguale uitlijning van MoE-middelste lagen en praktische prestaties van downstream taken. Door routingpatronen expliciet uit te lijnen in plaats van alleen outputkansen, benut de methode de sparse structuur van MoE's om meertalige capaciteiten te verbeteren.

De auteurs wijzen op specifieke beperkingen:

• Afhankelijkheid van Engelse Prestaties: De methode gaat ervan uit dat het basismodel sterke taakprestaties in het Engels heeft; als het Engelse routingpatroon geen taakrelevante informatie bevat, is het uitlijnsignaal onbetrouwbaar.
• Dekking van Vooraftraining: Voor talen die ernstig ondervertegenwoordigd zijn in het vooraftrainingscorpus, biedt RA-MoE beperkte winst omdat de bottleneck een gebrek aan fundamentele taalcapaciteit is en niet routingmisalignering.
• Modaal: Experimenten zijn beperkt tot tekst-only modellen; generalisatie naar multimodale LLM's blijft een open vraag.

Het werk suggereert dat voor MoE-modellen de middelste lagen dienen als een stabiele, taal-universele zone waar taakexpertise effectief kan worden overgedragen over talen heen via routinguitlijning.