Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

Technische Samenvatting: Routingdynamiek benutten in Mixture-of-Experts-modellen voor efficiënte taaladaptatie

Probleemstelling
Mixture-of-Experts (MoE)-modellen zijn de standaard voor het schalen van Large Language Models (LLM's) vanwege hun vermogen om enorme parameteraantallen te behouden terwijl de inferentiekosten beheersbaar blijven via sparse activatie. De interne routing-gedrag van MoE-modellen in meertalige settings blijft echter onderbelicht. Waar dichte meertalige modellen bekend staan om het vertrouwen op Engels als interne "pivot" in de middelste lagen, met taalspecifieke neuronen in de eerste en laatste lagen, is het onduidelijk hoe MoE's gespecialiseerde routingstrategieën voor verschillende talen ontwikkelen. Bovendien is het computergewijs duur om grote MoE's aan te passen aan nieuwe, low-resource talen. Hoewel hun modulaire structuur theoretisch parameter-efficiënte adaptatie mogelijk maakt door slechts een subset van experts bij te werken, is het momenteel onbekend welke experts bijgewerkt moeten worden zonder een voorafgaand begrip van meertalige routingdynamiek.

Methodologie
De auteurs voeren een gecontroleerde studie uit met het OLMoE-Base-model (een decoder-only transformer met 64 experts per laag, waarbij de top-8 wordt geselecteerd) om routingdynamiek tijdens voortdurende pre-training te onderzoeken.

1. Opzet voor voortdurende pre-training: Het op Engels gerichte OLMoE-Base-model wordt voortdurend voorge-traind op een gebalanceerd corpus van 35 miljard tokens dat zeven high-resource talen bestrijkt (Engels, Arabisch, Tsjechisch, Spaans, Fins, Hindi, Russisch), bemonsterd uit het CulturaX-dataset. Het resulterende model wordt OLMoE-M7 genoemd.
2. Routing-analysemetrieken: Om te karakteriseren hoe routingmassa wordt verdeeld, analyseren de auteurs:
   • Router-entropie: Meet hoe geconcentreerde expert-activatie is voor een gegeven taal. Lagere entropie impliceert dat tokens naar een kleine subset van experts worden gerouteerd.
   • Cross-linguale routingdivergentie (JSD): Jensen-Shannon-divergentie tussen expertgebruiksverdelingen op taalniveau om te kwantificeren hoe verschillend routingpatronen zijn tussen taalparen.
   • Woordenschatoverlapping: Token-niveau woordenschatoverlapping tussen taalparen wordt geanalyseerd om te zien of dit routinggelijkenis drijft meer dan typologische of familie-gebaseerde gelijkenis.
3. Adaptatiestrategie (SSFT): Gemotiveerd door de routinganalyse, stellen de auteurs Selective and Shared Expert Finetuning (SSFT) voor voor adaptatie aan low-resource talen.
   • Expertselectie: Ze definiëren een "activatiekloof" (het verschil in activatiefrequentie tussen de twee top-talen van een expert) om taalspecifieke experts te identificeren.
   • Hybride update: SSFT werkt alleen de laatste twee lagen van het model bij. Het selecteert een kleine set taalspecifieke experts (die met een hoge activatiekloof voor de doeltaal) en vult deze aan met een kleine set "gedeelde" experts (zeer actief in alle talen).
   • Baselines: De methode wordt vergeleken met Selective Expert Finetuning (SEFT, alleen taalspecifiek), Random Expert Finetuning, All-Experts Finetuning (AEFT) en Full-Model Finetuning (Full-FT).

Belangrijkste bevindingen over routingdynamiek

• Lagen-specifieke specialisatie: In tegenstelling tot de hypothese dat gebalanceerde meertalige training taalscheiding door het hele model induceert, vindt de studie dat routing diffuus en taalagnostisch blijft in de vroege en middelste lagen. Duidelijke taalspecialisatie ontstaat voornamelijk in de laatste lagen.
• Woordenschatoverlapping versus taalfamilie: In de laatste lagen correleert routinggelijkenis sterker met token-niveau woordenschatoverlapping dan met taalfamilie, syntaxis of geografische gelijkenis. Bijvoorbeeld, Hindi en Marathi (hoge woordenschatoverlapping) vertonen vergelijkbare routingpatronen, terwijl Engels en Nederlands (gedeelde familie maar lage overlap) afwijkende patronen tonen.
• Engelse dominantie: Het basismodel vertoont Engels-gedomineerde routingpatronen. Voortdurende pre-training vermindert deze dominantie maar elimineert deze niet; Engelse tokens behouden in de laatste lagen nog steeds onderscheidende routingpatronen in vergelijking met niet-Engelse talen.

Resultaten over low-resource adaptatie
De auteurs evalueren SSFT op zes low-resource talen (Catalaans, Estisch, Marathi, Slowaaks, Oekraïens, Urdu) gepaard met high-resource ankers.

• Prestaties: SSFT bereikt een sterke prestatie-efficiëntie trade-off. Op de MultiBLiMP-benchmark bereikt SSFT een gemiddelde nauwkeurigheid van 83,6%, wat beter is dan SEFT (78,7%) en Random-SEFT (73,8%). Het benadert de prestaties van Full-FT (90,5%) terwijl aanzienlijk minder parameters worden bijgewerkt.
• Efficiëntie: SSFT werkt minder dan 2% van de modelparameters bij (ongeveer 75–138M parameters). In termen van rekentijd vereist SSFT ongeveer 10x minder GPU-uren en 100x minder FLOPs in vergelijking met Full-FT.
• Gedeelde experts: De opname van gedeelde experts in SSFT is cruciaal; het bijwerken van alleen taalspecifieke experts (SEFT) levert lagere prestaties op, en het simpelweg verhogen van het aantal taalspecifieke experts (SEFT-Top20) komt niet overeen met de prestaties van de hybride SSFT-aanpak.
• Robuustheid: De auteurs merken op dat terwijl Full-FT leidt tot catastrofaal vergeten van eerder geleerde talen bij training op grotere datasets, SSFT minder catastrofaal vergeten vertoont.

Betekenis en claims
Het paper claimt praktische inzichten te bieden voor low-resource meertalige adaptatie in MoE-modellen. Door aan te tonen dat taalspecialisatie in MoE's geconcentreerd is in de laatste lagen en wordt gedreven door woordenschatoverlapping, tonen de auteurs aan dat efficiënte adaptatie geen volledige modelfine-tuning vereist. De voorgestelde SSFT-strategie benut deze dynamiek om concurrerende prestaties te bereiken met minimale parameterupdates. Het werk suggereert dat effectieve adaptatie berust op een hybride aanpak: het richten op gespecialiseerde experts voor de nieuwe taal terwijl gedeelde experts worden behouden om cross-linguale stabiliteit te handhaven. De auteurs concluderen dat deze bevindingen een weg bieden naar schaalbare, efficiënte taaladaptatie zonder de computere last van volledige fine-tuning.

Beperkingen
De auteurs erkennen dat hun experimenten beperkt zijn tot de OLMoE-Base-architectuur (1B actieve / 7B totale parameters) vanwege computergrenzen. Ze merken ook op dat hun strategie afhankelijk is van het bestaan van een high-resource "anker"-taal met aanzienlijke woordenschatoverlapping, wat de toepasbaarheid kan beperken tot taalisolaten of low-resource talen zonder nauwe verwanten in de pre-training data. Tot slot zijn de bevindingen specifiek voor voortdurende pre-training op gebalanceerde corpora en kunnen ze verschillen onder andere trainingsregimes.