Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling

1. Probleemstelling

Het paper adresseert de "vloek van meertaligheid" (curse of multilinguality) in Large Language Models (LLMs). Dit fenomeen beschrijft de afweging waarbij het uitbreiden van de taaldekking van een model binnen een vast parameterbudget vaak de prestaties op individuele talen verslechtert door capaciteitsknelpunten en interlinguale interferentie.

• Beperkingen van Dichte Modellen: Bestaande kleine meertalige modellen gebruiken doorgaans dichte architecturen die moeite hebben om een breed linguïstisch bereik te balanceren met diepgaande taakbekwaamheid. Ze missen de architecturale flexibiliteit om te schalen over diverse taalfamilies zonder prestatieverlies.
• Beperkingen van Bestaande MoE Upcycling: Hoewel Mixture-of-Experts (MoE) architecturen een oplossing bieden via conditionele berekening, vertrouwen huidige upcycling-methoden (het converteren van dichte modellen naar spaarse MoE) op grofkorrelige expert-replicatie. Dit houdt het dupliceren van volledige Feed-Forward Network (FFN) blokken in, wat leidt tot redundante initialisaties, de specialisatie van experts belemmert en faalt in het vastleggen van de nuancevolle representaties die nodig zijn voor meertalig redeneren.

2. Methodologie

De auteurs stellen Marco-MoE voor, een familie van compacte, hoogst spaarse meertalige MoE-modellen ontworpen om traditionele afwegingen te doorbreken. De methodologie bestaat uit drie kernpilaren:

A. Fijnkorrelige Expert Upcycling (Drop-Upcycling)

In plaats van volledige FFN-blokken te repliceren, maakt Marco-MoE gebruik van een sub-matrix splitsingstechniek in combinatie met Drop-Upcycling:

1. Sub-matrix Partitionering: De gewichten van de FFN's van het voorgeïntegreerde dichte model worden opgedeeld in $N$ slices langs de intermediaire dimensie om een "pseudo-MoE" raamwerk te creëren.
2. Schaal Aanpassing: Om wiskundige equivalentie met het originele dichte model te behouden, worden de gesliceerde gewichten geschaald met een factor $\lambda = N^{1/3}$ om een vermindering van de signaalgrootte te voorkomen tijdens de overgang van dichte sommatie naar spaarse gating.
3. Drop-Upcycling: Om de symmetrie van identieke initialisaties te doorbreken, selecteren de auteurs willekeurig indices langs de intermediaire dimensies en verwijderen ze de corresponderende gewichten, waarna ze deze opnieuw initialiseren met een Gaussische verdeling afgeleid van de statistieken van de verwijderde gewichten. Dit bevordert expert-diversificatie en specialisatie vanaf het begin van het trainen.

B. Vier-fasen Pre-training Curriculum

De modellen worden voorgetraind op 5,1 biljoen tokens die 29 talen bestrijken (later uitgebreid naar 64) met behulp van een progressieve data-mixstrategie:

• Fase 1: Hoogwaardige Engelse, redenerings- en instructiedata gemengd met meertalige web/QA-data (19 talen).
• Fase 2: Upsampling van redeneringscorpora en Chinese data; downsampling van algemene Engelse webdata.
• Fase 3: Introductie van 9 nieuwe low-resource talen (bijv. Bengaals, Kazachs, Urdu) door de gewichten voor Engelse/redeneringsdomeinen te verlagen.
• Fase 4: Integratie van gecureerde synthetische culturele en regionale data (inclusief MCQ's en culturele kennis) om lokaal redeneren en cultureel begrip te stimuleren.

Data Synthese: De auteurs maken gebruik van geavanceerde pipelines om hoogwaardige synthetische data voor low-resource talen te genereren, waaronder:

• Meertalige QA: Het vertalen van diverse Engelse QA-datasets met Qwen3-30B-A3B-Instruct met strikte filtering.
• STEM-data: Het projecteren van Engelse STEM-kennis naar doeltalen.
• Culturele Data: Het gebruik van LLM-evaluators om web-gescrapte documenten te filteren op culturele dichtheid en het genereren van synthetische regionale MCQ's via hiërarchische topic-uitbreiding.

C. Post-training met On-Policy Distillatie (OPD)

Om de Instruct-varianten te creëren, maken de auteurs gebruik van een tweestaps-pijplijn:

1. Supervised Fine-Tuning (SFT): Met behulp van hoogwaardige instructie-responsparen (Dolci-Instruct, wetenschappelijke data en cultureel onderbouwde data).
2. On-Policy Distillatie (OPD): Een cascade-distillatiestrategie waarbij het studentmodel zijn eigen trajecten genereert maar leert van dichte per-token supervisie geleverd door sterkere teacher-modellen (eerst Qwen3-30B-A3B, vervolgens Qwen3-Next-80B-A3B). Dit overbrugt de kloof tussen off-policy-efficiëntie en on-policy-robuustheid.

3. Belangrijkste Bijdragen

1. Eerste Spaarse Meertalige Upcycling: Het eerste werk dat MoE upcycling specifiek benut om meertalige prestaties te optimaliseren in compacte modelgroottes, en weg beweegt van grofkorrelige replicatie naar fijnkorrelige expert-specialisatie.
2. Open Transparantie: In tegenstelling tot veel propriëtaire modellen is Marco-MoE volledig open, waarbij alle pre-training datasets, data-synthesemethodologieën en het volledige vier-fasen trainingsrecept worden onthuld.
3. Schalbare Taaluitbreiding: Gedemonstreerd vermogen om te schalen van 29 naar 64 talen zonder de prestatiedegradatie die typisch is voor dichte modellen, waarbij hoge bekwaamheid wordt behouden in zowel high-resource als long-tail talen.
4. Gestructureerde Expert Activering: Analyse toont aan dat het model van nature gestructureerde expert-activeringspatronen leert die taalkundige taxonomieën weerspiegelen (bijv. delen Romance, Slavische en Oost-Aziatische talen expert-pools), terwijl taalkundig unieke talen (bijv. Thais, Arabisch) worden geïsoleerd naar gespecialiseerde experts.

4. Belangrijkste Resultaten

Het paper evalueert Marco-Nano (0,6B geactiveerde parameters, 8B totaal) en Marco-Mini (0,86B geactiveerde parameters, 17,3B totaal) tegen state-of-the-art dichte en MoE-baselines.

• Prestatie-berekeningsverhouding:
  • Marco-Mini-Base bereikt de beste gemiddelde prestaties op Engelse (63,7) en Meertalige Algemene (50,9) benchmarks, en presteert beter dan Qwen3-4B (dat 4x meer parameters en aanzienlijk hogere trainingsrekenkracht heeft) en Trinity-Mini (dat ongeveer 4,5x meer geactiveerde parameters heeft).
  • Marco-Nano-Base (0,6B actief) presteert beter dan grotere dichte modellen zoals Llama3.2-3B en Gemma3-4B op meertalige benchmarks, ondanks dat het minder dan 1/5e van de geactiveerde parameters heeft.
• Meertalige en Culturele Bekwaamheid:
  • Marco-Mini-Instruct behaalt de hoogste scores in Meertalige Culturele en Regionale benchmarks (71,0), en overtreft Qwen3-4B-Instruct (69,1) en Gemma3-12B-Instruct (67,7).
  • De modellen tonen aanzienlijke winst in low-resource talen (bijv. Urdu, Bengaals, Kazachs), waar de prestatiekloof met dichte tegenhangers significant groter wordt.
• Efficiëntie:
  • Marco-Mini-Instruct presteert met een grote marge beter dan LFM2-24B-A2B (een 24B parameter MoE-model) terwijl het slechts 0,86B parameters activeert (een reductie van 38% in totale parameters en 57% in geactiveerde parameters ten opzichte van LFM2).
• Expert Analyse:
  • Pearson-correlatie warmtekaarten van expert-activeringspatronen tonen aan dat verwante talen (bijv. Spaans, Frans, Italiaans) hoge activeringscorrelaties delen, terwijl geïsoleerde talen (bijv. Thais, Hebreeuws) lage correlaties vertonen, wat de capaciteit van het model bevestigt om taalkundig betekenisvolle routing te leren.

5. Betekenis

• Herdefiniëren van Efficiëntie: Marco-MoE vestigt een nieuwe state-of-the-art voor de prestatie-berekeningsverhouding in meertalige LLM's, en bewijst dat spaarse architecturen met efficiënt upcycling veel grotere dichte en MoE-modellen kunnen overtreffen.
• Democratisering van Meertalige AI: Door het open-sourcen van het volledige trainingsrecept en de datasets, bieden de auteurs een transparante basis voor de gemeenschap om hoogpresterende, cultureel bewuste modellen te ontwikkelen zonder de prohibitieve kosten van training vanaf nul.
• Oplossen van de "Vloek": Het werk toont aan dat de "vloek van meertaligheid" niet alleen kan worden verzacht door het schalen van data, maar door architecturale innovatie (fijnkorrelige MoE) die gespecialiseerd expertgebruik mogelijk maakt voor geïsoleerde talen en gedeeld gebruik voor verwante talen, waardoor schaalbare uitbreiding naar 64+ talen zonder interferentie mogelijk wordt.
• Toekomstige Richting: Het paper benadrukt het potentieel voor modulaire, incrementele taaluitbreiding en de noodzaak van hoogwaardige synthetische datapipelines om de ontwikkeling van low-resource talen te ondersteunen.