Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Technische Samenvatting: Mix-MoE: Verbetering van meertalige machinevertaling van grote taalmodellen door gemengde MoE's

Probleemstelling
Hoewel grote taalmodellen (LLM's) sterke capaciteiten vertonen in meertalige machinevertaling (MT), brengt het fijnafstemmen op parallelle corpora een aanzienlijke uitdaging met zich mee: parameterinterferentie. Wanneer een LLM wordt fijnafgestemd voor een downstream-taak zoals vertaling met nieuwe data, verschuiven de parameters om de nieuwe taak te optimaliseren, wat vaak leidt tot degradatie van de oorspronkelijke, sterke monolinguale taalbegrip- en generatiecapaciteiten. Bestaande benaderingen, zoals generieke Mixture-of-Experts (MoE)-architecturen of methoden voor parameterisolatie, missen vaak taakspecifieke ontwerpen die expliciet gebruikmaken van voorgeprogrammeerde monolinguale kennis om vertaling te ondersteunen, of ze vertrouwen op routeringsmechanismen die alleen semantische inhoud in overweging nemen, waardoor onderliggende structurele of ritmische patronen in tekst mogelijk worden over het hoofd gezien.

Methodologie
De auteurs stellen Mix-MoE voor, een gemengd Mixture-of-Experts-framework dat is ontworpen om LLM's te trainen voor meertalige MT terwijl parameterinterferentie wordt gemitigeerd. Het framework transformeert een dichte LLM in een spaarzaam MoE-model met twee onderscheiden groepen experts en hanteert een twee-fasen trainingsstrategie:

1. Gespecialiseerde Expertgroepen:

   • Taalmodel (LM) Experts: Ontworpen om de monolinguale kennis die tijdens pre-training is geleerd, vast te leggen en te behouden. Deze worden geïnitieerd door de gewichten van de oorspronkelijke Feed-Forward Network (FFN)-lagen van de LLM te "upcyclen".
   • Machinevertaling (MT) Experts: Gespecialiseerd in het verwerven en opslaan van tweetalige vertaalkennis. Deze worden geïnitieerd vanuit de voorgeprogrammeerde LM Experts.
   • Het model richt zich op de FFN-lagen voor MoE-transformatie, aangezien deze lagen fungeren als key-value geheugens voor taalkennis, terwijl de Attention-lagen dicht worden gehouden om contextbewustzijn te behouden.

2. FFT-Versterkt Routeringsmechanisme:

   • Om effectieve interactie tussen experts te faciliteren en diverse taalkundige aanwijzingen vast te leggen, introduceren de auteurs een routeringsmechanisme dat is versterkt met Fast Fourier Transform (FFT)-kenmerken.
   • Spectrale kenmerken worden via FFT uit de verborgen toestanden van het model gehaald en samengevoegd met de oorspronkelijke semantische representaties.
   • Afzonderlijke routeringsnetwerken (één voor LM Experts, één voor MT Experts) gebruiken deze verrijkte representaties om experts te selecteren. Dit stelt de router in staat om niet alleen semantische inhoud, maar ook frequentiedomeinpatronen die indicatief zijn voor tekststructuur (bijv. zinsritme, morfologische complexiteit) in overweging te nemen.

3. Twee-fasen Post-Pretraining Strategie:

   • Fase 1 (LM Expert Training): Het model wordt getraind op monolinguale corpora. Alleen de LM Experts en hun corresponderende routeringsnetwerk worden bijgewerkt. Het doel is om de representatie van individuele taalstructuren te verfijnen.
   • Fase 2 (MT Expert Training): Het model wordt getraind op parallelle tweetalige corpora. De LM Experts en hun routerparameters worden bevroren om de verworven monolinguale kennis te behouden. Alleen de MT Experts en hun routeringsnetwerk worden getraind om zich te specialiseren in de vertaaltaken.

Belangrijkste Bijdragen

1. Mix-MoE Architectuur: Een nieuwe MoE-architectuur met gespecialiseerde LM- en MT-experts, gekoppeld aan een FFT-versterkt routeringsmechanisme dat zowel semantische als potentiële structurele aanwijzingen uit tekst benut.
2. Twee-fasen Trainingsstrategie: Een op maat gemaakt trainingsproces dat MT-experts in staat stelt te profiteren van voorgeprogrammeerde kennis terwijl ze zich specialiseren in vertaling, waardoor monolinguale en tweetalige leerdoelen effectief worden gescheiden om parameterinterferentie te mitigeren.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat de voorgestelde methode state-of-the-art resultaten bereikt over meerdere vertaaltaken en taalparen.

Experimentele Resultaten
De auteurs hebben Mix-MoE geëvalueerd op 14 taalrichtingen met behulp van de WMT-dataset (inclusief Fins, Tsjechisch, Duits, Russisch, Turks, Ests en Chinees naar/uit het Engels) en de FLORES-200-benchmark.

• Prestaties: Mix-MoE presteerde consequent beter dan baselines, waaronder Full Fine-tuning, LoRA, LLaMA-Pro en generieke MoE-varianten (bijv. MoE-LPR, LLaMA-MoE v2). Bijvoorbeeld, in de DE-EN-taak behaalde Mix-MoE een BLEU-score van 31,8, wat aanzienlijk hoger is dan de Two-Stage Full Fine-tuning-baseline (20,8).
• Mitigatie van Parameterinterferentie: Ablatiestudies bevestigden dat de scheiding van experts cruciaal is. Een standaard twee-fasen MoE-training (waarbij alle experts in Fase 2 worden bijgewerkt) presteerde slechter dan Mix-MoE, wat aangeeft dat het specifieke bevriezen van LM Experts catastrofaal vergeten voorkomt.
• FFT-Routing: Vergelijkingen met Random Projection en Discrete Cosine Transform (DCT) toonden aan dat FFT-afgeleide kenmerken de effectiviteit van de routing aanzienlijk verbeterden, wat bevestigt dat frequentiedomeinpatronen waardevolle structurele aanwijzingen bieden voor de selectie van experts.
• Schaalbaarheid: De methode toonde robuustheid en schaalbaarheid bij uitbreiding naar grotere modellen (Llama3.1-8B en Qwen2.5-14B), waarbij het consequent beter presteerde dan full fine-tuning-benaderingen.

Betekenis en Claims
Het artikel stelt dat Mix-MoE de kritieke uitdaging van parameterinterferentie bij het fijnafstemmen van LLM's voor meertalige vertaling aanpakt. Door het leren van monolinguale taalmodellering en tweetalige vertaling expliciet te scheiden in onderscheiden expertgroepen, en door gebruik te maken van een routeringsmechanisme dat gevoelig is voor structurele tekstpatronen, behoudt het framework succesvol de oorspronkelijke taalcapaciteiten van de LLM terwijl het de vertaalprestaties verbetert. De auteurs positioneren dit werk als een stap voorwaarts in efficiënte MT-training, en bieden een praktische oplossing voor het implementeren van meertalige vertaalsystemen die hoge kwaliteit taalbegrip behouden zonder de redundantie van massale parameterupdates.