Technische Samenvatting: DeltaMoE – Een Data-efficiënte Weg naar Meertalige LLM's

1. Probleemstelling

Het uitbreiden van Large Language Models (LLM's) naar nieuwe talen is momenteel een resource-intensief proces. De standaardpijplijn omvat Voortgezette Pre-training (CPT) op massale meertalige corpora, gevolgd door een complexe post-training afstemmingsfase (bijv. SFT en RL). Deze aanpak vereist uitgebreide data-replay om catastrofaal vergeten van oorspronkelijke vaardigheden te voorkomen, en vereist enorme hoeveelheden hoogwaardige instructiedata voor afstemming.

Recente "data-vrije" samenvoegingstechnieken proberen de afstemmingsfase te omzeilen door een CPT-versterkt model te fuseren met een bestaand instruct-model. Deze methoden staan echter voor een kritieke afweging:

• Lineair Gemiddelde (Model Soups): Verdunt de nieuw verworven taalknowledge, waardoor de winst in uitgebreide talen beperkt blijft.
• Delta Samenvoeging: Het direct toepassen van parameterwijzigingen veroorzaakt vaak catastrofaal vergeten van de oorspronkelijke taalvaardigheden van het model.

De kernuitdaging is om nieuwe taal- en afstemmingscapaciteiten efficiënt te verwerven zonder de oorspronkelijke prestaties van het model te offeren.

2. Methodologie: DeltaMoE

De auteurs stellen DeltaMoE voor, een tweefasig raamwerk dat een dicht model upcyclet naar een Mixture-of-Experts (MoE) architectuur om de bovengenoemde afweging op te lossen.

Fase 1: Voortgezette Pre-training via Sparse Upcycling

Het dichte basismodel wordt getransformeerd naar een MoE-architectuur door diepe kopieën van de oorspronkelijke Feed-Forward Networks (FFN's) te creëren om te dienen als "experts".

• Architectuur: Het model bestaat uit $N$ experts en een router. De oorspronkelijke parameters (specifiek de 0-de expert) worden bevroren om te fungeren als een dedicated repository voor oorspronkelijke taalknowledge.
• Training: Alleen de nieuw toegevoegde expansie-experts en de router worden bijgewerkt tijdens CPT op de nieuwe taaldata.
• Doel: Het model minimaliseert de Next Token Prediction (NTP) loss, terwijl het een load-balancing loss (LLB) gebruikt om een efficiënte tokenverdeling over de experts te waarborgen. Dit zorgt ervoor dat de oorspronkelijke knowledge intact blijft terwijl nieuwe talen worden geleerd door de actieve experts.

Fase 2: MoE Model Samenvoeging (Delta Integratie)

Zodra het MoE-basismodel is getraind op nieuwe talen, mist het afstemmingscapaciteiten. In plaats van kostbare post-training, hechten de auteurs een parameterdelta ($\Delta_{post}$) van een goed afgestemd, dicht instruct-model aan.

• Delta Berekening: $\Delta_{post} = \theta_{post-trained} - \theta_{base}$, wat de afstemmingsknowledge vertegenwoordigt die is verworven tijdens de training van het instruct-model.
• Component-gewijze Hechting:
  • Gedeelde Parameters: Voor lagen die gemeenschappelijk zijn aan zowel dichte als MoE-architecturen (bijv. Attention, Embeddings), wordt de delta direct toegepast.
  • Expert Parameters: Voor de FFN-lagen wordt een enkele FFN-specifieke delta berekend uit de FFN-weights van het dichte model. Deze delta wordt vervolgens uniform toegepast op alle experts in de MoE-architectuur.
• Redenering: Deze strategie behandelt alle experts als erfgenamen van dezelfde fundamentele structuur, waardoor de afstemmingsknowledge over alle experts kan worden uitgezonden zonder de specifieke taalknowledge die is opgeslagen in de bevroren of getrainde experts te verdunnen.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van DeltaMoE, dat MoE upcycling integreert met een verfijnde delta-samenvoegstrategie om talen uit te breiden en afstemmingsvaardigheden te verwerven zonder zware post-training procedures.
2. Oplossing van Afwegingen: De methode ontkoppelt effectief kennisverwerving (via nieuwe experts) van kennisbehoud (via bevroren experts) en afstemmingsoverdracht (via delta-hechting), waardoor het conflict tussen het uitbreiden van capaciteiten en het behouden van oorspronkelijke capaciteiten wordt opgelost.
3. Generaliseerbaarheid: De aanpak is gevalideerd op verschillende basismodellen (Qwen2.5-7B, LLaMA-3.1-8B) en verschillende bronnen van afstemmingsdeltas (standaard instruct, Tulu3 SFT), wat robuustheid aantoont.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op het uitbreiden van Qwen2.5-7B en LLaMA-3.1-8B naar het Hongaars, Servisch en Bengaals, geëvalueerd tegen baselines met overeenkomende data, FLOPs en parameteraantallen.

• Prestaties op Uitgebreide Talen: DeltaMoE bereikte State-of-the-Art (SOTA) prestaties, met een verbetering van gemiddeld 1,7 punten op uitgebreide talen ten opzichte van andere delta-gebaseerde methoden met vergelijkbare parameters.
• Behoud van Oorspronkelijke Capaciteiten: In tegenstelling tot dichte delta-samenvoeging, die aanzienlijk vergeten veroorzaakte, behield DeltaMoE de oorspronkelijke taalprestaties en presteerde het 1,5 punten beter dan dichte delta-baselines op behoudsmetingen.
• Efficiëntie: Zelfs wanneer dichte baselines werden getraind op het dubbele aantal CPT-data (om de FLOPs van de MoE-training te matchen), behield DeltaMoE een aanzienlijke voorsprong (ongeveer 1,94 punten) in prestaties op uitgebreide talen.
• Ablatiestudies:
  • Samenvoegstrategie: Lineair gemiddelde binnen een MoE-architectuur faalde in het oplossen van de afweging, wat de noodzaak van de delta-samenvoegbenadering bevestigt.
  • Router Tuning: Een minimale data-replay strategie (0,15B tokens) gecombineerd met router tuning liet DeltaMoE toe om dichte gemiddelde baselines te overtreffen op kennisbehoud.
  • Schaalbaarheid: Het verhogen van het aantal trainbare experts boven de drie leverde verwaarloosbare winsten op, wat suggereert dat 3 trainbare experts voldoende zijn voor meerdere uitgebreide talen.

5. Betekenis en Claims

Het artikel beweert dat DeltaMoE een praktische en schaalbare weg biedt voor het uitbreiden van de meertalige afstemming van bestaande LLM's. Door dichte modellen te upcyclen naar MoE-architecturen en afstemmingsdeltas te hechten, lost de methode het volgende op:

• Elimineert de behoefte aan massale instructiedatasets en complexe RL-afstemmingsfasen voor nieuwe talen.
• Lost het "vergeten versus leren"-dilemma op dat inherent is aan huidige samenvoegtechnieken.
• Biedt een data-efficiënt alternatief dat superieure prestaties bereikt met aanzienlijk minder rekenoverhead vergeleken met het opschalen van dichte trainingsdata.

De auteurs erkennen beperkingen, met name dat de geëvalueerde talen de wereldwijde taalkundige diversiteit niet volledig vertegenwoordigen en dat de MoE-architectuur tijdens inferentie een niet-triviale rekenoverhead introduceert in vergelijking met dichte modellen. Het raamwerk wordt echter gepresenteerd als een robuuste oplossing voor efficiënte meertalige uitbreiding.