Technische Samenvatting: Parameter Alignment Mitigeert Catastrophic Forgetting in Multilingual Expert Language Models

1. Probleemstelling

Continual Pretraining (CPT) is een praktische methode om Large Language Models (LLM's) uit te breiden naar nieuwe talen zonder de prohibitieve kosten van pretraining vanaf nul. Echter, naïeve dense CPT leidt vaak tot catastrophic forgetting (catastrofaal vergeten), waarbij het model zijn oorspronkelijke algemene kennis (bijv. redeneren, leesvaardigheid) verliest terwijl het nieuwe taalvaardigheden verwerft. Dit probleem wordt verergerd in multilinguale settings door de "curse of multilinguality", die afwegingen afdwingt tussen taaldekking en het behoud van capaciteiten.

Hoewel recente paradigma's zoals X-ELM voorstellen om onafhankelijke bilinguale experts te trainen om kruislingse taalinterferentie te vermijden, is deze aanpak nog niet volledig verkend voor taalfamilie-experts (het groeperen van verwante talen). Bovendien veroorzaakt zelfs binnen de setting van familie-experts onbeperkte training een parameterdrift weg van de gedeelde initialisatie, wat de robuustheid op vastgehouden (held-out) talen en gerelateerde taken verslechtert. De kernuitdaging is hoe dit vergeten kan worden gemitigeerd in een gedistribueerde, familie-expert CPT-setting zonder het taalverwerving of de efficiëntie van parallel training op te offeren.

2. Methodologie

2.1 Family-Expert CPT Paradigma

De auteurs stellen voor om de training te organiseren rondom taalfamilies in plaats van individuele talen of een enkele dense model.

• Setup: Vijf onafhankelijke experts worden parallel getraind, elk toegewijd aan een specifieke taalfamilie: Slavisch, Germaans, Indisch, Austronesisch en Romaans.
• Data: De training maakt gebruik van de MADLAD-400 corpus, met een vast budget van 5 miljard tokens per familie (25 miljard totaal).
• Initialisatie: Alle experts starten vanuit een gedeeld basismodel (Gemma-3-4B).
• Doel: Deze aanpak beoogt intra-expert interferentie te verminderen terwijl het flexibele, gedistribueerde schalen mogelijk maakt.

2.2 Layer-Aware Parameter Alignment Strategieën

Om de parameterdrift aan te pakken die vergeten veroorzaakt, introduceren de auteurs vijf strategieën die updates beperken of gewichten corrigeren, specifiek gericht op de middelste lagen van de transformer. Dit ontwerp is gemotiveerd door bewijs dat middelste lagen taalneutrale kennis (redeneren, wereldkennis) coderen, terwijl de buitenste lagen de taalspecifieke verwerking afhandelen.

De vijf strategieën zijn:

1. Layer Freezing: Een harde beperking tijdens training waarbij de middelste 19 lagen bevroren zijn, en alleen de eerste 9 en laatste 6 lagen gradiëntupdates ontvangen.
2. Layer-Range L2 Regularization (L2-SP): Een zachte beperking die een L2-straf toevoegt aan de loss-functie, waarbij de middelste lagen zwaar worden gewogen ($\lambda_{mid} = 0.05$) en de buitenste lagen licht worden gewogen ($\lambda = 0.001$) om ze te verankeren aan de basisgewichten.
3. Dense-Reverted (Train-then-Revert): Een dense CPT-model wordt getraind, waarna de gewichten van de middelste lagen achteraf worden teruggezet naar de pre-trained gewichten van het basismodel, terwijl de bijgewerkte buitenste lagen behouden blijven.
4. Expert-Reverted: Vergelijkbaar met Dense-Reverted, maar toegepast op een getrainde familie-expert.
5. Expert Soup: Na het trainen van vijf vanilla familie-experts worden hun gewichten uniform gemiddeld om één verenigd model te creëren ($\theta_{soup} = \frac{1}{5}\sum \theta_f$).

2.3 Baselines

De alignment strategieën worden vergeleken met twee ongeregulariseerde baselines:

• Dense CPT: Een enkel model dat gezamenlijk op alle 32 talen wordt getraind zonder mitigatie van vergeten.
• Family Expert: Vanilla familie-experts getraind zonder enige regularisatie of post-hoc correctie.

2.4 Evaluatie

Evaluatie beslaat 32 trainings-talen en held-out verwanten over vijf families, gemeten op vier assen:

• Taalverwerving: Perplexity op held-out MADLAD tekst.
• Leesvaardigheid: Belebele benchmark (2-shot).
• Fysiek Redeneren: Global-PIQA (2-shot).
• Vertaling: FLORES-200 (ChrF scores).

3. Belangrijkste Resultaten

3.1 Afweging tussen Vergeten vs. Verwerving

Parameter alignment strategieën verminderen vergeten aanzienlijk met minimale kosten voor taalverwerving:

• Begrip & Redeneren: Layer Freezing en Layer-Range L2 bewaren de downstream prestaties het best. Layer Freezing verbeterde de Belebele nauwkeurigheid met gemiddeld +1,7 procentpunt (pp) ten opzichte van het basismodel, terwijl naïeve Dense CPT dalingen van 6,6–12,3 pp veroorzaakte.
• Vertaling: Dense-Reverted leverde de sterkste vertalingswinsten op, gemiddeld +20,6 ChrF ten opzichte van het basismodel. Het presteerde beter dan alle andere strategieën op de Slavische, Germaanse, Indische en Romaanse families.
• Perplexity: Layer-Range L2 en Expert Soup behielden of verbeterden consistent de held-out perplexity, terwijl naïeve Family Experts significant verslechterden op held-out talen (bijv. de Austronesische perplexity sprong van 14,04 naar 28,35).

3.2 Taakspecifieke Prestaties

Geen enkele strategie domineerde over alle assen:

• Layer Freezing was optimaal voor begrip- en redeneertaken.
• Post-hoc Reversion (Dense/Expert-Reverted) was optimaal voor vertaalkwaliteit.
• Expert Soup bood sterke retentie van begrip (tweede beste na Layer Freezing) en toonde aan dat uniforme averaging van familie-experts beter presteert dan individuele familie-checkpoints op in-gesloten taken.

3.3 Causale Analyse van Layer Drift

Door gerichte interpolatie-experimenten (het scannen van $\alpha$ van basis naar getrainde gewichten) identificeerden de auteurs de causale drijfveren van vergeten:

• Begrip: De degradatie in Belebele nauwkeurigheid wordt primair gedreven door middelste-laag drift. Het herstellen van de middelste lagen naar de basisgewichten herstelde aanzienlijke nauwkeurigheid, terwijl drift in de buitenste lagen een verwaarloosbare impact had.
• Vertaling: De FLORES vertaalkwaliteit volgt een ander profiel. Drift in de laatste lagen was de primaire drijfveer voor vertalingswinsten; het herstellen van de middelste lagen had weinig effect op de ChrF-scores. Dit sugggeert dat vertaalkwaliteit meer afhangt van outputgedrag en generatiecompatibiliteit dan van de middelste-laag kennisbehoud die vereist is voor begrip.

4. Bijdragen en Betekenis

Het papier levert drie primaire bijdragen:

1. Family-Expert CPT: Het introduceert een paradigma voor gedistribueerde multilinguale training gecentreerd rondom taalfamilies, wat de X-ELM aanpak generaliseert naar bredere taalgroepen.
2. Layer-Aware Alignment Strategieën: Het stelt vijf specifieke strategieën voor en benchmarkt deze (inclusief harde bevriezing, zachte regularisatie en post-hoc reversie) die zijn afgestemd op de familie-expert setting.
3. Empirische Richtlijnen: Het biedt praktische implementatierichtlijnen die specifieke strategieën koppelen aan doeltaken. De auteurs demonstreren dat de "acquisition–forgetting frontier" niet uniform is; strategie-selectie moet laag-bewust en taakgestuurd zijn.

Betekenis:
Het werk daagt het idee uit van een enkele geaggregeerde metriek voor het evalueren van CPT. Het stelt vast dat:

• Behoud van de middelste lagen cruciaal is voor het behoud van algemene kennis (begrip/redeneren).
• Flexibiliteit van de buitenste lagen cruciaal is voor taalverwerving en vertaling.
• "One-size-fits-all" mitigatie van vergeten suboptimaal is; beoefenaars moeten alignment strategieën selecteren op basis van of hun prioriteit vertaling, begrip of brede taaldekking is.

De auteurs blijven bescheiden en merken op dat hun richtlijnen zijn afgeleid van empirische vergelijking op een specifieke model schaal (Gemma-3-4B) en corpus, en dat een principieel methode voor het automatisch selecteren van strategieën voor willekeurige taken een open vraag blijft.