💬 NLP

One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

Dit onderzoek onthult dat het samenvoegen van gewichten van meertalige vertaalmodellen vaak faalt omdat meertalige fine-tuning de interne neurale representaties zodanig herschikt dat de taal-specifieke selectiviteit afneemt en de representatieve divergentie in de hogere lagen toeneemt, waardoor de compatibiliteit voor standaard samenvoegstrategieën wordt ondermijnd.

Oorspronkelijke auteurs: Baban Gain, Asif Ekbal, Trilok Nath Singh

Gepubliceerd 2026-04-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Baban Gain, Asif Ekbal, Trilok Nath Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep van vier zeer getalenteerde kokken hebt. Elke kok is een meester in het koken van één specifiek gerecht:

Kok A is de absolute kampioen in Hindi-rijst.
Kok B is de beste in Bengalese curry.
Kok C is de meester van Tamil-noodles.
Kok D is de specialist in Telugu-soep.

Elke kok heeft jarenlang geoefend met alleen zijn eigen gerecht. Ze zijn nu zo goed dat ze hun eigen keuken perfect beheersen.

Het probleem:
Je wilt nu één superkeuken openen waar al deze gerechten tegelijk worden geserveerd. Maar je hebt geen tijd of geld om ze opnieuw samen te laten koken (dat kost te veel tijd en ingrediënten). Je hebt ook geen toegang tot hun oude receptenboeken vanwege privacyregels.

De oplossing (Model Merging):
Je probeert een slimme truc: je neemt de "handbewegingen" en "geheugen" van elke kok (hun gewichten in het AI-model) en mengt ze gewoon door elkaar, alsof je hun gerechten in één grote pan doet. Je hoopt dat je zo één kok krijgt die alles kan koken.

Wat deze paper ontdekt:
De onderzoekers van het Indiase IIT Patna hebben geprobeerd deze "pan-mix" te maken voor machine vertaling (van Indiase talen naar Engels en andersom). Het resultaat was verrassend en teleurstellend: het mislukte.

Hier is wat er gebeurde, vertaald in alledaagse termen:

1. De "Grote Pan" werkt niet zoals verwacht

Toen ze de kennis van de vier koks mengden, ontstond er een rommel.

Als je probeerde de koks te laten werken met verschillende doelgerechten (bijvoorbeeld: één pan voor Hindi-naar-Engels en één voor Bengalees-naar-Engels), werd het resultaat een ramp. De koks vergeten hun eigen specialiteit en maken een onsmakelijke soep.
Het was alsof je de handen van een pianist en een violist probeert te mixen; ze weten niet meer welke bewegingen bij welk instrument horen.

2. De "Geheugen" van de koks zit op de verkeerde plekken

De onderzoekers keken diep in de "hersenen" van deze koks (de neuronen in het AI-model) om te zien wat er misging. Ze ontdekten twee belangrijke dingen:

De basis is hetzelfde: De eerste lagen van de hersenen (waar de woorden worden herkend) zijn voor alle koks bijna hetzelfde. Ze kennen allemaal de basiswoorden.
De top is anders: Maar in de bovenste lagen (waar de daadwerkelijke zinnen worden bedacht en gegenereerd), heeft elke kok zijn eigen, heel specifieke manier van denken ontwikkeld.
- De kok voor Hindi heeft in de bovenste lagen een heel specifiek "Hindi-denken" ontwikkeld.
- De kok voor Bengalees heeft een heel ander "Bengalees-denken".

De analogie:
Stel je voor dat de onderste lagen van de hersenen zijn als de grond van een huis. Die is voor iedereen hetzelfde (beton en bakstenen). Maar de bovenverdiepingen (de kamers waar de mensen wonen) zijn volledig anders ingericht.
De ene kok heeft een kamer vol met Hindi-meubels, de andere met Bengalese meubels. Als je nu twee huizen "mengt" door gewoon de muren en vloeren op elkaar te plakken (gewicht-menging), krijg je geen mooi nieuw huis. Je krijgt een chaotische brij waar de meubels door elkaar heen vallen en niemand meer weet waar hij moet slapen.

3. Het probleem zit in de "Generatie"

Het meest interessante was dat dit probleem vooral optreedt bij het maken van de vertaling (de uitkomst), niet bij het lezen ervan.

Als je een tekst leest (van Engels naar Hindi), werken de koks nog redelijk samen.
Maar als je een tekst schrijft (van Hindi naar Engels), raken de bovenste lagen in de war. De koks vergeten welke regels ze moesten volgen voor hun specifieke taal. Ze beginnen te "code-switchen" (tussen talen wisselen) of maken onzin, omdat hun interne "stuurknoppen" in de bovenste lagen niet op elkaar zijn afgestemd.

Conclusie: Waarom is dit belangrijk?

De paper zegt eigenlijk: "Je kunt niet zomaar twee gespecialiseerde experts samenvoegen door hun hersenen te mixen."

Het lijkt erop dat als een AI-model zich specialiseert in een bepaalde taal, het zijn interne structuur volledig herschikt in de bovenste lagen. Deze herschikking is zo specifiek, dat als je twee modellen mengt, ze elkaars werk verstoren. Het is alsof je probeert twee verschillende dialecten in één stem te laten spreken; het resultaat is een onbegrijpelijke krekel.

Kortom:
De droom van "één model voor alle talen" door simpelweg gespecialiseerde modellen te mixen, werkt helaas niet. De "geometrie" van de hersenen is te complex en te specifiek geworden. Om dit op te lossen, moeten we waarschijnlijk slimme manieren vinden om de bovenste lagen van deze koks te synchroniseren, in plaats van ze zomaar door elkaar te gooien.

Titel: Een model om ze allemaal te vertalen? Een reis naar de Berg des Dooms voor meertalig model-merging

Auteurs: Baban Gain, Asif Ekbal, Trilok Nath Singh (IIT Patna)

1. Het Probleem

Grote Taalmodellen (LLMs) presteren uitstekend in machinevertaling, maar het trainen van één enkel model dat goed presteert over diverse taalparen is computatief duur en data-intensief. Een veelgebruikte alternatieve aanpak is het onafhankelijk fijnafstemmen (fine-tuning) van kleinere, taalspecifieke modellen. Het probleem is echter dat het hosten en onderhouden van vele gespecialiseerde modellen kostbaar is.

Model Merging (het combineren van gewichten van onafhankelijk getrainde modellen zonder toegang tot de originele trainingsdata) biedt een oplossing. Hoewel dit succesvol is in multitask-scenario's (bijv. verschillende taken in één taal), is het gedrag in meertalige contexten (verschillende taalparen) slecht begrepen. Het paper onderzoekt waarom het samenvoegen van onafhankelijk fijnafgestemde meertalige vertaalmodellen vaak faalt, met name bij het combineren van modellen met verschillende doeltaalparen.

2. Methodologie

De auteurs voeren een systematische studie uit met de volgende opzet:

Datasets en Modellen: Ze gebruiken het Samanantar-corpus om het basismodel Qwen-2.5-3B-Instruct onafhankelijk fijnaf te stemmen op acht tweetalige vertaaltaken (Indic-talen: Hindi, Bengaals, Tamil, Telugu $\leftrightarrow$ Engels). De datasets zijn groot (miljoenen zinnenparen).
Merging Strategieën: Ze evalueren verschillende weight-space merging-methoden:
- Task Arithmetic (lineaire combinatie van taakvectoren).
- TIES (verwijdering van lage-magnitude updates en oplossen van tekenconflicten).
- DARE (sparsificatie door willekeurig weglaten van parameters).
- SCE-Merging (selectie van significante wijzigingen).
Experimentele Configuraties:
1. Many-to-One: Verschillende bronnen (Indic) naar één doel (Engels).
2. One-to-Many: Eén bron (Engels) naar verschillende doelen (Indic).
3. Bidirectioneel: Het samenvoegen van tegenovergestelde richtingen (bijv. En $\to$ Hi en Hi $\to$ En) om een tweerichtingsmodel te maken.
Analyse-technieken: Om de oorzaak van het falen te verklaren, analyseren ze interne representaties via:
- Span-geconditioneerde neuron-selectiviteit: Welke neuronen activeren voor specifieke taalspannen?
- Neuron Usage Alignment (NUA): Mate waarin modellen dezelfde neuronen gebruiken.
- Centered Kernel Alignment (CKA): Vergelijking van de geometrie van interne representaties per laag.
- Primaire Hoek Analyse: Geometrische compatibiliteit van subruimtes.

3. Belangrijkste Resultaten

A. Prestaties van Merging

Many-to-One (Indic $\to$ En): Merging verbetert de stabiliteit en dekking over talen heen vergeleken met het basismodel, maar de piekprestaties van de individueel fijnafgestemde modellen gaan verloren. De prestatiedaling is aanzienlijk.
One-to-Many (En $\to$ Indic): Merging faalt hier dramatisch. De prestaties dalen vaak onder het niveau van het ongetrainde basismodel. Bijvoorbeeld, bij Engels $\to$ Hindi behoudt het gemerged model slechts ~22% van de BLEU-score van het gespecialiseerde model.
Bidirectioneel: Er is een sterke directionele asymmetrie. Het vertalen naar Indic (En $\to$ Indic) stort volledig in, terwijl het vertalen van Indic (Indic $\to$ En) deels behouden blijft, maar wel met significante degradatie.

B. Analyse van Neuronen en Representaties

De analyse onthult waarom merging faalt:

Laag-specifieke Specialisatie:
- Embedding-lagen: Taalspecifieke neuronen zijn geconcentreerd in de laagste lagen (embedding).
- Intermediaire lagen: Deze blijven grotendeels gedeeld en compatibel tussen verschillende talen.
- Bovenste lagen (Generatie): De fijne afstemming herverdeelt taalspecialisatie naar de bovenste transformer-blokken (laag 28-36), die de autoregeneratieve generatie sturen.
Geometrische Misalignement:
- Hoewel verschillende modellen dezelfde neuronen activeren (hoge NUA), veranderen de richtingen van hun activatie in de bovenste lagen drastisch.
- CKA-analyse: De representatie-geometrie van de doeltaal (generatie) in de bovenste lagen is sterk taal-specifiek en niet compatibel. Wanneer modellen met verschillende doeltaalparen worden gemerged, worden deze misalignerende subruimtes lineair gecombineerd, wat leidt tot destructieve interferentie.
Herverdeling vs. Verscherping: Fijne afstemming verandert de geometrie door taalspecialisatie te herverdelen in plaats van deze te verscherpen. Neuronen voor gesuperviseerde talen worden minder exclusief, terwijl die voor niet-gesuperviseerde talen geïsoleerd raken, wat de divergentie in de generatielagen vergroot.

4. Kernbijdragen

Eerste Systematische Studie: Dit is een van de eerste studies die weight-space merging onderzoekt voor volledig fijnafgestemde meertalige machinevertaling op schaal van miljoenen zinnen.
Ontdekking van Asymmetrie: Het paper demonstreert dat merging in meertalige settings fundamenteel anders werkt dan in multitask settings, met name door de sterke directionele asymmetrie (generatie is kwetsbaarder dan encoding).
Mechanistische Verklaring: Door neuron-niveau analyse (NUA, CKA, Primaire Hoeken) wordt aangetoond dat het falen van merging niet komt door het gebruik van verschillende neuronen, maar door geometrische misalignement in de bovenste lagen die de generatie sturen.
Openbaarmaking: De checkpoints en code zijn vrijgegeven voor benchmarking.

5. Betekenis en Conclusie

Het paper concludeert dat standaard weight-space merging-strategieën (zoals lineaire interpolatie) niet werken voor meertalige vertaalmodellen omdat de onafhankelijke fijnafstemming de interne geometrie van het model zodanig herschikt dat de "generatie-subruimte" niet meer compatibel is.

Implicatie: Het samenvoegen van modellen met verschillende doeltaalparen leidt tot een verzwakking van de taalspecifieke circuits, wat resulteert in een verlies van vertaalkwaliteit.
Toekomst: Dit suggereert dat toekomstige merging-methoden rekening moeten houden met de dieptestructuur van taal-specialisatie en mogelijk niet-lineaire of permutatie-invariante aanpassingen nodig hebben om de misalignement in de bovenste lagen op te lossen.

Kortom: Hoewel het idee van "één model voor alle talen" aantrekkelijk is, is de huidige techniek van weight-space merging voor volledig fijnafgestemde vertaalmodellen een "reis naar de Berg des Dooms" vanwege fundamentele geometrische conflicten in de generatielagen.