💬 NLP

Transport and Merge: Cross-Architecture Merging for Large Language Models

Deze paper introduceert een framework voor het samenvoegen van grote en kleine taalmodellen met verschillende architecturen, waarbij optimale transporttechniek wordt gebruikt om activaties te aligneren en kennis over te dragen via gewichtsfusie.

Oorspronkelijke auteurs: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, super-intelligente professor hebt (een groot taalmodel) die alles weet over de wereld, maar die professor spreekt alleen Engels en is enorm groot en traag. Je hebt ook een slimme, maar kleine student (een klein taalmodel) die snel is en op een mobiele telefoon past, maar die nog niet veel weet over specifieke onderwerpen of andere talen, zoals Maleis of Cantonees.

Normaal gesproken zou je de professor moeten "leren" aan de student door urenlang lessen te geven (trainen). Dat kost echter veel tijd, rekenkracht en data.

Deze paper introduceert een slimme nieuwe manier om kennis over te dragen, genaamd "Transport and Merge" (Vervoer en Samenvoegen). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Verschillende Bouwtekeningen

Het probleem is dat de professor en de student niet hetzelfde systeem hebben. De professor heeft misschien 8 miljard "hersencellen" (neuronen) in een bepaalde volgorde, en de student heeft er maar 1 miljard in een andere volgorde. Je kunt hun kennis niet zomaar "knippen en plakken" omdat hun interne bouwtekeningen niet overeenkomen. Het is alsof je probeert onderdelen van een Ferrari in een fiets te monteren; ze passen niet zomaar.

2. De Oplossing: De "Optimale Vervoer" Methode

De auteurs gebruiken een wiskundig concept genaamd Optimal Transport (Optimaal Vervoer). Denk hierbij aan een logistiek bedrijf dat goederen van A naar B moet brengen tegen de laagste kosten.

Stap 1: De "Proefles" (Activaties)
De onderzoekers geven de professor en de student een klein aantal vragen (bijvoorbeeld 2000 zinnen in het Maleis). Ze kijken niet naar de antwoorden, maar naar hoe hun hersenen reageren terwijl ze nadenken.
- Vergelijking: Het is alsof je kijkt welke spieren de professor en de student gebruiken als ze een zware koffer tillen. Misschien gebruikt de professor zijn linkerarm en de student zijn rechterarm, maar ze tillen precies dezelfde koffer op dezelfde manier.
Stap 2: De "Matchmaker" (Transport Matrices)
De computer berekent welke "hersencel" van de professor het meest lijkt op welke "hersencel" van de student, gebaseerd op hoe ze reageren op die proefvragen.
- Vergelijking: Het is alsof je een vertaler hebt die zegt: "Oké, de professor gebruikt zijn 'Wiskunde-deel' om dit probleem op te lossen, en de student gebruikt zijn 'Rekenen-deel'. Hoewel ze anders heten, doen ze hetzelfde werk. Laten we die twee koppelen."
Stap 3: De "Kennis-Injectie" (Samenvoegen)
Nu de computer weet welke delen overeenkomen, pakt hij de kennis (de gewichten) van de professor en voegt deze direct toe aan de juiste plekken van de student.
- Belangrijk: Ze doen dit niet voor de hele student. Ze kiezen alleen de top-k (de beste) hersencellen van de student die het hardst werken en vullen die aan met de kennis van de professor. De rest van de student blijft onaangetast, zodat hij niet "vergeten" wordt hoe hij zijn eigen taal spreekt.

3. Het Resultaat: Een Super-Student

Na deze operatie heeft de kleine student:

De snelheid en compactheid van zijn eigen kleine formaat.
De diepe kennis van de grote professor over specifieke onderwerpen (zoals Maleise grammatica of medische termen).

Waarom is dit geweldig?

Geen dure training: Je hoeft de student niet maandenlang te trainen met enorme hoeveelheden data. Een klein beetje "proefmateriaal" is genoeg om de verbindingen te leggen.
Werkt met verschillende modellen: Het maakt niet uit of de professor een "LLaMA" is en de student een "Qwen" of een ander type. De methode vindt de overeenkomsten in hun gedrag, niet in hun naam.
Veilig: Omdat ze alleen de beste delen aanpassen en de rest intact laten, blijft de student stabiel en verliest hij zijn oorspronkelijke vaardigheden niet.

Kortom:
In plaats van de student jarenlang te laten studeren, nemen ze een moment om te kijken hoe de professor denkt, vertalen ze die denkpatronen naar de taal van de student, en steken ze die kennis direct in de hersenen van de student. Zo wordt de kleine student plotseling net zo slim als de grote professor, maar blijft hij klein en snel genoeg om overal mee naartoe te nemen.

1. Probleemstelling

Grote Taalmodellen (LLMs) bereiken sterke prestaties door schaling van modelcapaciteit en trainingsdata. Veel real-world toepassingen, echter, vertrouwen op kleinere modellen die zijn getraind op data met beperkte hulpbronnen (bijvoorbeeld voor laag-risourcelanden zoals Maleis, Indonesisch of Kantonese). Deze modellen missen vaak specifieke kennis die beschikbaar is in grote, hoog-risourcemodellen.

De uitdaging is om kennis over te dragen van een groot, hoog-risourcemodel (bron) naar een kleiner, heterogeen doelmodel (doel) met een verschillende architectuur. Bestaande methoden voor modelmerging (het samenvoegen van gewichten) gaan er meestal van uit dat de modellen dezelfde architectuur hebben, waardoor directe gewichtsoperaties mogelijk zijn. Methoden die wel over verschillende architecturen heen werken, vertrouwen vaak op distillatie, wat vereist dat het doelmodel opnieuw wordt getraind met grote hoeveelheden data, wat de voordelen van directe merging tenietdoet.

De kernvraag van dit paper is: Kunnen we kennisoverdracht van hoog- naar laag-risourcelanden realiseren via directe modelmerging, zelfs als de bron- en doelmodellen verschillende architecturen hebben?

2. Methodologie: Optimal Transport (OT) voor Cross-Architecture Merging

De auteurs stellen een framework voor dat Optimal Transport (OT) gebruikt om correspondenties te vinden tussen neuronen in heterogene modellen, zonder dat ze dezelfde architectuur hoeven te delen.

A. Activatie-gebaseerde Correspondentie

In plaats van te proberen directe gewichtskoppelingen te maken (wat moeilijk is bij verschillende dimensies), analyseert de methode de activaties van beide modellen op een kleine set inputdata.

Feature-level Transport: Voor elke laag in het doelmodel en elke laag in het bronmodel wordt een kostenmatrix berekend op basis van de correlatie tussen activatiekanalen. Met behulp van entropisch geregulariseerde Optimal Transport wordt een transportplan ( $Q$ ) berekend. Dit plan geeft aan hoe activatiekanalen van het bronmodel kunnen worden gecombineerd om de kanalen van het doelmodel te benaderen.
Layer-level Transport: Om te bepalen welke lagen van het bronmodel het meest relevant zijn voor lagen in het doelmodel, wordt een tweede OT-probleem opgelost op basis van de feature-level kosten. Dit resulteert in een globale correspondentiematrix ( $P$ ) tussen lagen.

B. Van Activaties naar Gewichten (Weight Fusion)

De kerninnovatie is het "liften" van deze activatie-correspondenties naar de gewichtsruimte:

De transportplannen ( $Q$ ) worden gebruikt als mengoperatoren om de gewichten van het bronmodel te transformeren naar de basis van het doelmodel.
Selectieve Neuronvervanging: Om interferentie te minimaliseren, wordt niet het hele model gemerged. De methode selecteert de top- $k$ meest geactiveerde neuronen in het doelmodel (op basis van de kalibratiedata). Alleen de gewichten die corresponderen met deze specifieke neuronen worden vervangen of aangepast.
Formule: De gefuseerde gewichten ( $W^{fused}$ ) worden berekend als een combinatie van de originele doelgewichten en de getransporteerde bronweegs, gewogen door een fusiecoëfficiënt $\alpha$ en de transportmatrices.

C. Residual-Frozen Adaptation

Na de merging-fase wordt een lichte aanpassing uitgevoerd:

De getransporteerde "residuen" (de toegevoegde kennis) worden bevroren.
Alleen de oorspronkelijke basisparameters van het doelmodel worden verder gefinetuned op de taak.
Dit zorgt ervoor dat de overgedragen kennis niet overschreven wordt door de training, terwijl het doelmodel zich wel kan aanpassen aan de specifieke verdeling van de downstream-taak.

3. Belangrijkste Bijdragen

Cross-Architecture Merging Framework: De eerste methode die directe gewichtsmerging mogelijk maakt tussen LLMs met verschillende architecturen en capaciteiten, zonder distillatie of grote trainingsdatasets.
OT-gebaseerde Correspondentie: Het gebruik van Optimal Transport om gestructureerde, neuron-niveau correspondenties af te leiden uit activatieruimtes, wat een theoretisch onderbouwde manier biedt om heterogene modellen uit te lijnen.
Interpretatie in Representatieruimte: De auteurs tonen wiskundig aan dat het transport van gewichten equivalent is aan het afbeelden van doel-features naar de bron-coördinaten, het toepassen van de bron-operatie, en het terugbeelden naar de doelruimte.
Efficiëntie: De methode vereist slechts een kleine set kalibratiedata en vermijdt kostbare training van het hele model.

4. Resultaten

De methode is uitgebreid getest op diverse taakgebieden en talen:

Laag-risourcetalen: Op benchmarks voor Maleis (MalayMMLU), Indonesisch, Kantonese en Thais presteerde de gemerged model consistent beter dan de basisdoelmodellen.
- Bij Maleis leidde "Fused w/ Adaptation" tot verbeteringen van +3.31 tot +6.51 punten op verschillende categorieën (Humanities, STEM, etc.) ten opzichte van de basis.
- De methode presteerde beter dan traditionele SFT (Supervised Fine-Tuning) en distillatie, vooral in termen van stabiliteit en prestatieverbetering zonder extra data.
Domein-specifieke transfer: Succesvol getest bij het overdragen van kennis van algemene modellen naar gespecialiseerde domeinen zoals Financiën en Geneeskunde. De gefuseerde modellen behaalden de beste scores op benchmarks zoals MMLU (Business Ethics, Medical Genetics).
Robuustheid:
- De methode werkt consistent met verschillende bronmodellen (bijv. LLaMA-3-8B en Qwen2.5-7B).
- Het is niet extreem gevoelig voor de fusiecoëfficiënt $\alpha$ (optimale waarden rond 0.05–0.15).
- De algemene capaciteiten van het doelmodel blijven behouden; er treedt geen significante "catastrophic forgetting" op van basisvaardigheden.

5. Significantie en Impact

Dit werk opent nieuwe mogelijkheden voor de toepassing van LLMs in contexten met beperkte hulpbronnen:

Toegang tot kennis: Het stelt ontwikkelaars in staat om de kennis van enorme, dure modellen te "stolen" (via merging) voor kleinere, efficiëntere modellen die geschikt zijn voor lokale implementatie of specifieke talen.
Kostenreductie: Het elimineert de noodzaak voor kostbare distillatieprocessen of het verzamelen van enorme datasets voor training.
Praktische toepasbaarheid: De methode biedt een praktische, theoretisch onderbouwde alternatief voor distillatie wanneer architecturen niet overeenkomen, wat essentieel is voor de groei van AI in diverse talen en domeinen.

Samenvattend introduceert "Transport and Merge" een krachtige, data-efficiënte techniek om de kloof tussen grote, hoog-risourcemodellen en kleine, gespecialiseerde modellen te overbruggen door gebruik te maken van de onderliggende structurele overeenkomsten in hun interne representaties.