🤖 machine learning

RegMean++: Enhancing Effectiveness and Generalization of Regression Mean for Model Merging

RegMean++ is een verbeterde methode voor modelmerging die de effectiviteit en generalisatie verhoogt door niet alleen naar individuele lagen te kijken, maar ook de afhankelijkheden tussen verschillende lagen in het model expliciet mee te nemen in de optimalisatie.

Oorspronkelijke auteurs: The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van superhelden hebt. De ene held is een meester in wiskunde, de andere is een kampioen in talen, en een derde is een expert in geschiedenis. Je wilt nu één "Super-Held" maken die alles kan.

In de wereld van Kunstmatige Intelligentie (AI) noemen we dit 'Model Merging'. In plaats van een nieuw, gigantisch brein vanaf nul te trainen (wat enorm veel tijd en energie kost), proberen onderzoekers de 'kennis' van verschillende bestaande AI-modellen samen te smelten tot één slimme alleskunner.

Dit paper introduceert een nieuwe methode genaamd RegMean++. Om te begrijpen waarom dit bijzonder is, moeten we eerst kijken naar de oude methode.

De oude methode: RegMean (De 'Losse Onderdelen' aanpak)

Stel je voor dat je de superheld wilt bouwen door de spieren, de ogen en de hersenen van de verschillende helden los van elkaar te pakken en ze in een nieuwe pop te stoppen.

De oude methode, RegMean, deed dit: hij keek naar de 'spieren' (de lineaire lagen van de AI) van elke held en probeerde een gemiddelde te vinden dat voor iedereen werkte. Het probleem? Hij vergat dat in een echt lichaam alles met elkaar verbonden is. Als je de spieren van een krachtpatser combineert met de hersenen van een filosoof, maar je houdt geen rekening met hoe die spieren de bewegingen van de hersenen beïnvloeden, krijg je een onhandig monster dat niet goed kan samenwerken. De AI werd weliswaar slimmer, maar hij verloor de 'flow'.

De nieuwe methode: RegMean++ (De 'Samenhangende Flow' aanpak)

De onderzoekers van dit paper zeiden: "Wacht even, we moeten niet alleen naar de losse onderdelen kijken, we moeten kijken naar hoe de informatie door het hele lichaam stroomt!"

RegMean++ werkt als een ervaren dirigent van een orkest. In plaats van alleen de violist en de trompetter apart te beoordelen, kijkt de dirigent naar hoe de muziek van de violist de trompetter beïnvloedt.

In AI-taal betekent dit dat RegMean++ rekening houdt met de afhankelijkheden tussen de lagen. Hij kijkt niet alleen naar een specifieke laag in het brein, maar hij kijkt ook naar hoe de informatie die uit de vorige laag komt, de volgende laag beïnvloedt. Hierdoor blijft de 'logica' en de 'stroom' van het denken behouden.

Waarom is dit een doorbraak? (De resultaten)

De onderzoekers hebben dit getest op zowel plaatjes herkennen (zoals auto's of bloemen) als op taal begrijpen (zoals ChatGPT-achtige modellen). De resultaten waren indrukwekkend:

Beter in alles: De nieuwe methode is consequent slimmer dan de oude. Hij begrijpt taken beter, zelfs als de vragen een beetje anders zijn dan hij gewend is (dit noemen ze Out-of-Domain vaardigheid).
Niet snel vergeten: Als je steeds nieuwe taken toevoegt aan de AI (bijvoorbeeld: eerst leren rekenen, dan leren schrijven, dan leren programmeren), dan blijft de AI met RegMean++ veel beter weten wat hij in de eerste stap heeft geleerd. Hij heeft minder last van 'vergeten'.
Robuust: Zelfs als de input een beetje 'ruis' bevat (zoals een wazige foto), blijft de AI stabiel en betrouwbaar.

Samenvattend in één zin:

Waar de oude methode probeerde een superheld te bouwen door losse onderdelen te middelen, bouwt RegMean++ een superheld door te zorgen dat alle onderdelen perfect op elkaar zijn afgestemd, zodat de kennis vloeiend door het hele systeem stroomt.

Technische Samenvatting: RegMean++

1. Het Probleem: De beperking van onafhankelijke laag-merging

In het huidige tijdperk van machine learning is het efficiënt combineren van verschillende gespecialiseerde modellen (candidate models) tot één krachtig model (merged model) essentieel. Dit proces, model merging, probeert de kennis van meerdere modellen te verenigen zonder de rekenkracht van volledige multi-task training te gebruiken.

De bestaande methode RegMean (Regression Mean) formuleert model merging als een lineair regressieprobleem. Het zoekt naar gewichten voor lineaire lagen die de voorspellingen van het samengevoegde model zo dicht mogelijk bij die van de individuele kandidaten brengen. De fundamentele tekortkoming van RegMean is echter dat het elke lineaire laag onafhankelijk van elkaar behandelt. Hierdoor wordt er geen rekening gehouden met de manier waarop informatie en kenmerken (features) door de diepere lagen van een neuraal netwerk propageren. Dit gebrek aan aandacht voor de interactie tussen lagen (cross-layer dependencies) beperkt de generalisatiekracht en de effectiviteit van het uiteindelijke model.

2. Methodologie: RegMean++

De auteurs introduceren RegMean++, een verbeterde variant die expliciet rekening houdt met zowel intra-layer (binnen een laag) als cross-layer (tussen lagen) afhankelijkheden.

Het kernconcept: In plaats van de input-kenmerken ( $X_i^{(l)}$ ) voor een laag $l$ te berekenen op basis van de kenmerken van de individuele kandidaatmodellen, berekent RegMean++ deze kenmerken op basis van de output van de voorafgaande samengevoegde laag ( $f_{M}^{(l-1)}$ ).
Wiskundige aanpak: RegMean++ behoudt de gesloten vorm (closed-form solution) van de regressie, maar de statistieken (de inner-product matrices) worden verrijkt met de representaties die voortkomen uit het evoluerende samengevoegde model. Dit zorgt ervoor dat de gewichten van de huidige laag worden geoptimaliseerd voor de specifieke informatie-stroom die door de reeds samengevoegde lagen is gegenereerd.
Algoritme: Het proces verloopt sequentieel per laag: voor elke laag worden de kenmerken gegenereerd door een forward pass door de reeds samengevoegde lagen, waarna de optimale gewichten voor de lineaire componenten (zoals MLP-projecties en attention heads) via regressie worden berekend.

3. Belangrijkste Bijdragen

Nieuwe Framework: De introductie van RegMean++, een methode die zowel werkt voor computer vision (ViT) als voor taalmodellen (Llama, Gemma).
Inzicht in Laag-hiërarchie: Het onderzoek toont aan dat het mergen van de midden- en diepe lagen cruciaal is voor de prestaties, terwijl de vroege lagen minder bijdragen aan de effectiviteit van het samengevoegde model. Daarnaast blijken MLP-modules effectiever voor merging dan attention heads.
Verbeterde Generalisatie: RegMean++ biedt een superieure balans tussen in-domain (ID) prestaties en out-of-domain (OOD) generalisatie vergeleken met de originele RegMean.

4. Resultaten

De experimenten op diverse datasets (vision en taal) laten de volgende resultaten zien:

Superieure Prestaties: RegMean++ verslaat RegMean consistent over alle taken. In vision-taken (ViT-B/32) zorgt het voor een gemiddelde verbetering van 2,0%.
Robuustheid: Het model vertoont een hogere robuustheid tegen distributieverschuivingen (zoals ruis, compressie en bewegingsonscherpte) en behoudt betere prestaties bij sequential merging (het stapsgewijs toevoegen van nieuwe taken), waarbij het minder last heeft van "catastrofaal vergeten".
Concurrentie met State-of-the-Art: RegMean++ presteert competitief met geavanceerde methoden zoals DOGE AM en TIES-Merging, maar doet dit zonder de noodzaak van test-time adaptatie of complexe optimalisatieprocessen.

5. Betekenis en Impact

RegMean++ is een significante stap voorwaarts in de efficiëntie van model-architecturen. Het bewijst dat het begrijpen van de informatie-architectuur (hoe lagen samenwerken) belangrijker is dan het simpelweg optimaliseren van individuele parameters.

Hoewel RegMean++ een iets hogere computationele kost heeft (ongeveer 2x de tijd van RegMean vanwege de extra forward passes door het samengevoegde model), blijft het vele malen sneller en geheugenefficiënter dan volledige hertraining of complexe optimalisatiemethoden. Dit maakt het een zeer praktische oplossing voor het schalen van multi-task modellen in de praktijk.