🤖 machine learning

Multi-Objective Bayesian Optimization for Model Merging

Dit artikel introduceert MOBO-Merge, een framework dat multi-objective Bayesiaanse optimalisatie gebruikt om efficiënt merge-parameters te selecteren voor het combineren van meerdere modellen in de gewichtsruimte, waarbij een superieure prestatie ten opzichte van random search wordt aangetoond over diverse merge-operators en modelconfiguraties.

Oorspronkelijke auteurs: Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die jarenlang twee verschillende recepten heeft geperfectioneerd: de ene is de beste chocoladetaart ter wereld, en de andere is de meest hartige, complexe lasagne. Je hebt een magische keuken waar je niet zomaar de ingrediënten in een kom kunt mengen en hopen op het beste; in plaats daarvan moet je de volledige afgewerkte taarten en lasagnes laag voor laag mengen om een nieuw gerecht te creëren. Dit is de wereld van AI-model merging. In deze hoek van de informatica nemen onderzoekers twee of meer AI-modellen die al getraind zijn voor specifieke taken — zoals één die goed is in het oplossen van wiskundeproblemen en een ander die uitblinkt in het schrijven van code — en proberen ze deze te combineren tot één enkel, superintelligent model zonder ze vanaf nul opnieuw te hoeven trainen.

Het lastige deel is uitzoeken hoe je ze mengt. Als je ze 50-50 mengt, krijg je misschien een middelmatige cake-lasagne die van geen van beide goed smaakt. Als je ze 90-10 mengt, verlies je misschien de smaak van de lasagne volledig. Dit wordt het merge parameter-probleem genoemd. Meestal is het vinden van de perfecte mix als het zoeken naar een speld in een hooiberg door willekeurig handjes hooi te pakken. Het is duur, tijdrovend en vaak frustrerend omdat je het "recept" (de wiskunde achter de AI) niet kunt zien om je te leiden. Dit paper vraagt een eenvoudige maar krachtige vraag: Kunnen we een slimme, gokgestuurde strategie gebruiken om veel sneller de beste mixes te vinden dan door simpelweg willekeurig te gokken?

De Gids van de Slimme Chef voor het Mengen van AI-modellen

Maak kennis met MOBO-Merge, de nieuwe "slimme chef" die in dit paper wordt geïntroduceerd. De auteurs, een team van de Mohamed bin Zayed University of Artificial Intelligence, realiseerden zich dat het mengen van AI-modellen een beetje lijkt op het zoeken naar de perfecte balans tussen twee concurrerende smaken. Je wilt dat je nieuwe AI goed is in beide: instructie-opvolging (naar je luisteren) en wiskundig redeneren (problemen oplossen), maar meestal zorgt het beter maken van de één ervoor dat de ander iets minder wordt.

In plaats van te zoeken naar één enkele "perfecte" mix, besloten de auteurs te zoeken naar de Pareto front. Denk hierbij aan een kaart van alle "best mogelijke compromissen". Op deze kaart vertegenwoordigt elk punt een mix waarbij je niet meer wiskundige vaardigheid kunt krijgen zonder wat instructievaardigheid te verliezen, en vice versa. Het doel is niet om slechts één winnaar te kiezen, maar om het hele landschap van geweldige opties te ontdekken, zodat je degene kunt kiezen die het beste bij jouw behoeften past.

Het Probleem: De "Black Box" Keuken

De uitdaging is dat het testen van een nieuwe mix ongelooflijk duur is. Om te zien of een mix werkt, moet je het nieuwe AI-model bouwen en het door honderden testvragen halen. Het is alsof je een hele nieuwe cake bakt om vervolgens slechts een lepeltje te proeven. Je kunt niet proeven terwijl het bakt (geen "gradiënten" om je te leiden), en je hebt een beperkt aantal ingrediënten (een beperkt budget voor tests).

Als je gewoon willekeurige mixes probeert (zoals pijltjes gooien op een bord), heb je misschien geluk, maar verspil je veel tijd en ingrediënten. Als het mengrecept eenvoudig is (zoals het mengen van twee modellen met één knop), is willekeurig gokken niet zo erg. Maar als het recept complex is — zoals het hebben van verschillende knoppen voor verschillende lagen van de cake — dan is willekeurig gokken een ramp.

De Oplossing: De "Slimme Gok"-machine

De auteurs creëerden MOBO-Merge, een framework dat gebruikmaakt van Multi-Objective Bayesian Optimization. In gewone mensentaal is dit een "slimme gok"-machine.

Zo werkt het:

Het Surrogaatmodel: In plaats van elke keer een cake te bakken, bouwt de machine een "voorspellingskaart" op basis van de weinige mixes die het al heeft getest. Het leert: "Oh, wanneer we 30% van Model A en 70% van Model B mengen, gaat de wiskundescore omhoog, maar de instructiescore daalt."
De Acquisition Function: Dit is de intuïtie van de machine. Het kijkt naar de kaart en vraagt: "Waar moet ik nu testen om het meeste te leren?" Het zoekt niet alleen naar de hoogste score; het zoelt naar de plekken die het helpen om de beste "compromis-kaart" (de Pareto front) te tekenen.
De Loop: Het kiest een nieuwe mix, test deze, werkt de kaart bij en herhaalt het proces.

De auteurs testten dit op twee beroemde AI-families: Qwen3-4B en Llama-3.1-8B. Ze probeerden ze op verschillende manieren te mengen:

Lineair: Een eenvoudige blend (één knop).
TIES: Een complexere methode die probeert "botsende" instructies tussen modellen op te lossen (vier knoppen).
Block-Linear: Een methode die verschillende lagen van de AI behandelt als aparte blokken, waardoor zeer fijnmazig mengen mogelijk is (vier of acht knoppen).

Wat Ze Vonden

De resultaten waren als een schattenjacht met een zeer slimme kaart.

Eenvoudige Mixes: Wanneer het mengen eenvoudig was (slechts één knop), was het "slimme gokken" (MOBO-Merge) slechts een klein beetje beter dan willekeurig gokken. Sterker nog, voor één specifieke test met het Qwen-model deed willekeurig gokken zelfs een klein beetje beter. Dit suggereert dat voor eenvoudige recepten je geen supercomputer nodig hebt om de mix te vinden.
Complexe Mixes: Maar wanneer het mengen ingewikkelder werd (met TIES of Block-Linear met meerdere knoppen), blonk MOBO-Merge uit. Het vond veel betere mixes dan willekeurig zoeken. Bijvoorbeeld, met het Llama-model en de TIES-methode vond MOBO-Merge een mix die aanzienlijk beter was dan wat een willekeurige zoektocht kon vinden.
De "Drie-Modellen"-Uitdaging: De auteurs probeerden ook drie modellen tegelijk te mengen (Instructie + Wiskunde + Code). Hier was het voordeel van het slimme gokken enorm. In één geval met het Llama-model vond MOBO-Merge een mix die meer dan dubbel zo goed was als de beste willekeurige mix.

Een van de meest interessante ontdekkingen was dat er niet één enkele "beste" mengmethode is. Soms werkt de eenvoudige Lineaire methode het best; andere keren winnen de complexere TIES of Block-Linear methoden. Het hangt er volledig van af welke AI-modellen je mengt en wat je wilt bereiken.

Waarom Dit Belangrijk Is

Het paper suggereert dat MOBO-Merge een krachtig hulpmiddel is voor iedereen die AI-modellen wil combineren. Het vindt niet een nieuwe manier om de modellen te mengen; in plaats daarvan biedt het een slimmere manier om naar de juiste mix te zoeken.

Door deze methode te gebruiken, kunnen onderzoekers hoogwaardige combinaties van AI-capaciteiten vinden zonder duizenden dure tests te hoeven uitvoeren. Het verandert een proces dat vroeger een spel van geluk was in een systematische verkenning. De auteurs ontdekten dat MOBO-Merge in 11 van de 12 verschillende testscenario's betere "compromis-kaarten" vond dan willekeurig zoeken.

De auteurs merken echter voorzichtig op dat dit geen toverstaf is die alles oplost. De methode vereist nog steeds het uitvoeren van tests, wat geld en tijd kost. Het werkt het best wanneer het mengrecept complex is, en het garandeert niet dat de mix perfect zal werken op elke enkele taak. Maar voor degenen die op zoek zijn naar flexibele, veelzijdige AI-systemen zonder ze vanaf nul opnieuw te hoeven trainen, biedt deze "slimme gok"-benadering een veel efficiënter pad vooruit.

Uiteindelijk laat het paper zien dat, hoewel we de perfecte formule voor een super-AI niet altijd kunnen voorspellen, we zeker kunnen stoppen met blind gokken en kunnen beginnen met het verkennen van de mogelijkheden met een beetje wiskundige intuïtie.

Technische Samenvatting: Multi-Objective Bayesian Optimization voor Model Merging

Probleemformulering

Model merging biedt een rekenefficiënt alternatief voor aanvullende fine-tuning door getrainde modellen direct in de gewichtsruimte te combineren. Het selecteren van optimale merge-parameters is echter uitdagend omdat downstream-evaluaties kostbaar zijn, gradiënten met betrekking tot merge-parameters niet beschikbaar zijn en bronmodellen vaak conflicterende capaciteiten bezitten (bijv. instructie-opvolging versus wiskundig redeneren).

De auteurs formuleren de selectie van merge-parameters als een kostbaar black-box multi-objective optimalisatieprobleem. In deze setting:

Input: Een laag-dimensionale merge-parameterruimte $X$ (bijv. globale gewichten, blok-gewijze coëfficiënten) en een set bronmodellen $\theta_1, \dots, \theta_K$ .
Proces: Een merge-operator $M$ combineert bronmodellen tot een samengevoegd model $\theta(x) = M(\theta_1, \dots, \theta_K; x)$ .
Doelstelling: Maximaliseer een vector van prestatie-metrieken $f(x) = (f_1(\theta(x)), \dots, f_M(\theta(x)))$ , waarbij elke $f_i$ overeenkomt met een afzonderlijke capaciteit (bijv. instructie, wiskunde, code).
Restrictie: Evaluaties zijn kostbaar en ruisgevoelig, wat het totale aantal testbare configuraties beperkt.
Doel: In plaats van het vinden van één enkele optimale oplossing, is het doel om efficiënt de Pareto-front te benaderen—de set van niet-gedomineerde oplossingen die de optimale trade-offs tussen concurrerende capaciteiten blootleggen.

Methodologie: MOBO-Merge

Het artikel introduceert MOBO-Merge, een framework dat multi-objective Bayesian Optimization (MOBO) toepast op de taak van model merging. Het framework is merge-operator-agnostisch, wat betekent dat het kan worden toegepast op diverse merging-strategieën (Linear, SLERP, TIES, block-wise) zonder aanpassing van de optimalisatiekern.

Het algoritme werkt als volgt:

Probabilistische Surrogaatmodellering: MOBO-Merge houdt een probabilistisch model van de doelstellingen bij op basis van eerder geëvalueerde merge-parameters. In de experimenten wordt dit geïmplementeerd met behulp van onafhankelijke Gaussian Process (GP) surrogaten voor elk doel.
Acquisitiefunctie: Om de volgende merge-configuratie te selecteren, gebruikt het framework een Noisy Expected Hypervolume Improvement (NEHVI) acquisitiefunctie. Deze functie scoort kandidaat-parameters op basis van hun verwachte bijdrage aan de kwaliteit van de huidige Pareto-front benadering, specifiek gericht op de expansie van het gedomineerde hypervolume.
Sequentiële Optimalisatie: Het proces iterereert:
- Fit het surrogaatmodel op de huidige dataset.
- Optimaliseer de acquisitiefunctie om de volgende merge-parameter $x_{t+1}$ te selecteren.
- Instancieer het samengevoegde model, evalueer het op downstream benchmarks, en update de dataset.
Output: Het algoritme retourneert de set van niet-gedomineerde oplossingen die tijdens de zoektocht zijn gevonden, waarmee de Pareto-front wordt benaderd.

Experimentele Opzet

De auteurs hebben MOBO-Merge geëvalueerd op twee modelfamilies: Qwen3-4B en Llama-3.1-8B.

Instellingen:
- Twee-model (AB): Het mergen van een instruction-following checkpoint en een mathematical-reasoning checkpoint.
- Drie-model (ABC): Het toevoegen van een code-generatie checkpoint aan de mix.
Merge Operators:
- Linear: Globale gewogen gemiddelde.
- SLERP: Spherical linear interpolation (beperkt tot twee-model settings in de hoofdvergelijking).
- TIES: Interference-aware merging die interferentie wegknipt en tekenconflicten oplost.
- Block-Linear 4x: Een block-wise lineaire interpolatie waarbij lagen worden verdeeld in vier disjuncte blokken, elk met een eigen mengcoëfficiënt.
Baselines: MOBO-Merge (gebruikmakend van NEHVI) werd vergeleken met uniform random search over dezelfde parameterruimte en evaluatiebudget (100 sequentiële stappen).
Metrieken: Prestaties werden gemeten op held-out partities van IFEval (instructie), GSM8K (wiskunde) en HumanEval (code). De primaire metriek voor het vergelijken van zoekstrategieën was het hypervolume van de herstelde Pareto-front.

Belangrijkste Resultaten

De experimenten tonen aan dat geleide multi-objective zoektochten aanzienlijk beter presteren dan random search, met name in hogere-dimensionale parameterruimtes:

Superioriteit ten opzichte van Random Search: Over 12 verschillende experimentele configuraties (combinaties van modelfamilie, doelset en merge-operator) behaalde MOBO-Merge in 11 van de 12 gevallen een hoger gemiddeld held-out hypervolume dan random search.
Afhankelijkheid van Dimensionaliteit:
- Eén-dimensionaal (Linear): De winst was marginaal. Voor Qwen AB presteerde random search iets beter dan MOBO-Merge; voor Llama AB was de winst klein. Dit suggereert dat voor eenvoudige globale interpolatie, random search al competitief is.
- Hogere dimensies (TIES, Block-Linear): De winsten waren substantieel. Bijvoorbeeld, in de Llama ABC setting bereikte MOBO-Merge met Block-Linear 4x een hypervolume van 0.0634 vergeleken met 0.0289 voor random search. Vergelijkbaar met Llama AB met TIES, bereikte MOBO-Merge 0.1145 versus 0.0764 voor random search.
Variabiliteit van de Operator: Geen enkele merge-operator was uniform het beste.
- TIES presteerde het best in drie van de vier familie-setting combinaties.
- Block-Linear 4x was de sterkste performer voor de Llama drie-model (ABC) merge.
Kwaliteit van de Pareto-front: Visualisaties van de Pareto-fronts lieten zien dat MOBO-Merge consistent configuraties ontdekte die betere trade-offs boden dan die gevonden door random search. In sommige gevallen (bijv. Qwen) vond de methode merges die beide bronmodellen simultaan overtroffen op hun respectievelijke primaire taken.

Betekenis en Claims

Het artikel claimt dat MOBO-Merge een geprincieerd, algemeen en sample-efficiënt framework biedt voor model compositie. De primaire bijdragen en betekenis zijn:

Reframing van Merging als Optimalisatie: Het vestigt model merging niet als een vaste procedure, maar als een black-box multi-objective optimalisatieprobleem, wat de systematische ontdekking van capaciteit-trade-offs mogelijk maakt.
Efficiëntie in Expressieve Ruimtes: Het framework is bijzonder waardevol voor "expressieve" merge-parameterisaties (zoals TIES en block-wise mixing) waar de zoekruimte te groot is voor exhaustieve of random search om effectief te zijn. Het stelt gebruikers in staat om hoogwaardige trade-offs te vinden met aanzienlijk minder evaluaties.
Operator-Agnosticisme: Door de zoekstrategie te ontkoppelen van de merge-operator, maakt MOBO-Merge een eerlijke vergelijking van verschillende merging-strategieën mogelijk en faciliteert het de ontdekking van welke operator het beste werkt voor specifieke modelfamilies en doelsets.
Praktisch Nut: De methode vervangt ad-hoc tuning van merge-gewichten door een geautomatiseerd proces dat controleerbare trade-offs blootlegt, waardoor gebruikers modellen kunnen selecteren die het beste aansluiten bij hun specifieke behoeften onder een vastgesteld rekenbudget.

De auteurs concluderen dat hoewel eenvoudige lineaire interpolatie wellicht geen complexe optimalisatie vereist, de toenemende complexiteit van moderne merging-strategieën (block-wise, interference-aware) multi-objective Bayesian optimization tot een noodzakelijk instrument maakt om sterke prestatie-trade-offs te ontsluiten.