Surrogate Benchmarks for Model Merging Optimization

Technische Samenvatting: Surrogate Benchmarks voor Model Merging Optimalisatie

Probleemstelling
Technieken voor model merging integreren meerdere modellen tot één enkel model, wat vaak de capaciteiten verbetert zonder dat daar grote datasets of dure berekeningen voor nodig zijn. De meeste merging-technieken vertrouwen echter op hyperparameters die een significante impact hebben op de uiteindelijke prestaties van het model. Hoewel recente werken, zoals Akiba et al. (2025), hebben aangetoond dat het optimaliseren van deze hyperparameters (bijvoorbeeld met behulp van evolutionaire algoritmen zoals CMA-ES) superieure resultaten oplevert, is dit proces computationeel onhaalbaar. Het evalueren van een enkele merging-configuratie kan enkele minuten duren op high-end GPU's; consequent gezien vereist het draaien van optimalisatie-algoritmen die duizenden evaluaties nodig hebben (bijvoorbeeld 1.000 evaluaties die meer dan 58 uur in beslag nemen) een aanzienlijke barrière voor het ontwikkelen van nieuwe optimalisatie-algoritmen of het uitvoeren van eerlijke, reproduceerbare vergelijkingen. Bestaande benchmarks voor model merging evalueren de uiteindelijke prestaties, maar verminderen niet de computationele kosten van het optimalisatieproces zelf.

Methodologie: SMM-Bench
De auteurs stellen SMM-Bench voor, de eerste surrogate benchmark die specifiek is ontworpen voor model merging optimalisatie. De kernaanpak bestaat uit het verzamelen van data over merging-hyperparameters en de bijbehorende evaluatiescores om surrogate-modellen te trainen die prestaties voorspellen zonder de daadwerkelijke merging- en inferentiestappen uit te voeren.

De benchmark is gedefinieerd over twee verschillende zoekruimtes, die eerdere optimalisatie-instellingen weerspiegelen:

1. SMM-Bench-PS (Parameter Space): Richt zich op layer-wise merging met behulp van task arithmetic met twee bron-LLM's (Shisa-gamma-7b-v12 en WizardMath-7B-V1.1). De zoekruimte bestaat uit 64 continue designvariabelen (gewichten voor elke laag van de twee modellen), beperkt tot het bereik $[0, 1]$.
2. SMM-Bench-DFS (Data Flow Space): Richt zich op layer stacking en input scaling. Het maakt gebruik van twee bronmodellen (EvoLLM-JP-v1-7B en Shisa-gamma-7b-v1) en definieert een gemengde zoekruimte bestaande uit 32 categorische variabelen (het selecteren van lagen uit Model A, Model B, of geen insertie) en 63 continue variabelen (input scaling factoren voor lagen).

Dataverzameling en Modelconstructie:

• Data Generatie: De auteurs verzamelden meer dan 133.000 datapunten voor PS en meer dan 40.000 voor DFS. Data werd verzameld met behulp van random sampling, CMA-ES en Tree-structured Parzen Estimator (TPE) strategieën om een diverse dekking van de zoekruimte te garanderen.
• Surrogate Modellen: De verzamelde data werd 9:1 gesplitst voor training en test. LightGBM-modellen werden getraind om evaluatiescores (nauwkeurigheid op Japanse wiskundige datasets: gsm8k-ja en MGSM) te voorspellen op basis van input-hyperparameters. De modellen werden geoptimaliseerd met Optuna met vijf-voudige cross-validatie.

Belangrijkste Resultaten

• Voorspellende Nauwkeurigheid: De surrogate-modellen vertoonden een hoge voorspellende prestatie. Voor SMM-Bench-PS behaalden de modellen $R^2$-scores van 0,950 (gsm8k-ja) en 0,921 (MGSM). Voor SMM-Bench-DFS waren de scores respectievelijk 0,962 en 0,957. Kendall's Tau-coëfficiënten wezen eveneens op een sterke rangcorrelatie.
• Optimalisatie Simulatie: De auteurs simuleerden optimalisatietrajecten met Random Search, CMA-ES en TPE op de surrogate benchmarks. De resultaten toonden aan dat de surrogate benchmarks het gedrag van deze algoritmen succesvol vastlegden vergeleken met "ware" benchmarks (daadwerkelijke LLM merging-evaluaties). Hoewel de DFS-surrogate de prestaties licht neigde te overschatten, simuleerde het nog steeds effectief de optimalisatietrends.
• Algoritme Vergelijking: De auteurs demonstreerden het nut van de benchmark door Separable CMA-ES (Sep-CMA) en Differential Evolution (DE) te vergelijken op SMM-Bench-PS. Sep-CMA presteerde beter dan DE op beide datasets. Cruciaal is dat deze vergelijking in minuten werd uitgevoerd op een laptop, terwijl het uitvoeren van dezelfde evaluatie met daadwerkelijke LLM merging vele GPU-dagen zou vereisen.

Betekenis en Claims
Het artikel claimt dat SMM-Bench een laag-kosten mechanisme biedt voor de ontwikkeling en evaluatie van model merging optimalisatie-algoritmen. Door dure daadwerkelijke evaluaties te vervangen door snelle surrogate-voorspellingen, maakt de benchmark het volgende mogelijk:

1. Snelle Algoritmeontwikkeling: Onderzoekers kunnen itereren op nieuwe optimalisatiestrategieën zonder de enorme computationele kosten te dragen die gepaard gaan met LLM merging.
2. Reproduceerbare Vergelijkingen: Het faciliteert eerlijke en reproduceerbare vergelijkingen tussen verschillende optimalisatiemethoden (bijv. evolutionaire strategieën, Bayesian optimalisatie) onder gestandaardiseerde condities.
3. Toegankelijkheid: De benchmark verlaagt de drempel voor AutoML-onderzoek in het domein van model merging, waardoor experimenten mogelijk worden die anders onhaalbaar zouden zijn vanwege beperkte middelen.

De auteurs positioneren dit werk als een fundamentele stap naar geavanceerde model merging optimalisatie, analoog aan de rol die surrogate benchmarks spelen in Neural Architecture Search (NAS) en algemene hyperparameter optimalisatie.