Surrogate Benchmarks for Model Merging Optimization

Sintesi Tecnica: Benchmark Surrogati per l'Ottimizzazione del Model Merging

Definizione del Problema
Le tecniche di model merging integrano più modelli in un unico modello, spesso potenziando le capacità senza richiedere dataset estesi o computazioni costose. Tuttavia, la maggior parte delle tecniche di merging si basa su iperparametri che influenzano significativamente le prestazioni del modello finale. Sebbene lavori recenti, come Akiba et al. (2025), abbiano dimostrato che l'ottimizzazione di questi iperparametri (ad esempio, utilizzando algoritmi evolutivi come CMA-ES) produce risultati superiori, il processo è computazionalmente proibitivo. Valutare una singola configurazione di merging può richiedere diversi minuti su GPU di fascia alta; di conseguenza, eseguire algoritmi di ottimizzazione che richiedono migliaia di valutazioni (ad esempio, 1.000 valutazioni che superano le 58 ore) crea una barriera sostanziale allo sviluppo di nuovi algoritmi di ottimizzazione o alla conduzione di confronti equi e riproducibili. I benchmark esistenti per il model merging valutano le prestazioni finali ma non riducono il costo computazionale del processo di ottimizzazione stesso.

Metodologia: SMM-Bench
Gli autori propongono SMM-Bench, il primo benchmark surrogato progettato specificamente per l'ottimizzazione del model merging. L'approccio principale consiste nel raccogliere dati sui iperparametri di merging e sui corrispondenti punteggi di valutazione per addestrare modelli surrogati in grado di predire le prestazioni senza eseguire i reali passaggi di merging e inferenza.

Il benchmark è definito attraverso due spazi di ricerca distinti, che rispecchiano le precedenti impostazioni di ottimizzazione:

1. SMM-Bench-PS (Spazio dei Parametri): Si concentra sul merging layer-wise tramite task arithmetic utilizzando due LLM sorgente (Shisa-gamma-7b-v12 e WizardMath-7B-V1.1). Lo spazio di ricerca consiste in 64 variabili di design continue (pesi per ogni layer dei due modelli), limitate nell'intervallo $[0, 1]$.
2. SMM-Bench-DFS (Spazio del Flusso di Dati): Si concentra sullo stacking dei layer e sulla scalatura dell'input. Utilizza due modelli sorgente (EvoLLM-JP-v1-7B e Shisa-gamma-7b-v1) e definisce uno spazio di ricerca misto composto da 32 variabili categoriche (selezione dei layer dal Modello A, dal Modello B o nessuna inserzione) e 63 variabili continue (fattori di scalatura dell'input per i layer).

Raccolta Dati e Costruzione del Modello:

• Generazione dei Dati: Gli autori hanno raccolto oltre 133.000 punti dati per PS e oltre 40.000 per DFS. I dati sono stati raccolti utilizzando strategie di campionamento casuale, CMA-ES e Tree-structured Parzen Estimator (TPE) per garantire una copertura diversificata dello spazio di ricerca.
• Modelli Surrogati: I dati raccolti sono stati suddivisi in un rapporto 9:1 per l'addestramento e il test. Sono stati addestrati modelli LightGBM per predire i punteggi di valutazione (accuratezza su dataset matematici giapponesi: gsm8k-ja e MGSM) basandosi sugli iperparametri di input. I modelli sono stati ottimizzati con Optuna utilizzando una cross-validazione a cinque pieghe (five-fold cross-validation).

Risultati Chiave

• Accuratezza Predittiva: I modelli surrogati hanno dimostrato un'elevata performance predittiva. Per SMM-Bench-PS, i modelli hanno ottenuto punteggi $R^2$ di 0,950 (gsm8k-ja) e 0,921 (MGSM). Per SMM-Bench-DFS, i punteggi sono stati rispettivamente 0,962 e 0,957. Anche i coefficienti di Kendall's Tau hanno indicato una forte correlazione di rango.
• Simulazione dell'Ottimizzazione: Gli autori hanno simulato le traiettorie di ottimizzazione utilizzando Random Search, CMA-ES e TPE sui benchmark surrogati. I risultati hanno mostrato che i benchmark surrogati hanno catturato con successo il comportamento di questi algoritmi rispetto ai benchmark "reali" (valutazioni effettive del merging dei modelli). Sebbene il surrogato DFS tenda a sovrastimare leggermente le prestazioni, esso riesce comunque a simulare efficacemente i trend di ottimizzazione.
• Confronto tra Algoritmi: Gli autori hanno dimostrato l'utilità del benchmark confrontando Separable CMA-ES (Sep-CMA) e Differential Evolution (DE) su SMM-Bench-PS. Sep-CMA ha superato DE su entrambi i dataset. Fondamentalmente, questo confronto è stato condotto in pochi minuti su un laptop, mentre eseguire la stessa valutazione con il merging effettivo di LLM richiederebbe molti giorni di GPU.

Significatività e Rivendicazioni
L'articolo sostiene che SMM-Bench fornisce un meccanismo a basso costo per lo sviluppo e la valutazione di algoritmi di ottimizzazione del model merging. Sostituendo le costose valutazioni reali con predizioni surrogate veloci, il benchmark consente:

1. Sviluppo Rapido di Algoritmi: I ricercatori possono iterare su nuove strategie di ottimizzazione senza incorrere nei massicci costi computazionali associati al merging di LLM.
2. Confronti Riproducibili: Facilita confronti equi e riproducibili tra diversi metodi di ottimizzazione (ad esempio, strategie evolutive, ottimizzazione bayesiana) in condizioni standardizzate.
3. Accessibilità: Il benchmark abbassa la barriera all'ingresso per la ricerca AutoML nel dominio del model merging, permettendo esperimenti che sarebbero altrimenti impossibili a causa dei vincoli di risorse.

Gli autori posizionano questo lavoro come un passo fondamentale verso un'ottimizzazione sofisticata del model merging, analogamente al ruolo che i benchmark surrogati giocano nella Neural Architecture Search (NAS) e nell'ottimizzazione generale degli iperparametri.