How does the optimizer implicitly bias the model merging loss landscape?

1. Il Problema

Il Model Merging (fusione di modelli) è una tecnica che combina soluzioni indipendenti addestrate su compiti diversi o con capacità diverse in un unico modello, mantenendo invariato il costo computazionale durante l'inferenza. I metodi popolari includono l'interpolazione lineare (media dei pesi) e l'aritmetica dei task (combinazione di "task vectors").
Nonostante il successo pratico, la teoria sottostante è scarsamente compresa. Esiste un problema fondamentale: perché alcuni modelli addestrati indipendentemente sono compatibili per la fusione mentre altri falliscono, anche se raggiungono prestazioni individuali simili? La ricerca attuale si concentra sulla "connessione dei modi" (mode connectivity), ma non chiarisce come le dinamiche di ottimizzazione (iperparametri come learning rate, batch size, ecc.) modellino il paesaggio di perdita globale e influenzino la possibilità di fusione.

2. Metodologia

Gli autori analizzano come le dinamiche di ottimizzazione influenzino la geometria del paesaggio di perdita tra soluzioni indipendenti. Il cuore della metodologia è l'introduzione e la validazione di una singola quantità unificante: la Scala del Rumore Effettivo ($\tilde{S}$).

• Definizione della Scala del Rumore Effettivo:
  $$\tilde{S} \propto \frac{\eta}{B(1 - \mu)}$$
  Dove $\eta$ è il learning rate, $B$ è la dimensione del batch e $\mu$ è il momento. Questo termine, combinato con la covarianza del rumore del gradiente (influenzata dall'aumento dei dati), cattura l'entità delle fluttuazioni stocastiche durante il percorso di ottimizzazione.

• Esperimenti:
  Gli autori hanno condotto esperimenti su diverse architetture (MLP, ResNet18, DenseNet121, Transformer) e dataset (SVHN, CIFAR-10/100, TinyImageNet, TinyStories per il linguaggio).
  Hanno variato sistematicamente i componenti dell'ottimizzatore (learning rate, weight decay, batch size, momento, aumento dei dati) e misurato il guadagno di accuratezza (o riduzione della perdita) ottenuto fondendo due modelli addestrati con gli stessi iperparametri.
  Hanno anche esplorato scenari di Transfer Learning (da CLIP a nuovi task) e l'uso di metodi di fusione avanzati come Task Arithmetic e TIES-Merging.

3. Contributi Chiave

1. Unificazione dei Fattori di Ottimizzazione: Il paper dimostra che componenti apparentemente distinti dell'ottimizzatore (learning rate, weight decay, batch size, aumento dei dati) controllano tutti la stessa variabile latente: la scala del rumore effettivo.
2. Relazione Non Monotona: La capacità di fusione non è una funzione monotona del rumore. Esiste un "punto critico" ottimale:
   • Rumore troppo basso: Le soluzioni convergono in minimi acuti e stretti, rendendo difficile la fusione.
   • Rumore troppo alto: L'addestramento diventa instabile e le prestazioni crollano.
   • Rumore moderato (ottimale): Massimizza la compatibilità di fusione, creando un paesaggio di perdita più piatto e connesso.
3. Bias Implicito dell'Ottimizzatore: Si scopre che un learning rate più alto (entro limiti di stabilità) e un weight decay più forte identificano soluzioni che sono intrinsecamente più compatibili per la fusione, anche se le prestazioni sul singolo task sono simili a quelle ottenute con parametri più piccoli.
4. Estensione all'Aritmetica dei Task: L'analisi si estende oltre l'interpolazione lineare, mostrando che la geometria del paesaggio di perdita nell'aritmetica dei task dipende fortemente dall'inizializzazione e dal livello di rumore, con un comportamento diverso nei contesti di transfer learning rispetto all'addestramento da zero.

4. Risultati Principali

• Learning Rate (LR): Modelli addestrati con un LR più elevato (ma stabile) mostrano guadagni di accuratezza superiori dopo la fusione rispetto a quelli con LR bassi. Ad esempio, su CIFAR-100, un LR di $2e^{-1}$ ha prodotto un guadagno mediano del +1.2% rispetto al +0.2% di un LR di $1e^{-2}$, pur avendo prestazioni singole simili.
• Weight Decay (WD): Per le reti scalari-invarianti (con normalizzazione), un weight decay più alto aumenta il "learning rate effettivo", migliorando la fusibilità. Questo conferma che il WD agisce prevenendo il decadimento del rumore stocastico a zero.
• Batch Size e Momentum: Batch size più piccoli (più rumore) e momenti più alti (che smorzano le oscillazioni ma mantengono una dinamica specifica) migliorano la fusione.
• Aumento dei Dati (Data Augmentation): Introduce rumore aggiuntivo che, combinato con il rumore del batch, modella il paesaggio di perdita globale, migliorando sia l'accuratezza singola che la fusione.
• Simmetria di Permutazione: Un rumore più elevato semplifica il processo di "re-basing" (allineamento dei pesi tramite permutazione), rendendo i minimi più ampi e facili da allineare.
• Allineamento delle Feature: Contrariamente all'intuizione, un rumore moderato riduce l'allineamento delle feature tra i rami (diversità), il che sembra essere cruciale per ottenere guadagni significativi dalla fusione. Rumore troppo basso produce rappresentazioni troppo allineate con poco beneficio di fusione.

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sulla fusione dei modelli:

• Dalla Geometria Locale a quella Globale: Mentre studi precedenti collegavano il rumore dell'ottimizzatore alla "piattezza" di un singolo minimo (generalizzazione), questo paper dimostra che il rumore modella la geometria globale tra minimi indipendenti, determinando se possono essere collegati.
• Guida Pratica per l'Addestramento: Suggerisce che per massimizzare la fusibilità futura, gli iperparametri di addestramento dovrebbero essere scelti non solo per la performance singola, ma per posizionare il modello in una regione di rumore effettivo ottimale.
• Semplificazione della Ricerca: Poiché diversi iperparametri agiscono attraverso la stessa scala di rumore, la ricerca degli iperparametri per il model merging può essere semplificata concentrandosi sul controllo di questa singola dimensione latente.
• Limiti: Il lavoro non fornisce garanzie teoriche complete e si basa su esperimenti su scala ridotta a causa delle risorse computazionali, ma offre una base empirica solida per future ricerche teoriche.

In sintesi, il paper stabilisce che il rumore stocastico dell'ottimizzatore è il fattore determinante che decide se due modelli indipendenti possono essere fusi con successo, offrendo una nuova leva per progettare modelli più modulari e ricombinabili.