Riepilogo Tecnico: Fusione di Modelli tramite Proiezione nello Spazio di Output

Enunciato del Problema

La proliferazione di modelli linguistici e visivi adattati specificamente per compiti ha creato una domanda per la fusione di modelli—il processo di combinazione di più checkpoint adattati in un unico modello multi-compito senza riaddestramento. Sebbene gli approcci pratici esistenti, come Task Arithmetic, Model Soups, TIES e DARE, abbiano dimostrato successo empirico, essi si basano su scelte euristico-progettuali (ad esempio, pesi scalari fissi, mascheramento stocastico o potatura basata sul segno). Crucialmente, questi metodi mancano di una caratterizzazione matematica formale dei pesi di combinazione ottimali e non possiedono una funzione di perdita precisa per la quale siano provatamente ottimali.

Metodologia

Gli autori propongono un framework che formula la fusione di modelli come un programma quadratico convesso (QP) sugli aggiornamenti residui, fondato su una prospettiva di proiezione nello spazio di output.

1. Formulazione come QP Convesso

Il documento inizia osservando che la fusione tramite maschere diagonali sugli aggiornamenti residui adattati può essere ricondotta a un QP convesso.

• Configurazione: Dato un modello di base con pesi $\theta$ e $K$ modelli adattati con aggiornamenti residui $\{\delta^{(k)}_N\}$ a un livello specifico $N$, l'obiettivo è trovare un residuo fuso $\delta_{merge}$.
• Mascheramento Diagonale: Il metodo applica una maschera diagonale $D_k = \text{diag}(d^{(k)})$ a ciascun residuo prima della somma: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$.
• Obiettivo: Il metodo minimizza un obiettivo di calibrazione al quadrato dell'output $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ su un insieme di calibrazione $\mathcal{K}$. Qui, $b_j$ rappresenta l'errore del modello di base sull'input $x_j$, e $A_j$ codifica l'effetto linearizzato dei residui sull'output.
• Ottimalità: Risolvere questo QP produce pesi che minimizzano la perdita al quadrato dell'output. I metodi esistenti (Task Arithmetic, Model Soups, TIES, DARE) sono mostrati corrispondere a punti ammissibili specifici o casi speciali di questo QP (ad esempio, scalari fissi o maschere stocastiche specifiche), implicando che la soluzione QP è teoricamente superiore o uguale sotto lo stesso obiettivo.

2. Base Generale ed Errore Irriducibile

Gli autori estendono l'approccio a maschera diagonale a una formulazione di base generale per affrontare i limiti della fusione allineata agli assi (diagonale).

• Prospettiva di Proiezione: La fusione è vista come l'approssimazione degli errori residui di un modello di base utilizzando un sottospazio di correzioni candidate. La soluzione ottimale corrisponde alla proiezione dei residui del modello di base sul sottospazio generato dagli aggiornamenti candidati nello spazio di output.
• Errore Irriducibile: Il documento deriva una diagnosi in forma chiusa per l'errore irriducibile di qualsiasi base scelta. Questo errore è determinato dalla frazione di energia residua catturata dal sottospazio scelto.
• Base Ottimale: L'analisi mostra che la base ottimale per il problema di proiezione rilassato è data dai vettori propri principali della matrice di energia residua $S = \sum_{j} b_j b_j^\top$.
• Caratterizzazione del Trade-off: Il framework quantifica il compromesso tra l'efficienza computazionale del QP diagonale e i guadagni di prestazioni della base ottimale. Stabilisce che la fusione diagonale è ottimale quando gli aggiornamenti del modello si decompongono in modi indipendenti in una base condivisa; altrimenti, il "divario di subottimalità" è misurabile tramite la frazione di energia catturata.

3. Estensione Multi-Livello

Per la fusione multi-livello, gli autori propongono un algoritmo sequenziale livello per livello. Poiché l'ottimizzazione congiunta attraverso i livelli è non convessa a causa delle interazioni non lineari, il metodo applica il QP a singolo livello in sequenza. Ad ogni passo, il residuo viene aggiornato utilizzando il modello fuso corrente, e il QP viene risolto per il livello successivo, ricalcolando le necessarie Jacobiane.

Contributi Chiave

1. Framework Unificato: Il documento ingloba i metodi euristici di fusione esistenti (Task Arithmetic, Model Soups, TIES, DARE) come casi speciali di un QP a maschera diagonale, fornendo una prospettiva matematica unificata.
2. Formulazione Convessa: Stabilisce che la fusione di modelli può essere formulata come un programma quadratico convesso sugli aggiornamenti residui, garantendo un minimo globale per la base scelta.
3. Diagnostica in Forma Chiusa: Gli autori introducono una diagnostica calcolabile—la frazione di energia residua catturata da una base scelta—che predice la qualità della fusione a valle utilizzando solo l'insieme di calibrazione, senza richiedere una valutazione completa a valle.
4. Caratterizzazione della Base Ottimale: Il lavoro identifica le componenti principali pesate sull'output delle attivazioni residue come la base ottimale per minimizzare la perdita al quadrato dell'output, chiarificando quando la fusione diagonale è sufficiente e quando è necessaria una base più complessa.
5. Validazione Empirica: Il framework è validato su benchmark linguistici (LLaMA 3.1) e visivi (ViT-B/32, MNIST), dimostrando guadagni coerenti rispetto alle euristiche esistenti.

Risultati Sperimentali

• Prestazioni a Singolo Livello: Negli esperimenti di fusione a singolo livello su ViT-B/32 (adattato su CIFAR-10, STL-10, Imagenette, EuroSAT) e LLaMA 3.1, la soluzione QP raggiunge il minimo Errore Quadratico Medio (MSE) su tutti i dataset e la migliore accuratezza media rispetto a Task Arithmetic, Model Soups, TIES, DARE e fusione pesata con Fisher.
• Analisi della Base: Esperimenti su compiti di classificazione di cifre MNIST dimostrano che la base ottimale (i principali vettori propri della matrice residua) raggiunge costantemente il MSE più basso. La base diagonale standard, sebbene meno efficace della base ottimale, rimane competitiva e supera le euristiche di riferimento, validandone l'uso come proxy efficiente.
• Guadagni Multi-Livello: L'estensione multi-livello sequenziale su LLaMA 3.1 mostra miglioramenti coerenti sia nell'MSE che nell'accuratezza su compiti di codice, seguito di istruzioni e matematica rispetto ai metodi di base.
• Utilità Diagnostica: La metrica "energia catturata" predice con successo la classifica delle prestazioni di diverse scelte di base, confermando il legame teorico tra cattura dell'energia residua e perdita a valle.

Significato e Affermazioni

Il documento afferma di fornire un framework teorico unificante che spiega il successo delle euristiche esistenti e offre un metodo principiato per migliorarle.

• Rigor Teorico: A differenza dei metodi precedenti che si basano su regole ad hoc, questo approccio offre una nozione matematica precisa (minimizzazione della perdita al quadrato dell'output tramite proiezione) per la quale il metodo è ottimale.
• Utilità Pratica: Il framework fornisce una diagnostica calcolabile per determinare quando la base ottimale costosa è necessaria rispetto a quando il QP diagonale più economico è sufficiente.
• Modestia: Gli autori riconoscono i limiti, notando che il framework è derivato per un obiettivo al quadrato dell'output linearizzato. Affermano esplicitamente che estendere il framework a perdite non quadratiche (come la cross-entropia) e sviluppare approssimazioni scalabili per la base ottimale in contesti ad alta dimensionalità rimangono direzioni importanti per il lavoro futuro. Notano anche che un MSE inferiore non sempre si correla perfettamente con un'accuratezza del compito più elevata, un limite osservato nei loro esperimenti con LLM.

In sintesi, il documento riformula la fusione di modelli da una combinazione euristica di pesi a un problema di ottimizzazione convessa nello spazio di output, offrendo sia una giustificazione teorica per i metodi esistenti sia un percorso verso strategie di fusione più ottimali.