Riepilogo Tecnico: Fusione di Modelli Bayesiana (BMM)

Definizione del Problema

La fusione di modelli mira a combinare più modelli esperti specifici per task in un'unica architettura senza riaddestramento congiunto o accesso ai dati di addestramento originali. Questo paradigma affronta il sovraccarico di archiviazione e distribuzione derivante dal mantenimento di esperti separati e i costi proibitivi dell'apprendimento multi-task in presenza di silos di dati o vincoli di privacy.

I metodi di fusione esistenti presentano due limitazioni principali:

1. Sottoutilizzo dell'Induzione Induttiva: La maggior parte dei metodi stima i pesi fusi da zero, non riuscendo a sfruttare la preziosa conoscenza a priori incorporata in forti modelli "ancora" (ad esempio, soluzioni di fusione esistenti come Task Arithmetic o TSV).
2. Mancanza di Ottimizzazione Globale: I metodi avanzati operano spesso modulo per modulo in isolamento o si affidano a iperparametri condivisi tra moduli di rete eterogenei, mancando di una strategia per coordinare globalmente le forze di regolarizzazione al fine di massimizzare le prestazioni end-to-end.

Inoltre, molti metodi richiedono dati di calibrazione ausiliari (assistiti dai dati), che spesso non sono disponibili a causa di vincoli di privacy o di archiviazione, mentre i metodi privi di dati spesso mancano di fondamenti teorici per approssimare efficacemente le statistiche di attivazione.

Metodologia

Il documento introduce la Fusione di Modelli Bayesiana (BMM), un framework di ottimizzazione bi-livello plug-and-play.

1. Regressione Bayesiana Basata su Attivazioni (Ciclo Interno)

La BMM formula la fusione modulo per modulo come un problema di regressione lineare bayesiana.

• Induzione del Prior: Invece di stimare i pesi da zero, la BMM utilizza un forte modello ancora (ad esempio, TA, TIES, TSV) per definire un prior. Il vettore del task fuso $U$ è regolarizzato da un vettore del task ancora $U^{(0)}$ tramite un prior gaussiano indipendente elemento per elemento.
• Verosimiglianza: Nel setting assistito dai dati, la verosimiglianza è derivata dalle statistiche empiriche di attivazione ($X$) e dagli output residui ($Y$) raccolti da un piccolo set di calibrazione.
• Soluzione in Forma Chiusa: La stima del Massimo a Posteriori (MAP) del vettore del task fuso è derivata analiticamente:
  $$U_{MAP} = (YX^\top + \lambda U^{(0)})(XX^\top + \lambda I)^{-1}$$
  dove $\lambda$ è un peso di regolarizzazione che bilancia l'adattamento empirico e il prior ancora. Questo fornisce una soluzione in forma chiusa efficiente per la fusione modulo per modulo.

2. Ottimizzazione Bayesiana per il Coordinamento Globale (Ciclo Esterno)

Per affrontare l'eterogeneità dei moduli di rete, la BMM non utilizza un singolo iperparametro condiviso. Invece, impiega l'Ottimizzazione Bayesiana (BO) per cercare globalmente le forze di regolarizzazione specifiche per modulo ($\lambda$).

• Obiettivo: Il ciclo esterno massimizza l'evidenza predittiva (approssimata dalle prestazioni sul set di validazione) sugli iperparametri $\lambda$.
• Efficienza: Un modello surrogato di Processo Gaussiano (GP) guida la ricerca, bilanciando esplorazione e sfruttamento. Per gestire la complessità computazionale in modelli di grandi dimensioni (ad esempio, ViT-L/14), gli autori propongono una strategia di vincolo parametrico blocco per blocco, raggruppando i moduli per funzione (ad esempio, attention-in, MLP-out) per ridurre la dimensionalità dello spazio di ricerca.

3. Variante Senza Dati tramite Allineamento Teorico

Per abilitare la fusione senza dati di calibrazione ausiliari, gli autori derivano una variante senza dati basata su un allineamento teorico tra statistiche di attivazione e vettori di task.

• Teorema 1: Sotto ipotesi lievi riguardanti la fase terminale del fine-tuning (collasso neurale e geometria della rappresentazione), la matrice di Gram delle attivazioni di input ($E[xx^\top]$) è positivamente correlata con la matrice di Gram dei vettori di task ($U^\top U$).
• Approssimazione: Questo allineamento permette di sostituire le statistiche empiriche di attivazione con un surrogato derivato esclusivamente dai pesi degli esperti: $XX^\top \approx c \sum (U^{(t)})^\top U^{(t)}$.
• Risultato: Questo produce una stima MAP senza dati che mantiene la soluzione in forma chiusa, non richiedendo dati di calibrazione, ma solo i vettori di task degli esperti e dell'ancora.

Contributi Chiave

1. Framework di Ottimizzazione Bi-Livello: La BMM combina un stimatore MAP in ciclo interno in forma chiusa (sfruttando i priori ancora) con un'ottimizzazione bayesiana in ciclo esterno per il coordinamento globale degli iperparametri.
2. Derivazione Teorica Senza Dati: Il documento stabilisce un legame teorico tra statistiche di attivazione e vettori di task (Teorema 1), abilitando una variante senza dati della fusione bayesiana che preserva la soluzione in forma chiusa.
3. Flessibilità Plug-and-Play: Il framework è modulare, permettendo a qualsiasi soluzione di fusione esistente di fungere da prior ancora, e supporta sia setting assistiti dai dati che privi di dati.

Risultati Sperimentali

Gli autori hanno valutato la BMM su benchmark di visione (ViT-B/32, ViT-L/14) e linguaggio (Llama-3.2-3B, Llama-3.1-8B) attraverso scenari di fusione di 8, 14 e 20 task.

• Miglioramenti delle Prestazioni: La BMM ha costantemente superato tutte le linee di base con ancoraggio plug-and-play (TA, TIES, RegMean, TSV, WUDI-Merging, ISO-CTS) sia in setting assistiti dai dati che privi di dati.
  • Sul benchmark ViT-L/14 a 8 task, un singolo modello fuso con BMM ha raggiunto una precisione del 95,1% (assistito dai dati) e del 95,0% (senza dati), corrispondendo strettamente alla prestazione media degli otto esperti specifici per task individuali (95,8%).
  • I miglioramenti relativi rispetto ad ancoraggi più deboli (ad esempio, TA, TIES) hanno raggiunto fino al 27%.
• Scalabilità: La BMM ha mantenuto la sua efficacia all'aumentare del numero di task fusi (fino a 20 task), alleviando con successo l'interferenza tra task.
• Efficienza: Nonostante la ricerca BO, la BMM è rimasta competitiva dal punto di vista computazionale. Ad esempio, su ViT-B/32, la BMM con sole 20 prove BO ha superato le linee di base che richiedevano ricerche a griglia esaustive (225 configurazioni) riducendo significativamente il tempo reale.
• Studi di Ablazione:
  • Coordinamento Globale: Sostituire la BO con $\lambda$ condiviso o ricerca casuale ha portato a prestazioni inferiori, confermando la necessità di un'ottimizzazione globale specifica per modulo.
  • Validità Senza Dati: La variante senza dati ha performato in modo comparabile alla variante assistita dai dati, validando l'allineamento teorico tra statistiche di attivazione e vettori di task.
  • Calibrazione dell'Incertezza: Una variante basata su campionamento della BMM (utilizzando il posterior gaussiano completo) ha dimostrato un errore di calibrazione atteso (ECE) migliorato rispetto alla stima puntuale, senza sacrificare l'accuratezza.

Significato e Affermazioni

Il documento afferma che la BMM fornisce un percorso pratico e scalabile verso la fusione di modelli quando i dati di calibrazione ausiliari sono limitati o non disponibili. Combinando priori ancora informativi con un coordinamento globale degli iperparametri, la BMM colma il divario tra le prestazioni degli esperti specifici per task individuali e i modelli multi-task unificati.

Gli autori sottolineano che il loro approccio non richiede riaddestramento congiunto o accesso ai dati di addestramento originali, rendendolo adatto a ambienti con silos di dati o vincoli di privacy. La derivazione della variante senza dati è evidenziata come un contributo teorico chiave, dimostrando che la struttura geometrica dei vettori di task può sostituire efficacemente le statistiche empiriche di attivazione. I risultati suggeriscono che sfruttare le soluzioni di fusione esistenti come priori, piuttosto che trattare la fusione come una combinazione zero-shot, è un fattore critico per raggiungere prestazioni all'avanguardia.