Unlocking the Potential of Continual Model Merging: An ODE Perspective

Formulazione del Problema

Il paper affronta il Continual Model Merging (CMM), un contesto in cui modelli adattati al compito arrivano in sequenza e un singolo modello distribuito deve essere aggiornato iterativamente per incorporare nuove capacità senza accesso ai dati di addestramento originali. Mentre il merging standard di modelli combina più modelli simultaneamente, il CMM affronta la sfida dell'oblio catastrofico e dell'allocazione incoerente delle prestazioni.

I metodi CMM esistenti trattano tipicamente ogni fusione come un'operazione algebrica fissa (ad esempio, media dei pesi o aritmetica dei vettori di compito) che mappa direttamente un modello corrente $\Psi_k$ e un modello in arrivo $\psi_{k+1}$ a un nuovo punto finale $\Psi_{k+1}$. Gli autori sostengono che questa visione "solo punto finale" soffre di due carenze critiche:

1. Mancanza di Controllo del Percorso: Ignora la traiettoria percorsa nello spazio dei parametri. Se l'aggiornamento attraversa regioni ad alta perdita (barriere di perdita), il modello risultante può subire un degrado funzionale o interferenze con i comportamenti appresi in precedenza.
2. Trade-off Stabilità-Plasticità Inflessibile: Fornisce un controllo limitato su quanto sapere storico viene preservato rispetto a quanto nuova competenza sul compito viene adottata. Questo è particolarmente problematico negli scenari di utilità eterogenea, dove i compiti hanno frequenze o pesi di importanza diversi; regole fisse spesso falliscono nell'allocare la capacità in modo appropriato, portando a prestazioni di sistema subottimali.

Metodologia: Merging Guidato da ODE (ODE-M)

Motivati dalla connessione dei modi—l'osservazione che modelli addestrati indipendentemente possono spesso essere collegati da percorsi a bassa perdita—gli autori propongono di vedere il merging continuo non come un salto discreto, ma come una transizione continua controllata nello spazio dei parametri. Introducono ODE-M, un framework che genera un percorso di connessione tramite un campo di velocità dipendente dal tempo.

1. Prospettiva della Traiettoria e Barriere di Perdita

Invece dell'interpolazione lineare, ODE-M costruisce un percorso continuo $\theta(t)$ dal modello corrente $\theta_0$ al modello in arrivo $\theta_1$. L'obiettivo è minimizzare la barriera di perdita lungo questo percorso, definita come il massimo eccesso di perdita incontrato rispetto all'interpolazione lineare delle perdite degli estremi.

2. Campo di Velocità Rettificato

Il meccanismo centrale è la costruzione di un campo di velocità consapevole delle barriere.

• Campo Base: Viene definito un campo vettoriale di base $u_t(\theta) = \alpha(t)(\theta_1 - \theta)$ per guidare il modello verso l'obiettivo.
• Decomposizione del Gradiente: Ad ogni passo, la velocità viene decomposta in una componente allineata con il gradiente della perdita ($u_\parallel$) e una componente ortogonale ad essa ($u_\perp$).
• Rettificazione Adattiva: Un fattore adattivo $\gamma(\theta, t) \in [0, 1]$ modula la componente allineata al gradiente:
  • Se il movimento verso l'obiettivo riduce o mantiene la perdita ($\langle g_t, u_t \rangle \le 0$), viene applicata la velocità completa ($\gamma=1$).
  • Se il movimento aumenta la perdita ($\langle g_t, u_t \rangle > 0$), la componente viene attenuata per garantire che l'aumento di perdita rimanga entro un budget prescritto ($\Delta L = L(\theta_1) - L(\theta_0)$). Nello specifico, $\gamma = \text{clip}(\frac{\Delta L}{\langle g_t, u_t \rangle}, 0, 1)$.
• Integrazione: La traiettoria viene generata integrando il campo di velocità rettificato $v_t(\theta) = u_\perp + \gamma u_\parallel$ utilizzando l'integrazione di Eulero su un piccolo set di calibrazione.

3. Programmazione Temporale Consapevole dell'Utilità

Per controllare il trade-off stabilità-plasticità, il metodo seleziona un tempo operativo $t_k$ lungo la traiettoria invece di integrare fino al punto finale completo ($t=1$). Il tempo $t_k$ è determinato dall'utilità relativa del compito in arrivo:
$$t_k = \frac{w_k}{\sum_{i=1}^k w_i}$$
dove $w_k$ è il peso di utilità del $k$-esimo compito. In un contesto uniforme, ciò si riduce a $t_k = 1/k$, diminuendo naturalmente il contributo dei nuovi compiti man mano che il flusso cresce, preservando così più sapere storico.

Contributi Chiave

1. Formulazione della Traiettoria: Il paper ripropone il CMM come un problema di ricerca di percorsi, estendendo il concetto di barriere di perdita dall'interpolazione lineare a percorsi di connessione generali.
2. Dinamiche Consapevoli delle Barriere: Propone una nuova strategia di merging guidata da ODE che utilizza un campo di velocità rettificato che regola il movimento ad aumento di perdita tramite feedback di primo ordine leggero, evitando regioni ad alta perdita senza richiedere un riaddestramento completo.
3. Controllo Esplicito: Selezionando punti operativi lungo la traiettoria basati sui pesi di utilità, il metodo fornisce un meccanismo esplicito per bilanciare la conoscenza storica trattenuta e la competenza sul compito in arrivo.

Risultati Sperimentali

Gli autori hanno valutato ODE-M su backbone CLIP ViT (ViT-B/32, ViT-B/16, ViT-L/14) attraverso flussi di compiti di lunghezza 8, 14 e 20, utilizzando dataset dalla suite FusionBench.

• Prestazioni: ODE-M ha raggiunto prestazioni state-of-the-art rispetto a baseline solide (inclusi Continual Task Arithmetic, Continual Ties-Merging e OPCM) in termini di accuratezza media (ACC) e trasferimento all'indietro (BWT). Ad esempio, su ViT-B/32 con 8 compiti, ODE-M ha migliorato l'ACC da 75.5 (OPCM) a 79.6.
• Utilità Eterogenea: Sotto importanza non uniforme dei compiti, ODE-M ha costantemente raggiunto la massima accuratezza pesata per utilità ($ACC_w$), dimostrando la sua capacità di ottimizzare per priorità di compiti specifiche meglio dei metodi ottimizzati per medie macro uniformi.
• Robustezza: Gli studi di ablazione hanno mostrato che il metodo è robusto alla dimensione del set di calibrazione (performando bene con soli 512 campioni) e alla dimensione del passo di integrazione numerica.
• Efficienza: Il sovraccarico computazionale per fusione è pratico (ad esempio, ~124s per ViT-B/32), dominato dall'integrazione numerica e dai calcoli del gradiente sul set di calibrazione, che è trascurabile rispetto al riaddestramento completo.

Significato e Affermazioni

Il paper afferma che ODE-M sblocca il potenziale del merging continuo di modelli spostando il paradigma dagli aggiornamenti algebrici fissi alle transizioni continue controllate. Costruendo esplicitamente percorsi che rispettano il paesaggio della perdita e regolando la velocità di integrazione in base all'utilità del compito, ODE-M mitiga efficacemente l'oblio e gestisce l'importanza eterogenea dei compiti.

Gli autori posizionano questo lavoro come un passo verso una personalizzazione dei modelli più scalabile e controllabile, riducendo il sovraccarico ingegneristico e computazionale del mantenimento di sistemi multi-compito. Riconoscono le limitazioni, come la necessità di un set di calibrazione per calcolare i gradienti e il focus attuale sui compiti di classificazione visiva, notando che il lavoro futuro esplorerà modelli linguistici più grandi e strategie di integrazione più efficienti.