MERGETUNE: Continued Fine-Tuning of Vision-Language Models

Il paper introduce MERGETUNE, una strategia di continued fine-tuning basata sulla connettività modale lineare che, agendo a posteriori su modelli visione-linguaggio già adattati, ripristina le conoscenze pre-addestrate perse mitigando l'oblio catastrofico e migliorando le prestazioni di generalizzazione senza richiedere replay di dati o modifiche architetturali.

L'essenziale

Immagina di avere un genio della lampada (il modello di intelligenza artificiale chiamato CLIP) che è stato addestrato leggendo milioni di libri e guardando miliardi di foto su internet. Questo genio sa tutto: riconosce un gatto, un'auto, un fiore o un'emozione in un'immagine, anche senza aver mai visto quella specifica foto prima. È un vero esperto "zero-shot" (pronto all'uso).

Tuttavia, a volte hai bisogno che questo genio sia un super-specialista per un compito molto specifico, come riconoscere solo le razze di cani o solo i tipi di nuvole. Per farlo, gli dai un corso intensivo (il "fine-tuning").

Il Problema: La Sindrome dell'Oblio
C'è un grosso problema con questo corso intensivo: quando il genio impara a essere un super-specialista, dimentica quasi tutto il resto. È come se un medico che si specializza solo in cardiologia dimenticasse come curare un raffreddore o come riconoscere un osso rotto. Nel mondo dell'IA, questo si chiama "dimenticanza catastrofica". Il modello diventa bravo nel compito nuovo, ma perde la sua intelligenza generale.

Le vecchie soluzioni cercavano di evitare che il genio dimenticasse, ma spesso fallivano o rendevano il genio troppo rigido.

La Soluzione: MERGETUNE (Il Ricordo che Torna)
Gli autori di questo paper (Wang, Li, Zhu, Kittler) hanno pensato: "E se invece di cercare di non dimenticare, facessimo un secondo corso per riprendere ciò che è stato dimenticato?"

Hanno creato un metodo chiamato MERGETUNE. Ecco come funziona, usando un'analogia semplice:

L'Analogia del Viaggio in Auto

Immagina due punti sulla mappa:

1. Punto A (Il Genio Zero-Shot): La tua casa originale, dove hai tutto l'equipaggiamento per qualsiasi avventura (ma non sei un esperto di arrampicata).
2. Punto B (Il Modello Addestrato): Una capanna in montagna dove sei diventato un esperto di arrampicata, ma hai lasciato a casa il tuo kit di sopravvivenza generale.

Se provi a camminare dritto da A a B, potresti finire in un burrone (il modello perde le sue capacità). Se provi a mescolare le due posizioni a caso, potresti non arrivare da nessuna parte.

MERGETUNE fa questo:
Prende il modello addestrato (Punto B) e lo "riallena" un po' di più, ma non per imparare cose nuove. Lo allena per trovare una nuova posizione segreta (chiamiamola Punto C) che ha una proprietà magica:

• Da C, puoi tornare alla tua casa (Punto A) percorrendo una strada liscia e senza ostacoli (quindi non perdi le conoscenze generali).
• Da C, puoi anche tornare alla capanna di montagna (Punto B) percorrendo un'altra strada liscia (quindi mantieni l'abilità di arrampicata).

In pratica, MERGETUNE trova un punto di equilibrio geometrico nel "paesaggio" dell'intelligenza artificiale dove le due conoscenze si fondono perfettamente senza scontrarsi.

Come lo fa senza i vecchi dati?

Di solito, per fare questo, dovresti mostrare al modello tutte le foto originali che ha visto anni fa (milioni di immagini di internet). Ma quelle foto non esistono più o sono troppo pesanti da gestire.

Gli autori hanno inventato un trucco matematico (un "surrogato di secondo ordine"). È come se, invece di dover guardare tutte le foto originali, il modello usasse una mappa mentale approssimata per ricordare com'era la sua conoscenza originale. Questo permette di recuperare la memoria senza dover ricaricare l'intero internet.

I Risultati nella Vita Reale

Cosa succede quando provi MERGETUNE?

1. Recupero della Memoria: Il modello torna a essere bravo sia nel compito specifico (es. riconoscere cani) sia nel mondo generale (riconoscere qualsiasi cosa).
2. Migliore di tutti: Nei test su 11 diversi dataset (dai fiori agli aerei, dalle scene urbane alle texture), MERGETUNE ha battuto i metodi precedenti. Ad esempio, ha migliorato le prestazioni di un modello famoso (CoOp) del 5,6% senza aggiungere nessun parametro extra o complicare l'architettura.
3. Robustezza: Se mostri al modello una foto disegnata a mano, una foto sgranata o un'immagine artistica (cose che confondono i modelli normali), MERGETUNE rimane calmo e riconosce l'oggetto, proprio come il genio originale.

In Sintesi

MERGETUNE è come un tutor personale che prende un esperto che ha dimenticato le basi, lo fa sedere, e gli dice: "Non preoccuparti, non devi dimenticare come arrampicarti. Dobbiamo solo trovare un modo per ricordare anche come cucinare e come guidare, senza perdere la tua abilità di arrampicata".

Il risultato è un'intelligenza artificiale che è specialista e generalista allo stesso tempo, pronta per qualsiasi sfida, senza bisogno di ricostruire tutto da zero. È un modo elegante per dire che non serve scegliere tra essere bravi in una cosa o in tutte: con la geometria giusta, puoi essere bravo in tutto.

Sommario tecnico

1. Il Problema: Dimenticanza Catastrofica e Limiti delle Strategie Attuali

I modelli Vision-Language (VLM) fondazionali, come CLIP, eccellono nella generalizzazione zero-shot grazie al pre-addestramento su dataset web-scale. Tuttavia, l'adattamento a compiti specifici tramite fine-tuning spesso porta alla dimenticanza catastrofica delle conoscenze pre-addestrate, indebolendo la capacità di generalizzazione su nuovi domini o classi.

Le strategie attuali affrontano il problema in due modi principali, entrambi con limiti significativi:

• Fine-tuning Efficiente dei Parametri (PEFT): Metodi come CoOp o adapter aggiornano solo moduli leggeri. Sebbene riducano il costo computazionale, non preservano completamente le conoscenze pre-addestrate e spesso non superano le prestazioni zero-shot su tutti i dataset.
• Ensemble Robusti: Tecniche che combinano pesi o previsioni di modelli zero-shot e fine-tuned. Sebbene aiutino, spesso falliscono nel riconciliare pienamente le conoscenze e possono risultare instabili o costose in fase di inferenza.

Il problema centrale identificato dagli autori è che la dimenticanza è spesso inevitabile durante l'adattamento. Non esiste un metodo che recuperi efficacemente le conoscenze perse dopo che il modello è stato già adattato, senza richiedere cambiamenti architetturali o replay massivo dei dati originali.

2. Metodologia: MERGETUNE e Continued Fine-Tuning (CFT)

Gli autori introducono un nuovo paradigma chiamato Continued Fine-Tuning (CFT). L'obiettivo non è prevenire la dimenticanza durante l'adattamento, ma recuperare le conoscenze pre-addestrate dopo che il modello è stato già fine-tuned.

La strategia proposta, MERGETUNE, si basa su tre pilastri fondamentali:

A. Connessione Lineare di Modo (Linear Mode Connectivity - LMC)

Il metodo si ispira al concetto secondo cui diverse soluzioni ottimali nello spazio dei pesi possono essere collegate da percorsi a bassa perdita (low-loss paths). MERGETUNE cerca un modello "continuato" ($w$) che sia linearmente connesso sia al modello zero-shot originale ($\hat{w}_1$, es. CLIP) sia al modello fine-tuned ($\hat{w}_2$, es. CoOp) attraverso percorsi a bassa perdita.
L'obiettivo teorico è trovare $w$ tale che:
$$L_1(\hat{w}_1 + \alpha(w - \hat{w}_1)) \approx 0 \quad \text{e} \quad L_2(\hat{w}_2 + \alpha(w - \hat{w}_2)) \approx 0$$
dove $L_1$ è la perdita pre-addestramento e $L_2$ è la perdita del compito downstream.

B. Sfida del Replay dei Dati e Surrogato del Secondo Ordine

Un ostacolo principale per l'implementazione diretta dell'LMC è che la perdita $L_1$ richiederebbe il replay dei dati di pre-addestramento (es. il corpus web-scale di CLIP), che è inaccessibile o computazionalmente proibitivo.
Per risolvere ciò, gli autori propongono un surrogato del secondo ordine:

1. Si assume che il modello zero-shot $\hat{w}_1$ sia vicino a un ottimo locale ($\nabla L_1(\hat{w}_1) \approx 0$).
2. Si assume una curvatura isotropa dell'Hessiano ($H_1 \approx \mu I$).
3. Attraverso uno sviluppo di Taylor, il termine di perdita $L_1$ viene approssimato da una regolarizzazione basata sulla distanza euclidea:
   $$R_{Task1} = \lambda \|w - \hat{w}_1\|^2$$
   Questo elimina la necessità di accedere ai dati originali di pre-addestramento.

C. Funzione Obiettivo Finale

La funzione di perdita per il continued fine-tuning combina:

1. La perdita del compito downstream $L_2(w)$.
2. Il termine di regolarizzazione surrogato per mantenere la vicinanza al modello zero-shot ($\lambda \|w - \hat{w}_1\|^2$).
3. Un termine LMC esplicito che verifica la connettività a bassa perdita lungo il percorso verso il modello fine-tuned originale, calcolato campionando diversi valori di $\alpha$.

$$L(w) = L_2(w) + \lambda \|w - \hat{w}_1\|^2 + \beta \mathbb{E}_{\alpha} [L_2(\hat{w}_2 + \alpha(w - \hat{w}_2))]$$

Caratteristiche Chiave:

• Model-Agnostic: Può essere applicato post-hoc a qualsiasi modello VLM fine-tuned (prompt learning, adapter, linear heads) senza modifiche architetturali.
• Nessun Replay: Non richiede dati di pre-addestramento.
• Efficienza: Aggiunge un costo di inferenza nullo rispetto al modello fine-tuned singolo (a differenza degli ensemble che richiedono più inferenze).

3. Contributi Principali

1. Nuovo Paradigma (CFT): Sposta il focus dalla prevenzione della dimenticanza al suo recupero post-adattamento.
2. MERGETUNE: Un metodo di fusione basato sull'apprendimento guidato dall'LMC che integra conoscenze zero-shot e fine-tuned.
3. Approssimazione Senza Replay: Introduce un surrogato del secondo ordine per vincolare il modello verso la soluzione zero-shot senza dati originali.
4. Versatilità: Applicabile a diverse strategie di adattamento (PEFT e robust fine-tuning) e architetture di backbone.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 11 dataset di riconoscimento, valutando generalizzazione base-novel, cross-dataset, dominio e robustezza.

• Generalizzazione Base-Novel (Few-shot):

  • Su 11 dataset, MERGETUNE migliora la media armonica (HM) di CoOp del +5.6% senza aggiungere parametri.
  • I metodi di fusione training-free esistenti (TIES, DARE) spesso degradano le prestazioni quando applicati a checkpoint zero-shot e fine-tuned distanti nello spazio dei pesi. MERGETUNE supera costantemente questi baselines.
  • Il miglioramento è inversamente proporzionale alla qualità del baseline: i metodi che dimenticano di più (es. CoOp) beneficiano di più del recupero delle conoscenze.

• Generalizzazione Cross-Dataset e di Dominio:

  • MERGETUNE supera i baselines su dataset come FGVC Aircraft, DTD e EuroSAT.
  • In scenari di dominio shift (ImageNet-V2, Sketch, Adversarial, Renditions), il modello MERGETUNE mostra una maggiore robustezza rispetto ai metodi di ensemble tradizionali.

• Robust Fine-Tuning (Many-shot):

  • Nel setting di robust fine-tuning su ImageNet-1K, il modello fuso da MERGETUNE supera i baselines ensemble (come VRF) con un costo di inferenza inferiore (un solo modello invece di ensemble).
  • Quando combinato con un semplice ensemble di pesi con il modello zero-shot, raggiunge risultati State-of-the-Art, superando CLIP in tutti i casi valutati.

• Analisi di Sensibilità:

  • Il metodo è robusto rispetto all'iperparametro $\lambda$ (peso del surrogato) e $\beta$ (peso LMC).
  • L'inizializzazione bilanciata tra i pesi zero-shot e fine-tuned ($\tau \in [0.3, 0.6]$) offre le prestazioni ottimali.
  • Non si osserva "over-merging" (degrado delle prestazioni) anche con un numero elevato di epoche di training.

5. Significato e Impatto

MERGETUNE rappresenta un avanzamento significativo nell'adattamento dei VLM perché:

1. Riconcilia il Trade-off: Risolve il conflitto tra adattamento specifico al compito e mantenimento delle capacità generali zero-shot, un problema che i metodi PEFT e gli ensemble faticano a gestire simultaneamente.
2. Praticità: Essendo un metodo post-hoc e model-agnostic, può essere applicato a modelli già esistenti e distribuiti, migliorandone le prestazioni senza ri-addestramento da zero o accesso ai dati originali.
3. Efficienza: Offre guadagni di prestazioni superiori rispetto agli ensemble complessi, mantenendo un costo di inferenza pari a quello di un singolo modello.

In sintesi, MERGETUNE dimostra che è possibile "riparare" la dimenticanza catastrofica dopo il fatto, sfruttando la geometria dello spazio delle perdite per fondere intelligentemente le conoscenze pre-addestrate e quelle apprese, stabilendo un nuovo standard per l'adattamento dei modelli visione-linguaggio.