Sintesi Tecnica: Curvature-Guided Mixing per l'Adattamento di MLLM

Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) possiedono una vasta conoscenza generalista acquisita tramite il pre-addestramento su scala web. Tuttavia, l'adattamento di questi modelli a compiti specializzati a valle tramite il fine-tuning spesso provoca l'oblio catastrofico (catastrophic forgetting), in cui il modello perde le sue capacità generali fondamentali a favore di nuove competenze specifiche per il compito. Le soluzioni esistenti, come il merging euristico dei modelli (es. Spider) o il fine-tuning efficiente nei parametri, spesso non riescono a bilanciare efficacemente l'adattamento al compito con la ritenzione della conoscenza. Molte di esse si affidano a funzioni di punteggio costruite manualmente senza una solida base teorica o ottimizzano esclusivamente la performance sul compito specifico, trascurando la preservazione della conoscenza pre-addestrata.

Metodologia

Gli autori propongono il Curvature-Guided Mixing (CGM), un framework teoricamente fondato che fonde i modelli pre-addestrati ($w_{pt}$) e quelli sottoposti a fine-tuning ($w_{ft}$) analizzando la geometria dei rispettivi paesaggi di perdita (loss landscapes).

1. Approssimazione del Paesaggio di Perdita

Il metodo modella la geometria locale delle funzioni di perdita sia per i compiti di pre-addestramento ($\ell_{pt}$) che per quelli di fine-tuning ($\ell_{ft}$) utilizzando un'espansione di Taylor del secondo ordine attorno ai loro pesi ottimali.

• Assunzioni: I gradienti agli ottimi di convergenza sono nulli ($\nabla \ell = 0$), e la soluzione fusa risiede nella regione congiunta a bassa perdita, permettendo di trascurare i termini di ordine superiore.
• Approssimazione: La perdita è approssimata come una funzione quadratica che coinvolge la matrice Hessiana ($H$), che cattura la curvatura locale. Per garantire la trattabilità computazionale, il metodo utilizza le voci diagonali delle matrici Hessiane ($h_{pt}$ e $h_{ft}$), riducendo la complessità da $O(d^2)$ a $O(d)$.

2. CGM: Soft Mixing (Soluzione in Forma Chiusa)

Il framework formula un obiettivo di ottimizzazione congiunta per minimizzare la somma pesata delle perdite per entrambi i compiti. Parametrizzando i pesi fusi come un'interpolazione lineare ($w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$), gli autori derivano un rapporto di miscelazione ottimale in forma chiusa ($\lambda_i^*$) per ogni parametro:

$$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$$

Dove:

• $h_{pt,i}$ e $h_{ft,i}$ sono le voci diagonali della Hessiana (curvature) per i compiti di pre-addestramento e di fine-tuning, rispettivamente.
• $\alpha$ è un iperparametro che bilancia i due obiettivi.
• Interpretazione: I parametri con alta curvatura di pre-addestramento (paesaggio di perdita acuto per i compiti generali) sono mantenuti più vicini ai valori pre-addestrati, mentre quelli con alta curvatura di fine-tuning sono mantenuti più vicini ai valori di fine-tuning. Questo "soft mixing" è un aggiornamento denso che fonde tutti i parametri.

3. CGM†: Hard Mixing (Selezione Sparsa)

Riconoscendo che gli aggiornamenti densi possono essere dirompenti, gli autori introducono CGM†, una variante di "hard mixing" che inquadra il problema come un compito di selezione sparsa dei parametri.

• Meccanismo: Invece di fondere i pesi, il metodo prende una decisione binaria per ogni parametro: mantenere il peso di fine-tuning ($w_{ft}$) o tornare al peso pre-addestrato ($w_{pt}$).
• Scoring: Un punteggio consapevole della curvatura $c_i$ viene derivato per classificare i parametri:
  $$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$$
  dove $\Delta_i = w_{pt,i} - w_{ft,i}$.
• Selezione: Il metodo riporta il top $K\%$ dei parametri con i punteggi $c_i$ più bassi (indicando che sono critici per la conoscenza generale ma meno critici per il nuovo compito) ai loro valori pre-addestrati. Ciò impone un vincolo implicito $L_0$, garantendo una modifica minima e mirata.

Contributi Chiave

1. Framework Teoricamente Fondato: Il paper introduce CGM, che deriva una regola di miscelazione ottimale direttamente da un obiettivo di ottimizzazione congiunta utilizzando informazioni sulla curvatura del secondo ordine, andando oltre lo scoring euristico.
2. Hard Mixing Sparso (CGM†): Una variante robusta che tratta il merging come un problema di selezione sparsa, utilizzando un nuovo punteggio consapevole della curvatura per identificare e ripristinare solo i parametri più critici per la ritenzione della conoscenza generale.
3. Validazione Empirica: Esperimenti estesi su LLaVA-1.5-7B e Qwen-2.5VL-3B attraverso molteplici compiti downstream (OKVQA, Flickr30k, LaTeX-OCR) dimostrano che CGM e CGM† superano costantemente i baseline esistenti (Tailor, DARE, Grafting, Wanda) nel bilanciare la specializzazione del compito e la ritenzione della conoscenza generale.

Risultati Sperimentali

• Metriche di Performance: Gli autori valutano utilizzando Hscore (media armonica tra la performance del compito target e la media pre-addestrata) e Avg (media aritmetica).
• Risultati Principali:
  • Su LLaVA-1.5 sottoposto a fine-tuning su OKVQA, CGM† ha ottenuto l'Hscore più alto (62.8) e ha mantenuto un elevato Pre-Avg (65.7), superando significativamente il modello fine-tuned (Hscore 53.9) e altri baseline di merging.
  • Su Qwen-2.5VL, i metodi proposti hanno costantemente ottenuto trade-off superiori, recuperando spesso le prestazioni quasi originali del modello pre-addestrato su benchmark generali, pur mantenendo forti punteggi specifici per il compito.
  • Studi di Ablazione: Rimuovere la curvatura di fine-tuning o la curvatura di pre-addestramento dalla funzione di punteggio ha portato a risultati subottimali (sia overfitting che eccessivo oblio), confermando la necessità della formulazione congiunta della curvatura.
  • Sensibilità degli Iperparametri: Il rapporto di sparsità $K$ è risultato robusto; anche con solo il 10% dei parametri ripristinati, la conoscenza generale è stata ampiamente preservata. Il coefficiente di bilanciamento $\alpha$ ha influenzato principalmente la performance del compito target, con un equilibrio ottimale trovato a valori piccoli ($\approx 0.1$).
  • Struttura di Selezione: L'analisi visiva delle maschere di selezione ha rivelato che CGM† seleziona gruppi di parametri coerenti e strutturati (bande verticali nei layer di attenzione), mentre i baseline come Magnitude e Tailor producono rumore diffuso e non strutturato.

Significato e Rivendicazioni

Il paper sostiene che il Curvature-Guided Mixing fornisca una soluzione fondata al problema dell'oblio catastrofico negli MLLM sfruttando la geometria dei paesaggi di perdita. Derivando analiticamente i rapporti di miscelazione basati sulle curvature relative, il metodo evita le insidie degli approcci euristici. Gli autori affermano che il loro lavoro stabilisce un nuovo stato dell'arte nel model merging, dimostrando che le informazioni del secondo ordine possono essere utilizzate efficacemente per creare modelli che siano altamente specializzati per nuovi compiti e al contempo robusti nella loro inteligenza generale fondamentale. Il lavoro suggerisce che il "soft mixing" derivato dall'ottimizzazione congiunta e l' "hard mixing" della selezione sparsa siano strategie complementari per un efficace adattamento degli MLLM.