DC-Merge: Improving Model Merging with Directional Consistency

Il paper introduce DC-Merge, un metodo innovativo per la fusione di modelli che migliora il mantenimento delle conoscenze multi-task bilanciando la distribuzione energetica dei vettori e allineando le loro geometrie direzionali in un sottospazio ortogonale condiviso, ottenendo così prestazioni all'avanguardia in ambiti visivi e vision-language.

L'essenziale

Il Problema: La "Zuppa" di Modelli che si Confonde

Immagina di avere diversi chef esperti (i modelli di intelligenza artificiale).

• Lo Chef A è un maestro nel cucinare pasta.
• Lo Chef B è un genio nel preparare sushi.
• Lo Chef C è il re delle torte.

Ogni chef ha il suo "quaderno di ricette" (il modello) perfetto per il suo compito. L'obiettivo della ricerca è creare un Super-Chef unico che sappia fare tutto: pasta, sushi e torte, senza dimenticare nessuna delle sue abilità.

Il problema è che quando provi a mescolare i quaderni di ricette di questi chef (una tecnica chiamata Model Merging), spesso succede il disastro: il Super-Chef finisce per fare una pasta che sa di pesce, o una torta che è troppo salata. Le conoscenze si "scontrano" e il risultato è scadente.

La Scoperta: Non è la "Quantità", è la "Direzione"

Gli autori del paper hanno scoperto che il segreto per unire questi chef non è guardare quanto sono forti le loro ricette (l'energia), ma in che direzione puntano.

Immagina che ogni ricetta sia una freccia che indica una direzione specifica nello spazio delle conoscenze.

• Se la freccia della pasta punta verso "Nord", e quella del sushi verso "Nord-Est", mescolarle direttamente potrebbe farle puntare verso "Nord-Ovest" (un errore!).
• Il problema principale è che alcune frecce sono enormi (molto forti, come la ricetta principale della pasta) e altre sono piccole e deboli (dettagli sottili ma importanti, come il tipo di sale usato). Quando mescoli tutto, le frecce enormi schiacciano quelle piccole, e il Super-Chef dimentica i dettagli delicati.

La Soluzione: DC-Merge (Il "Direttore d'Orchestra")

Il metodo proposto, chiamato DC-Merge, agisce come un direttore d'orchestra molto attento che fa due cose magiche prima di unire gli strumenti:

1. L'Equilibratore di Volume (Energy Smoothing)

Prima di unire le ricette, il direttore ascolta ogni chef. Nota che lo Chef A urla fortissimo sulla ricetta principale della pasta, ma sussurra i dettagli importanti.

• Cosa fa DC-Merge: Abbassa il volume delle ricette "urlate" e alza quello delle ricette "sussurrate".
• L'analogia: È come se prendessi un equalizzatore audio e rendessi tutte le note della canzone della pasta ugualmente forti. In questo modo, nessun dettaglio importante viene soffocato quando si mescola tutto. Ora ogni chef contribuisce in modo equilibrato.

2. La Stanza degli Specilli (Cover Space Merging)

Ora che le ricette sono bilanciate, il direttore deve unirle. Ma c'è un problema: lo Chef A scrive le sue ricette su un foglio di carta, lo Chef B su una lavagna e lo Chef C su un tablet. Non puoi semplicemente incollarli insieme, perché le coordinate non corrispondono.

• Cosa fa DC-Merge: Costruisce una stanza comune (uno spazio ortogonale condiviso). Immagina che questa stanza abbia assi X, Y e Z perfettamente allineati per tutti.
• L'azione: Trasferisce tutte le ricette (ora bilanciate) in questa stanza comune. Qui, le frecce della pasta, del sushi e delle torte vengono allineate perfettamente. Non si scontrano più perché sono tutte disegnate sullo stesso sistema di coordinate.
• Il risultato: Quando le unisce, le frecce mantengono la loro direzione originale. La pasta rimane pasta, il sushi rimane sushi, ma ora sono tutti nella stessa "mente".

Perché funziona meglio?

Il paper introduce un nuovo modo di misurare il successo, chiamato DirSim (Similarità Direzionale).

• I metodi vecchi guardavano solo se le ricette erano simili in quantità (Cosine Similarity).
• DC-Merge guarda se le ricette puntano nella stessa direzione.

L'esperimento: Hanno provato a mescolare modelli su molti compiti diversi (riconoscere auto, fiori, numeri, ecc.).

• Metodo vecchio: Il Super-Chef faceva confusione.
• DC-Merge: Il Super-Chef era perfetto. Sapeva fare tutto, mantenendo alta la qualità di ogni singola abilità.

In Sintesi

DC-Merge è come un processo di fusione intelligente che:

1. Non lascia che le idee forti soffocano quelle deboli (bilanciando l'energia).
2. Assicura che tutti parlino la stessa lingua (proiettando tutto in uno spazio comune).

Il risultato è un modello unico che non è solo una media confusa, ma un vero esperto che ha conservato la "bussola" (la direzione) di ogni compito che ha imparato. È come se invece di mescolare i colori per ottenere un marrone grigiastro, avessi imparato a mescolare le luci per mantenere ogni colore vivido e distinto.

Sommario tecnico

1. Il Problema

Il Model Merging (fusione di modelli) mira a integrare più modelli adattati a compiti specifici in un unico modello unificato che preservi le capacità di ciascun compito senza necessità di riaddestramento. Tuttavia, le approcci esistenti soffrono spesso di un degrado delle prestazioni dopo la fusione, specialmente quando i compiti provengono da domini eterogenei.

Gli autori identificano due problemi fondamentali che compromettono la conservazione della conoscenza durante la fusione:

1. Distribuzione sbilanciata dell'energia: Nei vettori di compito (la differenza tra il modello fine-tuned e quello pre-addestrato), l'energia è distribuita in modo disomogeneo tra i valori singolari. Una piccola frazione di valori singolari domina l'energia totale, portando il modello a sovrastimare le direzioni ad alta energia e a trascurare componenti semanticamente importanti ma più deboli durante la fusione.
2. Inconsistenza geometrica direzionale: I vettori di compiti diversi risiedono in sottospazi a basso rango eterogenei con orientamenti non allineati. La fusione diretta nello spazio dei parametri originali distorce la geometria direzionale sottostante, causando interferenze tra i compiti.

La domanda centrale è: quale proprietà deve essere preservata per mantenere le capacità dei singoli compiti? La risposta proposta è la coerenza direzionale (directional consistency) tra il vettore di compito fuso e i vettori di compito originali.

2. Metodologia: DC-Merge

Per addressing queste sfide, gli autori propongono DC-Merge, un metodo che enfatizza la coerenza direzionale attraverso due moduli complementari:

A. Misura di Coerenza: DirSim

Prima di definire il metodo, gli autori introducono DirSim (Directional Similarity). A differenza della similarità del coseno, che è dominata dalle componenti ad alta energia, DirSim misura la coerenza della geometria direzionale tra due vettori di compito ignorando la distribuzione dell'energia.

• Scoperta chiave: Esiste una forte correlazione positiva tra DirSim e le prestazioni post-fusione. Mantenere le direzioni dei componenti di conoscenza è più critico che mantenere la distribuzione esatta dell'energia.

B. Il Processo DC-Merge

L'algoritmo procede in tre fasi principali:

1. Energy Smoothing (Smussamento dell'Energia):

   • Per ogni vettore di compito, viene eseguita una decomposizione SVD (Singular Value Decomposition).
   • I valori singolari originali, che seguono una distribuzione a "coda lunga", vengono sostituiti con una versione "smussata" (es. media dei valori singolari o distribuzione lineare).
   • Questo riequilibra la distribuzione dell'energia tra i componenti di conoscenza, impedendo che le direzioni deboli ma semanticamente ricche vengano ignorate.

2. Cover Space Merging (Fusione nello Spazio di Copertura):

   • Invece di fondere i vettori nello spazio dei parametri originale (dove le basi sono disallineate), tutti i vettori di compito smussati vengono proiettati in uno spazio ortogonale condiviso (cover space).
   • Questo spazio è definito da una coppia di basi ortonormali condivise $(\tilde{U}, \tilde{V})$ ottenute tramite whitening (sbiancamento) delle basi concatenate dei singoli compiti.
   • La proiezione garantisce che tutti i vettori siano espressi sotto la stessa base di copertura, minimizzando l'errore di ricostruzione e allineando le geometrie direzionali.

3. Aggregazione e Ricostruzione:

   • All'interno dello spazio condiviso, i vettori proiettati vengono aggregati utilizzando metodi esistenti (come Task Arithmetic o TIES-Merging).
   • Il vettore risultante viene quindi proiettato nuovamente nello spazio dei parametri originale.
   • Viene applicata una maschera strutturale (block-diagonal) per sopprimere gli elementi fuori diagonale, eliminando le interferenze direzionali tra compiti e preservando la struttura dei sottospazi.

3. Contributi Chiave

• Identificazione della Coerenza Direzionale: Gli autori sono i primi a correlare le prestazioni del model merging con la conservazione della coerenza direzionale tra il vettore fuso e i vettori originali, indipendentemente dalla distribuzione dell'energia.
• Nuova Metrica (DirSim): Introduzione di DirSim, una metrica che isola la coerenza direzionale dagli effetti della distribuzione dell'energia, dimostrando una forte correlazione con le prestazioni del modello fuso.
• Algoritmo DC-Merge: Proposta di un metodo che combina lo smussamento dell'energia e la fusione in uno spazio di copertura condiviso per massimizzare la compatibilità multi-task.
• Prestazioni SOTA: Dimostrazione empirica che DC-Merge supera lo stato dell'arte (SOTA) in entrambi gli scenari di Full Fine-Tuning (FFT) e LoRA (Low-Rank Adaptation).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di visione artificiale e modelli visione-linguaggio (VLM):

• Task di Visione (FFT e LoRA):

  • DC-Merge ha ottenuto le migliori prestazioni su benchmark a 8, 14, 20 compiti (FFT) e 8, 12, 16 compiti (LoRA) utilizzando encoder CLIP (ViT-B-32, ViT-B-16, ViT-L-14).
  • I guadagni di prestazioni sono diventati più significativi all'aumentare del numero di compiti, dimostrando robustezza alla scalabilità.
  • In setting LoRA, DC-Merge ha superato metodi SOTA come TSV-M, Iso-CTS e WUDI-Merging.

• Task Visione-Linguaggio (VLM):

  • Su MM-MergeBench (utilizzando LLaVA-v1.5-7B), DC-Merge ha superato metodi come Task Arithmetic, TIES-Merging e RobustMerge sia su compiti visti (seen) che non visti (unseen), dimostrando che il metodo scala bene anche su modelli multimodali di grandi dimensioni.

• Analisi di Ablazione:

  • Lo studio ha confermato che sia lo Energy Smoothing che il Cover Space Merging sono componenti essenziali e complementari.
  • L'uso della maschera strutturale ha portato a miglioramenti significativi, specialmente nel setting FFT, prevenendo l'incoerenza direzionale tra compiti.

5. Significato e Impatto

Questo lavoro offre una comprensione teorica più profonda del perché il model merging fallisce o riesce. Spostando il focus dalla semplice riduzione dei conflitti di segno o dall'allineamento dei gradienti alla preservazione della geometria direzionale dei componenti di conoscenza, DC-Merge offre un approccio più robusto.

La capacità di mantenere alte prestazioni sia in setting LoRA (efficiente) che FFT (completo) rende DC-Merge una soluzione pratica per la creazione di modelli multi-task scalabili senza la necessità di costosi riaddestramenti. Inoltre, la metodologia proposta potrebbe ispirare futuri lavori sulla fusione di modelli in altri domini dove la struttura geometrica dei vettori di aggiornamento è critica.