Bridging Domains through Subspace-Aware Model Merging

Il paper propone SCORE, un metodo di fusione di modelli che risolve i conflitti tra sottospazi causati da distribuzioni diverse proiettando le matrici dei task su una base ortogonale condivisa, migliorando così la generalizzazione di dominio rispetto alle tecniche esistenti.

L'essenziale

Immagina di avere diversi chef esperti.

• Uno è specializzato in cucina di montagna (ottimo con patate e formaggi).
• Uno è un maestro della cucina di mare (perfetto con pesce e alghe).
• Uno è un esperto di cucina urbana (eccellente con street food e ingredienti moderni).

Ognuno di loro ha un "libro di ricette" (il modello) perfetto per il suo ambiente. Ma cosa succede se vuoi cucinare un piatto per un ospite che arriva da una nuova regione, dove si mescolano montagne e mare? Nessuno dei singoli chef sa perfettamente cosa fare.

Il Problema: Mescolare le ricette senza rovinare tutto

L'idea di base della ricerca è: possiamo fondere le ricette di questi chef in un unico "Super Chef" che sappia gestire qualsiasi situazione?

Fino a poco tempo fa, il metodo più semplice era prendere i libri di ricette, tagliare le pagine a metà e incollarle insieme (una media matematica dei parametri).
Il risultato? Un disastro.

• Lo chef di montagna dice: "Usa il formaggio!"
• Lo chef di mare dice: "Usa il pesce!"
• Se li mescoli a caso, ottieni un piatto che sa di formaggio marcio e pesce secco. I due chef si "litigano" le istruzioni, creando confusione. Questo è il problema del conflitto.

La Scoperta: Perché è più difficile di quanto sembri

Gli autori hanno notato una cosa curiosa:

• Se unisci uno chef di montagna e uno di città (due compiti molto diversi), le loro ricette non si sovrappongono molto. È facile unirle.
• Ma se unisci uno chef di montagna e uno di mare (entrambi cucinano "cibo", ma in ambienti diversi), le loro ricette si sovrappongono moltissimo. Entrambi usano "sale", "fuoco" e "pentole", ma in modi leggermente diversi. Quando provi a unirli, le loro istruzioni si scontrano violentemente perché sono troppo simili ma non identiche. È come se due persone cercassero di guidare la stessa auto spingendo il volante in direzioni leggermente diverse: l'auto va in giro.

La Soluzione: SCORE (Il Mediatore Intelligente)

Per risolvere questo problema, gli autori hanno creato un nuovo metodo chiamato SCORE. Immagina SCORE come un regista geniale o un traduttore esperto che entra nella stanza degli chef.

Ecco come funziona SCORE, passo dopo passo:

1. Ascolta tutti (Analisi): Il regista guarda le ricette di tutti gli chef e identifica le "note musicali" principali (i sottospazi) che usano.
2. Trova un linguaggio comune (Base Ortogonale): Invece di mescolare tutto a caso, il regista crea un nuovo linguaggio musicale condiviso. Immagina di prendere tutti gli strumenti degli chef e accordarli su una stessa scala musicale perfetta. Ora tutti possono suonare insieme senza stonare.
3. Pulisci il rumore (Rimozione dei conflitti): Qui sta la magia. Il regista guarda le istruzioni che si sovrappongono.
   • Se due chef dicono la stessa cosa (es. "cuoci a fuoco lento"), il regista le unisce in un'unica istruzione chiara.
   • Se due chef dicono cose opposte o che creano rumore (es. uno dice "aggiungi limone", l'altro "aggiungi zucchero" in un contesto sbagliato), il regista taglia via le parti che creano conflitto (i componenti "fuori diagonale").
   • In pratica, SCORE dice: "Ok, teniamo le idee principali che ci uniscono, ma buttiamo via le piccole differenze che ci fanno litigare."
4. Crea il Super Chef: Alla fine, il regista scrive un nuovo libro di ricette unico, pulito e armonioso, che combina il meglio di tutti senza i conflitti.

Perché è importante?

Questo metodo è rivoluzionario perché:

• Non serve più cucinare da zero: Non devi riaddestrare il modello con nuovi dati (che spesso non hai o sono costosi). Prendi solo i modelli già pronti e li unisci.
• Funziona con l'ignoto: Il "Super Chef" creato con SCORE è molto bravo a gestire situazioni che nessuno dei singoli chef aveva mai visto prima (come il nostro ospite misto montagna-mare).
• È più veloce ed economico: Invece di far lavorare tutti gli chef insieme (che richiederebbe più energia e tempo), ne crei uno solo che è veloce e intelligente.

In sintesi

Immagina di dover unire le conoscenze di esperti che lavorano in ambienti simili ma diversi. Se li mescoli a caso, si litigano. Con SCORE, invece, trovi un modo intelligente per farli "parlare la stessa lingua", eliminando le incomprensioni e creando un unico esperto capace di affrontare qualsiasi nuova sfida che il mondo gli lancia contro.

È come trasformare un coro disordinato in un'orchestra perfetta, dove ogni strumento suona la sua parte senza coprire gli altri, creando una musica nuova e armoniosa.

Sommario tecnico

1. Il Problema: Generalizzazione di Dominio nel Model Merging

Il lavoro affronta una lacuna significativa nella ricerca sul model merging (fusione di modelli). Sebbene esistano tecniche consolidate per fondere modelli addestrati su compiti diversi (multi-task learning) o per migliorare la robustezza in-distribution, la generalizzazione di dominio (Domain Generalization - DG) rimane poco esplorata.

• Contesto: L'obiettivo è fondere modelli fine-tuned su domini sorgente distinti (es. immagini di animali in terreni rocciosi vs. innevati) per creare un unico modello capace di generalizzare su domini target mai visti (es. animali in montagne innevate).
• La Sfida: A differenza del multi-task learning, dove i compiti hanno spazi di etichette e semantica diversi, nella DG i modelli condividono lo stesso spazio di etichette ma operano su distribuzioni di dati diverse. L'analisi degli autori rivela che questo porta a un sovrapposizione dei sottospazi singolari (singular subspaces) molto più forte rispetto ai setting multi-task.
• Conflitto: Questa alta sovrapposizione crea conflitti nelle direzioni singolari dominanti durante la fusione. Le direzioni competitive di un dominio possono dominare quelle di un altro, degradando le prestazioni di generalizzazione fuori distribuzione (OOD).

2. Metodologia: SCORE (Subspace COnflict-Resolving mErging)

Per mitigare questi conflitti, gli autori propongono SCORE, un metodo di fusione che risolve i conflitti nei sottospazi singolari senza richiedere dati aggiuntivi o ri-addestramento.

Il processo si articola in quattro fasi principali per ogni strato del modello:

1. Decomposizione SVD e Concatenazione:

   • Si calcola la SVD (Singular Value Decomposition) delle matrici di differenza (delta weights, $\Delta_d = \theta_d - \theta_{pre}$) per ogni modello sorgente.
   • Si concatenano i vettori singolari principali (sinistri $U$ e destri $V$) di tutti i domini per formare matrici $U_*$ e $V_*$.

2. Ortogonalizzazione (Creazione di una Base Condivisa):

   • Poiché i vettori concatenati non sono necessariamente ortogonali, si esegue una nuova SVD su $U_*$ e $V_*$ per ottenere basi ortogonali condivise ($U_\perp$ e $V_\perp$). Queste basi rappresentano lo spazio comune più vicino a tutti i sottospazi specifici dei domini.

3. Cambio di Base e Isolamento dei Conflitti:

   • Ogni matrice di differenza specifica per dominio ($\Delta_d$) viene proiettata nella nuova base condivisa: $\Delta'_d = U_\perp^\top \Delta_d V_\perp$.
   • In questa nuova rappresentazione:
     • Gli elementi diagonali rappresentano l'accordo tra il dominio e le direzioni principali condivise.
     • Gli elementi fuori diagonale catturano i conflitti e l'interferenza tra le direzioni condivise (cross-talk).

4. Potatura (Trimming) e Ricostruzione:

   • Viene applicata una funzione di trimming alla matrice aggregata $\Sigma_{score}$.
   • Si mantengono tutti gli elementi diagonali (accordo).
   • Per gli elementi fuori diagonale, si conservano solo quelli con magnitudine significativa (entro un intervallo di confidenza, es. 95%), mentre gli outlier rumorosi vengono azzerati. Questo riduce l'interferenza distruttiva mantenendo le informazioni condivise utili.
   • La matrice fusa finale è ricostruita come $\hat{M} = U_\perp \Sigma_{score} V_\perp^\top$.

3. Contributi Chiave

1. Analisi della Generalizzazione di Dominio: Gli autori studiano il merging di modelli in un setting "leave-one-domain-out", dimostrando che la sovrapposizione dei sottospazi singolari nella DG è significativamente più alta rispetto al multi-task learning, rendendo le tecniche di fusione standard inefficaci.
2. Proposta di SCORE: Un nuovo algoritmo che risolve i conflitti singolari attraverso l'ortogonalizzazione e la potatura selettiva delle componenti fuori diagonale.
3. Valutazione Estensiva: Il metodo è stato testato su 8 benchmark di generalizzazione di dominio (inclusi dataset naturali come PACS, DomainNet, ImageNet-R e dataset medici come FedISIC e RetinaDomains) e su 3 scale di modelli (ViT-B/32, ViT-B/16, ViT-L/14).

4. Risultati Sperimentali

• Prestazioni Superiori: SCORE supera costantemente, in media, tutti gli approcci esistenti (inclusi Task Arithmetic, TIES, TSV, ISO-C) e le strategie di ensemble tradizionali.
  • Su ViT-B-32, SCORE ottiene un'accuratezza media del 65.69%, superando il secondo miglior metodo (TSV, 64.95%) di 0.74 punti percentuali.
  • Su ViT-L-14, raggiunge il 73.04%, superando il secondo miglior metodo (TSV, 72.14%) di 0.90 punti.
• Miglioramento rispetto allo Zero-Shot: A differenza di alcune strategie di fusione che peggiorano le prestazioni rispetto al modello base zero-shot, SCORE migliora significativamente la generalizzazione su domini non visti, specialmente nei dataset medici (miglioramenti di 6-8 punti percentuali rispetto alla baseline zero-shot).
• Efficienza: Rispetto agli ensemble di modelli, SCORE offre prestazioni migliori mantenendo i costi di inferenza e memoria di un singolo modello.
• Ablation Study: L'analisi dimostra che la strategia di trimming è cruciale; mantenere solo la diagonale è utile, ma rimuovere gli outlier fuori diagonale (rumore) mentre si preservano le componenti significative porta ai migliori risultati.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Ridefinisce il Merging per la DG: Sposta il focus dal semplice averaging o dalla risoluzione di conflitti di compiti diversi alla gestione specifica dei conflitti di distribuzione di dati.
• Efficienza Operativa: Offre una soluzione "data-free" e "optimization-free" per combinare esperti di dominio, ideale per scenari dove i dati sorgente non sono accessibili (es. federated learning o repository di modelli pubblici).
• Scalabilità: Dimostra di funzionare bene su architetture di diverse dimensioni, rendendolo applicabile sia a modelli medi che a grandi modelli (LLM o grandi vision transformer).
• Impatto Medico: Le prestazioni superiori su dataset medici sbilanciati e complessi suggeriscono un potenziale impatto reale in applicazioni critiche dove la robustezza alla variazione di dominio è essenziale.

In sintesi, SCORE introduce un approccio geometrico sofisticato per allineare i sottospazi di modelli addestrati su domini diversi, risolvendo il problema fondamentale del conflitto delle direzioni singolari e permettendo una generalizzazione di dominio superiore senza costi computazionali aggiuntivi durante l'inferenza.