Resolving Interference (RI): Disentangling Models for Improved Model Merging

1. Il Problema: Interferenza Cross-Task nel Model Merging

Il Model Merging (fusione di modelli) è una tecnica che permette di creare modelli multitasking combinando direttamente i parametri di modelli specializzati addestrati indipendentemente su compiti diversi. Sebbene promettente, questo approccio soffre di un problema fondamentale: l'interferenza cross-task.

Quando modelli addestrati su compiti distinti vengono fusi, i parametri appresi per un compito possono sovrascrivere o distorcere le caratteristiche necessarie per un altro. Questo fenomeno causa uno spostamento ("drift") delle rappresentazioni di output del modello fuso rispetto a quelle dei modelli costituenti originali, degradando le prestazioni su tutti i compiti.

Le sfide attuali includono:

• Limiti dei metodi esistenti: I metodi gradient-free (senza gradiente) ignorano l'interazione con i dati, mentre i metodi gradient-based richiedono l'accesso ai dati originali di addestramento di ogni compito, che spesso non sono disponibili per motivi di privacy o scarsità di dati.
• Sensibilità all'iperparametro: Le tecniche attuali sono spesso molto sensibili alla sintonizzazione degli iperparametri su dati di validazione specifici, che potrebbero non essere accessibili.

2. Metodologia: Resolving Interference (RI)

Gli autori propongono Resolving Interference (RI), un framework di adattamento leggero che risolve il problema dell'interferenza senza richiedere i dati originali dei task.

Definizione Formale dell'Interferenza

Il paper definisce formalmente l'interferenza cross-task ($\xi$) come la deviazione tra le rappresentazioni del modello fuso e quelle dei modelli esperti originali quando valutati sui rispettivi task. L'obiettivo è minimizzare questa distanza.

Il Framework RI

L'idea centrale è rendere i vettori di task ($\tau_i$) funzionalmente ortogonali agli altri task prima della fusione. RI adatta ogni modello esperto individualmente per soddisfare due obiettivi simultanei utilizzando solo dati ausiliari non etichettati (di qualsiasi natura, non specifici del task):

1. Task-Preservation (Conservazione del Task): Il vettore adattato $\tau^*_i$ deve mantenere le stesse prestazioni del modello originale quando valutato sul suo task specifico ($h_i$).
2. Interference-Reduction (Riduzione dell'Interferenza): Il vettore adattato $\tau^*_i$ non deve influenzare le rappresentazioni di output quando valutato sugli altri task ($h_j, j \neq i$). In pratica, l'output deve rimanere identico a quello del backbone pre-addestrato originale.

Funzionamento Tecnico

Il metodo ottimizza una funzione di perdita (RI Loss, $L_{RI}$) su un dataset ausiliario generico ($D_{aux}$):
$$L_{RI} = L_1 + \frac{\alpha}{N-1} L_2$$
Dove:

• $L_1$ (Task-preservation loss): Misura la distanza tra l'output del modello originale e quello adattato sul task $i$.
• $L_2$ (Interference-reduction loss): Misura la distanza tra l'output del backbone pre-addestrato e quello adattato sui task $j \neq i$.
• $\alpha$: Un iperparametro di bilanciamento (default = 1).

Dopo l'adattamento di tutti i vettori di task, questi vengono fusi utilizzando tecniche di merging standard (es. Task Arithmetic, TIES, WUDI).

3. Contributi Chiave

1. Formalizzazione dell'Interferenza: Introduzione di una metrica quantitativa per l'interferenza cross-task che funge da diagnosi per la qualità della fusione.
2. Framework RI: Un metodo di adattamento leggero che utilizza dati ausiliari non etichettati per disaccoppiare i modelli esperti in sottospazi funzionali disgiunti, riducendo l'interferenza senza costi di inferenza aggiuntivi.
3. Risultati Empirici: Dimostrazione che RI migliora le prestazioni dei metodi di merging più avanzati (SOTA) fino al 3.8% su benchmark in-domain e aumenta la robustezza fuori distribuzione (OOD) fino al 2.3%.
4. Robustezza: Analisi che mostra come i modelli adattati con RI siano significativamente meno sensibili alla sintonizzazione degli iperparametri di fusione rispetto ai modelli non adattati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli CLIP (ViT-B/32, ViT-B/16, ViT-L/14) su diversi benchmark:

• Benchmark Vision (8/14/20 Task): RI ha migliorato costantemente tutte le tecniche di merging testate. Ad esempio, su Task Arithmetic (TA) e TIES, i guadagni sono stati rispettivamente fino al 7.4-9.6% e 5.6-9.7% a seconda della scala del modello. Su metodi SOTA come TSV-M, l'aggiunta di RI ha portato a miglioramenti fino al 3.8%.
• Generalizzazione Out-of-Distribution (DomainNet): Su un dataset con 6 domini diversi, i modelli fusi con RI hanno mostrato una migliore capacità di generalizzazione su domini non visti, con miglioramenti medi fino al 2.3% rispetto ai baselines senza RI.
• Analisi dei Dati Ausiliari: Il metodo funziona bene con qualsiasi dato visivamente diversificato (anche sintetico o non correlato semanticamente), ma ottiene i risultati migliori quando i dati ausiliari sono vicini alla distribuzione del task target.
• Efficienza Computazionale: L'adattamento è altamente parallelo. Adattare un singolo esperto richiede circa 7-9 minuti su una GPU A40, con un uso della memoria stabile indipendentemente dal numero di task.

5. Significato e Implicazioni

Il lavoro di Resolving Interference è significativo perché:

• Rimuove la dipendenza dai dati: Risolve il problema della fusione di modelli in scenari dove i dati originali dei task sono privi di etichette, non disponibili o proprietari.
• Migliora la robustezza: Dimostra che l'ortogonalità funzionale dei vettori di task è la chiave per fusioni di successo, migliorando non solo l'accuratezza ma anche la capacità di generalizzare a nuovi domini.
• Praticità: Essendo un metodo "lightweight" che non richiede dati specifici e riduce la necessità di tuning iperparametrico complesso, RI rende il model merging più accessibile e affidabile per applicazioni reali in contesti con risorse limitate.

In sintesi, RI offre una soluzione elegante e pratica al problema dell'interferenza nei modelli fusi, trasformando un processo spesso empirico e fragile in uno più robusto e generalizzabile.