Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

Sintesi Tecnica: Svelare l'interferenza di LoRA: Sottospazi Ortogonali per un Merging di Modelli Robusto

Problematica
Sebbene il fine-tuning di modelli linguistici (LM) per compiti specifici fornisca prestazioni elevate, mantenere modelli separati per ogni compito è costoso in termini di archiviazione e distribuzione. Il merging dei modelli offre una soluzione combinando più modelli specifici per compito in un unico modello multi-task senza ulteriore addestramento. Tuttavia, i metodi di merging esistenti spesso falliscono quando applicati a modelli sottoposti a fine-tuning con Low-Rank Adaptation (LoRA), causando un significativo degrado delle prestazioni.

Gli autori sostengono che questo degrado derivi dall'interferenza dei parametri guidata dall'interazione tra i parametri del modello e le distribuzioni dei dati. Nello specifico, quando si fondono moduli LoRA (ad esempio, $W_m = W_0 + B_1A_1 + B_2A_2$), il termine di aggiornamento di un compito ($B_2A_2$) agisce come una "perturbazione" involontaria sulle caratteristiche latenti di un altro compito ($h_1$), spostando gli output lontano dalla risposta prevista. Gli approcci pregressi "data-free" che si concentrano esclusivamente sull'ortogonalità o l'allineamento dei vettori di task spesso trascurano questa cruciale interazione tra caratteristiche latenti e aggiornamenti dei parametri.

Metodologia: OSRM
Il documento propone Orthogonal Subspaces for Robust model Merging (OSRM), un metodo che vincola il sottospazio LoRA prima del fine-tuning per minimizzare l'interferenza con le distribuzioni dei dati fuori dal task.

1. Obiettivo Centrale: Il metodo mira a ridurre il termine di interferenza $\|B_2A_2 h_1\|$ minimizzando la norma di Frobenius $\|A_2 H_1^\top\|_F$, dove $H_1$ rappresenta la matrice delle caratteristiche latenti di campioni provenienti da un task diverso ($T_1$).
2. Soluzione Analitica: Per evitare soluzioni banali (ad esempio, $A_2=0$) e mantenere la capacità rappresentativa, gli autori impongono un vincolo secondo cui $A_2$ deve avere righe ortonormali ($A_2 A_2^\top = I$). Sotto questo vincolo, l'inizializzazione ottimale per $A_2$ viene derivata analiticamente utilizzando la decomposizione in autovettori della matrice di covarianza campionaria $S = \frac{1}{k-1}H^\top H$. Nello specifico, $A_2$ viene inizializzato utilizzando gli autovettori corrispondenti agli autovalori più piccoli di $S$. Ciò posiziona il sottospazio LoRA nelle direzioni in cui i dati fuori dal task hanno una varianza minima.
3. Estensioni Pratiche:
   • Rilassamento durante il Fine-Tuning: Sebbene la soluzione teorica suggerisca di congelare $A_2$, gli autori riscontrano che ciò degrada l'accuratezza del singolo task. Pertanto, utilizzano la soluzione analitica solo come inizializzazione per $A_2$, permettendogli di essere aggiornato durante il fine-tuning. I risultati empirici mostrano che la deviazione dallo stato ortogonale iniziale è marginale (circa il 14%), preservando la validità del metodo.
   • Scalabilità e Privacy: Per il merging di $N$ task, il metodo aggrega le caratteristiche latenti da tutti i task tranne il task target $T_t$. Per ridurre l'uso della memoria e affrontare le preoccupazioni sulla privacy, gli autori propongono di mediare le caratteristiche per campione prima della concatenazione.
   • Applicazione Post-Hoc: Il metodo può essere esteso a moduli LoRA esistenti scomponendo i pesi appresi utilizzando la base derivata da OSRM, sebbene ciò possa comportare una certa perdita di prestazioni.

Contributi Chiave

• Identificazione dell'Interazione Dati-Parametri: Il documento evidenzia che l'interferenza dei parametri nel merging di LoRA non è solo una funzione dei conflitti tra pesi, ma è profondamente legata a come i parametri interagiscono con specifiche distribuzioni di dati.
• Vincolo Pre-Fine-Tuning: A differenza dei lavori precedenti che operano durante o dopo il merging, OSRM interviene prima del fine-tuning inizializzando il sottospazio LoRA per essere ortogonale alle distribuzioni dei dati irrilevanti.
• Integrazione Plug-and-Play: L'approccio è progettato per integrarsi perfettamente con gli algoritmi di merging esistenti (ad esempio, Task Arithmetic, Fisher Merging, TIES, RegMean, EMR) senza richiedere modifiche alla logica di merging stessa.
• Robustezza: Il metodo dimostra una ridotta sensibilità a iperparametri come i coefficienti di scala, la dimensione dei campioni e il numero di task.

Risultati Sperimentali
Gli autori hanno valutato OSRM su otto dataset del benchmark GLUE utilizzando tre modelli linguistici ampiamente utilizzati (RoBERTa-large, T5-large, Llama3.2-1B) e due modelli più grandi (Llama3.2-3B, Llama3-8B).

• Guadagni di Prestazione: OSRM ha superato costantemente i baseline di merging esistenti in tutti i modelli e le tecniche di merging testate.
  • Su RoBERTa-large, OSRM ha migliorato significativamente le prestazioni medie rispetto ai baseline (ad esempio, +13% su CoLA per Task Arithmetic, +21% su MNLI per Fisher Merging).
  • Su T5-large, ha superato sostanzialmente i baseline su RegMean (+3,76% in media) e Fisher (+7,9% in media).
  • Su Llama3.2-1B e 3B, OSRM ha superato i baseline su TA, RegMean, TIES ed EMR, con miglioramenti per task che raggiungono il 12,78%.
• Preservazione del Singolo Task: Il metodo impatta minimamente l'accuratezza del singolo task (gap medio <1%) e spesso supera le prestazioni del baseline del singolo task.
• Robustezza:
  • Coefficiente di Scala: OSRM ha mantenuto prestazioni superiori attraverso un ampio intervallo di coefficienti di scala ($\lambda \in [0.1, 1.3]$), mentre i baseline erano più sensibili.
  • Dimensione del Campione: Il metodo ha funzionato bene con soli 100 campioni per l'inizializzazione.
  • Conteggio dei Task: I vantaggi di prestazione sono diventati più pronunciati all'aumentare del numero di task fusi ($N > 5$).

Significatività e Rivendicazioni
Il documento sostiene che OSRM offra una strategia generalizzabile per combinare i modelli LoRA in modo più efficace, affrontando esplicitamente l'interazione tra dati e parametri. Gli autori sottolineano che il loro approccio fornisce una soluzione plug-and-play che migliora le prestazioni del merging preservando l'accuratezza del singolo task. Sostengono che considerare le interazioni tra dati e parametri sia critico per un merging di modelli robusto, andando oltre le strategie puramente "data-free" che si concentrano solo sull'allineamento dei pesi. I risultati suggeriscono che vincolare il sottospazio LoRA prima del fine-tuning sia un passo vitale per mitigare gli spostamenti indesiderati degli output che attualmente affliggono il merging dei modelli LoRA.