Riepilogo Tecnico: Quando la Conoscenza Condivisa Danneggia: Sovra-Accumulo Spettrale nella Fusione di Modelli

1. Enunciato del Problema

La fusione di modelli combina diversi modelli fine-tuned in un unico modello unificato operando direttamente nello spazio dei pesi, offrendo un'alternativa leggera rispetto al retraining. Mentre i metodi esistenti si concentrano principalmente sulla risoluzione dei conflitti tra aggiornamenti di task (ad esempio tramite mascheratura o potatura), spesso trascurano una specifica modalità di fallimento: la sovraccumulazione spettrale.

Gli autori identificano che quando più task condividono direzioni spettrali allineate (ovvero vettori singolari sovrapposti), una semplice combinazione lineare delle matrici dei task aggrega ripetutamente questi componenti condivisi. Questo fenomeno porta a:

• Inflazione dei valori singolari: I valori singolari corrispondenti ai sottospazi condivisi diventano sproporzionatamente grandi.
• Squilibrio spettrale: Il modello fuso diventa dominato da pochi sottospazi spettrali superiori contenenti conoscenza condivisa, mentre i componenti specifici del task nei restanti sottospazi vengono soppressi.
• Degrado delle prestazioni: Contrariamente all'intuizione secondo cui la conoscenza condivisa è benefica, la sua sovrapposizione distorce il modello e riduce le prestazioni a valle su benchmark di visione e linguaggio.

2. Metodologia: Calibrazione dei Valori Singolari (SVC)

Per affrontare la sovraccumulazione spettrale senza richiedere dati aggiuntivi, training o ottimizzazione, gli autori propongono la Calibrazione dei Valori Singolari (SVC), un metodo di post-processing.

Fondamento Teorico

Il metodo si basa su un'analisi di proiezione nello spazio di output. Decomponendo la matrice del task fuso $\Delta W_{merge}$ tramite Scomposizione in Valori Singolari (SVD), gli autori definiscono una base condivisa dello spazio di output $\{u_r\}$. Proiettano le matrici dei singoli task su questa base per misurare quanto ogni task contribuisca a specifici sottospazi spettrali.

• Coefficiente di Proiezione ($s_i^r$): Questa metrica quantifica la scalatura della risposta del task $i$ nel sottospazio $r$ dopo la fusione. Se $s_i^r > 1$, indica che l'aggiornamento fuso ha amplificato la direzione del task $i$ a causa di un accumulo costruttivo da parte di altri task (sovrapposizione spettrale).
• Meccanismo di Inflazione: Il documento dimostra che prodotti interni positivi tra task nello spazio di output portano a $s_i^r > 1$, causando il valore singolare fuso $\sigma_r$ di superare la magnitudine ottimale di proiezione necessaria per preservare le capacità dei singoli task.

Passaggi dell'Algoritmo

1. Costruzione della Base: Calcolare la SVD della matrice del task fuso $\Delta W_{merge} = U\Sigma V^\top$ per ottenere i vettori singolari sinistri $\{u_r\}$ come sistema di coordinate condiviso.
2. Quantificazione della Sovrapposizione: Per ogni sottospazio $r$ e task $i$, calcolare il coefficiente di proiezione $s_i^r = \frac{\langle a_{merge}^r, a_i^r \rangle}{\|a_i^r\|_2^2}$, dove $a^r$ rappresenta la risposta lungo $u_r$.
3. Fattore di Calibrazione: Aggregare questi coefficienti tra i task per derivare un fattore di calibrazione $\gamma_r$ per ogni sottospazio. Questo fattore è progettato per soppesare i sottospazi che mostrano una forte sovrapposizione (dove molti $s_i^r$ sono grandi).
   • $\gamma_r = K / \sum_{i=1}^K \max(\alpha, s_i^r)$, dove $\alpha$ è un iperparametro (predefinito $1/K$) che previene l'instabilità.
4. Ridimensionamento: Regolare i valori singolari mantenendo fissi i vettori singolari (direzioni): $\tilde{\sigma}_r = \gamma_r \sigma_r$.
5. Ricostruzione: Ricostruire la matrice fusa calibrata $\tilde{\Delta W}_{merge} = \sum \tilde{\sigma}_r u_r v_r^\top$ e aggiornare i pesi pre-addestrati.

3. Contributi Chiave

• Identificazione della Sovrapposizione Spettrale: Il documento isola una specifica modalità di fallimento nella fusione di modelli in cui l'aggregazione ridondante di conoscenza condivisa inflaziona i valori singolari nei sottospazi dominanti, distinto dai tradizionali conflitti di pesi.
• Metodo SVC: Una tecnica di post-processing senza training e senza dati che quantifica la sovrapposizione nello spazio di output e ridimensiona i valori singolari per ripristinare l'equilibrio spettrale. Agisce come un modulo plug-in compatibile con le basi di fusione esistenti.
• Validazione Teorica ed Empirica: Gli autori forniscono un'analisi teorica che collega le discrepanze di proiezione all'inflazione dei valori singolari e dimostrano che questo fenomeno persiste attraverso varie strategie di fusione (ad esempio Task Arithmetic, TIES, DARE).

4. Risultati Sperimentali

Gli autori hanno valutato SVC su diversi benchmark utilizzando modelli di Visione (ViT-B/32, ViT-B/16, ViT-L/14) e Linguaggio (BERT, T5, LLaMA2-7B, T0).

• Visione Artificiale (CV): Su un benchmark di classificazione a 8 task, SVC ha migliorato la baseline Task Arithmetic (TA) del 13,0% (da 68,9% a 81,9% di accuratezza media). Ha anche prodotto guadagni coerenti rispetto ad altre baseline solide come TIES, DARE e TSV-M.
• Elaborazione del Linguaggio Naturale (NLP): SVC ha migliorato le prestazioni attraverso task di classificazione e generativi. Ad esempio, sul modello T0 con fine-tuning IA3, SVC ha migliorato TA del 12,3%. Su LLaMA2-7B, ha mostrato guadagni significativi nei benchmark AlpacaEval e GSM8K.
• Generalità: Il metodo si è dimostrato efficace attraverso diverse dimensioni e architetture di modelli. Ha funzionato anche come strumento di "ottimizzazione delle preferenze", permettendo al modello fuso di dare priorità a task specifici regolando la calibrazione in base a un task target.
• Efficienza: SVC introduce un sovraccarico minimo, richiedendo solo una singola SVD offline e un passo di ricostruzione senza calcolo del gradiente o dati ausiliari.

5. Significato e Affermazioni

Il documento afferma che i fallimenti nella fusione di modelli non sono dovuti esclusivamente a aggiornamenti conflittuali, ma derivano anche dall'accumulo ridondante di componenti allineati. Spostando il focus dalla risoluzione dei conflitti all'equilibrio spettrale, SVC offre un meccanismo semplice ma efficace per correggere la "sovrapposizione" della conoscenza condivisa.

Gli autori posizionano SVC come uno strumento complementare che può essere applicato sopra i metodi di fusione esistenti (inclusi metodi nello spazio spettrale come Iso-CTS) per rifinire ulteriormente le prestazioni. Sottolineano che mentre altri metodi possono affrontare conflitti o collasso del rango, SVC mira specificamente all'inflazione dei sottospazi dominanti causata da interferenza costruttiva, ripristinando così uno spettro più equilibrato e migliorando la generalizzazione attraverso molteplici task.