Riassunto Tecnico: PACT – Preserving Anchored Cores in Task-Vectors for Model Merging

Problematica

Il merging di modelli è emerso come un'alternativa senza addestramento (training-free) al multi-task learning, con l'obiettivo di combinare molteplici modelli specializzati per task in un unico modello multi-task. Il paradigma dominante, la Task Arithmetic, decompone i pesi fine-tuned nei parametri pre-addestrati ($\theta_0$) e nei vettori di task ($\Delta_t = \theta_t - \theta_0$), eseguendo il merging esclusivamente nello spazio dei vettori di task. Questo approccio assume implicitamente che tutta la conoscenza specifica del task sia codificata nei vettori di task, mentre il modello pre-addestrato funge meramente da punto di inizializzazione condiviso.

Gli autori mettono in discussione tale assunzione, sostenendo che essa non sia valida a causa delle intrinseche preferenze di task dei modelli pre-addestrati. Essi identificano un fenomeno in cui la conoscenza critica per il task rimane "ancorata" nei pesi pre-addestrati piuttosto che essere completamente trasferita nei vettori di task. Queste dimensioni, denominate Load-Bearing Wall (LBW) dimensions (dimensioni parete portante), mostrano aggiornamenti trascurabili durante il fine-tuning (piccolo $|\Delta_t|$) ma sono essenziali per mantenere le prestazioni del task. I metodi di merging esistenti, operando esclusivamente sui vetti di task, sovrascrivono o distorcono involontariamente queste dimensioni LBW durante l'aggregazione di più task, portando a una degradazione delle prestazioni.

Metodologia: PACT (Preserve Anchored Cores)

Per affrontare la vulnerabilità delle dimensioni LBW, gli autori propongono PACT, un framework data-free progettato per proteggere la conoscenza specifica del task ancorata nel modello pre-addestrato durante il processo di merging.

1. Identificazione delle Dimensioni LBW

Il paper caratterizza le dimensioni LBW da due prospettive:

• Prospettiva del Peso Scalare: Utilizzando l'Informazione di Fisher e i punteggi di arricchimento, gli autori identificano parametri specifici che hanno magnitudo ridotta nel vettore di task ma alta sensibilità rispetto alla perdita (loss) del task.
• Prospettiva del Subspazio: Utilizzando la Decomposizione ai Valori Singolari (SVD), gli autori definiscono il subspazio LBW ($V_{t,LBW}$) per un task $t$. Questo è derivato proiettando il subspazio principale dei pesi pre-addestrati ($V_{0,K}$) sull'complemento ortogonale del subspazio di aggiornamento attivo del task ($V_{t,k}$). Formalmente:
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  Questo subspazio cattura le direzioni delle feature pre-addestrate critiche per il task che rimangono invariate durante il fine-tuning.

2. L'Algoritmo PACT

PACT opera filtrando i vettori di task prima di applicare gli algoritmi di merging standard (es. Task Arithmetic, TSV-M, Iso-C). Il meccanismo centrale consiste nel costruire uno Scudo Ortogonale Globale per ogni task per evitare che i suoi aggiornamenti interferiscano con i subspazi LBW di altri task.

• Costruzione dello Scudo: Per un task specifico $t$, l'algoritmo aggrega i subspazi LBW di tutti gli altri task ($V_{j,LBW}$ per $j \neq t$) e costruisce una base ortonormale unificata $V_{t}^{protect}$ tramite decomposizione QR. Questo scudo rappresenta l'unione delle dipendenze critiche pre-addestrate richieste da tutti gli altri task.
• Filtraggio: Il vettore di task $\Delta_t$ viene proiettato sul complemento ortogonale di questo scudo per rimuovere le componenti che sovrascriverebbero gli "spazi sacri" degli altri task:
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• Merging: I vettori filtrati $\{\tilde{\Delta}_t\}$ vengono poi uniti utilizzando algoritmi esistenti.

3. Variante Efficiente (Randomized SVD)

Per migliorare la scalabilità, gli autori propongono una variante efficiente utilizzando la SVD Randomizzata (RSVD). Poiché PACT richiede principalmente l'estrazione dei top-$k$ vettori singolari, RSVD approssima questi componenti con una complessità computazionale significativamente ridotta ($O(mnk)$ rispetto a $O(mn^2)$ o $O(n^3)$) e un footprint di memoria minore, agendo anche come un regolarizzatore implicito che smussa il rumore ad alta frequenza.

Contributi Chiave

1. Revisione delle Assunzioni della Task Arithmetic: Il paper dimostra empiricamente che i vettori di task non catturano completamente la conoscenza specifica del task. Identifica e valida causalmente l'esistenza delle dimensioni LBW—parametri che ricevono aggiornamenti trascurabili ma sono critici per le prestazioni.
2. Validazione Causale: Attraverso esperimenti di perturbazione controllata (a livello scalare e di subspazio), gli autori mostrano che:
   • Modificare le dimensioni LBW (anche con magnitudo ridotte) causa crolli catastrofici delle prestazioni.
   • Il merging standard sovrascrive queste dimensioni, e ripristinarle recupera le prestazioni.
   • L'ablazione del subspazio delle componenti LBW porta a una degradazione delle prestazioni ordini di grandezza superiore rispetto all'ablazione di un subspazio casuale.
3. Framework PACT: La proposta di un framework geometrico data-free che costruisce scudi ortogonali per filtrare gli aggiornamenti interferenti, integrandosi perfettamente con i metodi di merging basati su pesi scalari e su subspazi.
4. Analisi Teorica: Gli autori forniscono limiti teorici che mostrano come la degradazione delle prestazioni causata dal filtraggio di PACT sia controllata dalla proiezione del gradiente e dell'aggiornamento del task sullo spazio di protezione, garantendo che le prestazioni del task stesso siano preservate se l'aggiornamento del task è concentrato nel suo subspazio attivo.

Risultati Sperimentali

Sono stati condotti estesi esperimenti su benchmark di visione (ViT-B/32, ViT-B/16, ViT-L/14) su 8, 14 e 20 task, coprendo sia scenari di full fine-tuning che di fine-tuning LoRA.

• Guadagni di Prestazioni: PACT potenzia costantemente i principali metodi di merging (Task Arithmetic, TSV-M, Iso-C).
  • PACT-Iso-C raggiunge le prestazioni State-of-the-Art (SOTA) in tutti i 9 scenari valutati (3 backbone $\times$ 3 conteggi di task).
  • Nel setting a 20 task con ViT-L/14, PACT-Iso-C raggiunge il 95,1% di accuratezza assoluta e il 98,3% di accuratezza normalizzata, superando il precedente migliore (Iso-CTS) con un margine significativo.
• Adattamento LoRA: PACT migliora anche le prestazioni di merging per i modelli fine-tuned con LoRA, dimostrando che gli effetti LBW persistono anche quando i parametri pre-addestrati sono congelati durante il fine-tuning (poiché la conoscenza LBW risiede nel modello base).
• Efficienza: La variante RSVD raggiunge prestazioni comparabili alla SVD completa (e talvolta superiori grazie al denoising implicito) riducendo drasticamente la complessità computazionale.
• Studi di Ablazione:
  • Statico vs. Dinamico: Un baseline statico (S-PACT) che filtra solo contro il core pre-addestrato senza considerare gli altri subspazi LBW dei task produce guadagni limitati, evidenziando la necessità di una protezione mutua e dinamica.
  • Profondità per Livello (Layer-wise Depth): Il filtraggio dei primi livelli fondamentali (dove l'energia di intrusione è più alta) produce i miglioramenti più significativi, sebbene il filtraggio globale sia necessario per carichi di task elevati.

Significato e Rivendicazioni

Il paper sostiene che il merging di modelli non consista solo nel risolvere i conflitti tra gli aggiornamenti dei task, ma anche nell'agire attivamente per rispettare e proteggere le fondamenta pre-addestrate critiche. Identificando le dimensioni "Parete Portante" (Load-Bearing Wall), gli autori rivelano un punto cieco fondamentale nei metodi esistenti basati sui vettori di task: essi manipolano ciò che è esplicitamente codificato nei vettori di task, ma trascurano la conoscenza implicitamente memorizzata nel modello pre-addestrato.

La significanza di PACT risiede nella sua capacità di:

• Fornire una prospettiva geometrica sul merging di modelli che integra gli approcci algebrici esistenti.
• Offrire una soluzione modulare e data-free che può essere integrata in qualsiasi pipeline di merging di vettori di task esistente senza richiedere l'accesso ai dati di addestramento originali.
• Stabilire nuove prestazioni SOTA attraverso diversi task di visione e scale di modelli, provando che proteggere i core ancorati è essenziale per una sintesi multi-task robusta.

Gli autori concludono che, sebbene PACT introduca un certo overhead computazionale (mitigato dalla variante RSVD), esso offre un necessario cambio di paradigma per gestire le dipendenze strutturali inerenti ai modelli pre-addestrati durante il merging. Il lavoro futuro suggerisce di estendere questo framework ai Large Language Models (LLM) ed esplorare dimensionalità adattive per gli scudi di protezione.