Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

1. Il Problema

L'addestramento di modelli pre-addestrati (PTM) e il loro successivo fine-tuning per compiti specifici ha portato a un'esplosione nel numero di modelli specializzati. Tuttavia, questa situazione presenta due sfide principali:

• Costi di Deployment: Mantenere e distribuire un modello fine-tuned separato per ogni compito comporta costi di storage e di deployment proibitivi.
• Limiti del Merging Tradizionale: L'approccio alternativo, il model merging (fusione di modelli), combina più modelli in un unico modello senza accedere ai dati di training. Tuttavia, fondere tutti i modelli in un singolo modello (dimensione $1\times$) spesso crea conflitti parametrici, risultando in un divario di accuratezza significativo rispetto ai modelli originali.
• Mancanza di Flessibilità: Le tecniche esistenti si concentrano quasi esclusivamente sulla fusione in un singolo modello o richiedono dati di validazione (che spesso non sono disponibili per vincoli di privacy). Non esiste un framework sistematico per esplorare il compromesso tra accuratezza e dimensione del modello in un intervallo continuo di dimensioni.

2. Metodologia: FLEXMERGE

Gli autori propongono FLEXMERGE, un framework di fusione di modelli senza dati (data-free) che permette di generare modelli fusi di dimensioni variabili, spaziando da un singolo modello ($1\times$) fino a mantenere tutti i modelli originali ($M\times$), inclusi modelli con dimensioni frazionarie (es. $1.75\times$).

Principi Chiave:

• Granularità a Blocchi: Invece di trattare l'intero modello come un blocco unico, FLEXMERGE scompone il modello in una sequenza di blocchi (es. layer di attenzione, layer MLP, o interi transformer blocks). Ogni blocco mantiene i propri vettori di task.
• Approccio Bottom-Up Greedy:
  1. Inizializzazione: Si parte con tutti i $M$ modelli, ciascuno con i propri blocchi.
  2. Iterazione: In ogni passo, l'algoritmo identifica la coppia di blocchi (da due gruppi di task diversi) con la massima similarità (misurata come il minimo coseno di similarità tra i vettori di task originali all'interno dei due gruppi).
  3. Fusione: La coppia selezionata viene fusa utilizzando un algoritmo di merging esistente (es. Task Arithmetic, TIES-Merging, Consensus) applicato a livello di blocco.
  4. Riduzione Dimensione: La fusione riduce la dimensione totale del modello deployato. Il processo si ripete fino a raggiungere la dimensione target desiderata ($S_{target}$).
• Indipendenza dai Dati: L'intero processo è puramente basato sui pesi dei modelli e non richiede dati di training o di validazione.
• Supporto Multi-Algoritmo: Il framework è agnostico rispetto all'algoritmo di fusione utilizzato a livello di blocco, supportando metodi come TA, TIES, PCB, TSV-M, Consensus ed EMR-Merging.

Complessità e Efficienza:

L'algoritmo utilizza una struttura dati Disjoint Set Union (DSU) e pre-calcola le similarità, rendendo il processo di fusione estremamente efficiente (pochi secondi anche per 30 task).

3. Contributi Chiave

1. Primo Studio Sistematico sul Trade-off Accuratezza-Dimensione: FLEXMERGE è il primo framework a mappare sistematicamente la relazione tra la dimensione del modello fuso e l'accuratezza, rivelando che non è necessario scegliere solo tra "un modello piccolo e impreciso" o "tutti i modelli grandi e precisi".
2. Generazione di Modelli di Dimensione Frazionaria: Permette di creare modelli con dimensioni non intere (es. $2.5\times$), offrendo un controllo fine sulle risorse di deployment.
3. Scoperta di Trend Inaspettati:
   • Guadagni Ripidi: Aumentare leggermente la dimensione (es. raddoppiare da $1\times$ a $2\times$) porta a guadagni di accuratezza drastici (fino al 13.5% in alcuni casi).
   • Inconsistenza dei Ranking: La classifica degli algoritmi di merging non è statica. Metodi semplici (come la media semplice) possono superare metodi complessi (come TIES o PCB) man mano che la dimensione del modello aumenta, poiché l'aumento di capacità riduce naturalmente l'interferenza parametrica.
4. Efficienza di Inferenza: L'implementazione permette di caricare una volta i tensori condivisi e creare viste specifiche per task, mantenendo un overhead di inferenza trascurabile rispetto al merging standard.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di visione artificiale (ViT-B/32, ViT-L/14 su 8 e 30 task), NLP (T0-3B con PEFT, T5 con FFT su 7 task) e modelli multimodali.

• Performance:
  • Passando da $1\times$ a $2\times$ (doppia dimensione), FLEXMERGE + TA ha guadagnato +13.5% di accuratezza media su 8 task (ViT-B/32).
  • Su 30 task, si raggiunge un'accuratezza vicina a quella del fine-tuning completo ben prima di raggiungere la dimensione massima ($M\times$), spesso intorno a $6\times$ per 8 task e $23.5\times$ per 30 task.
  • Questo significa che si può ridurre lo storage del ~25% rispetto al mantenimento di tutti i modelli separati con una perdita di accuratezza minima.
• Confronto con Channel Merging: FLEXMERGE supera l'approccio Channel Merging (che usa K-Means fisso per layer) grazie alla sua flessibilità nel numero di gruppi per blocco, ottenendo accurazioni superiori a parità di dimensione.
• Scalabilità: Aumentare la dimensione del modello in proporzione al numero di task mitiga la degradazione delle prestazioni quando si scala da 8 a 30 task, un problema critico per i modelli fissi.
• Overhead di Ricostruzione: Per metodi basati su maschere (come Consensus ed EMR), l'uso di dimensioni maggiori riduce drasticamente la latenza di ricostruzione dei pesi specifici per task durante l'inferenza.

5. Significato e Implicazioni

Il lavoro di FLEXMERGE introduce una nuova dimensione di progettazione per il merging di modelli:

• Cambiamento di Paradigma: Sposta il focus dalla ricerca di un singolo algoritmo ottimale per il caso $1\times$ all'esplorazione di algoritmi e configurazioni su tutto lo spettro delle dimensioni.
• Flessibilità Operativa: Consente ai praticanti di bilanciare dinamicamente costi di storage, latenza di inferenza e accuratezza in base alle esigenze specifiche del deployment (es. edge device vs server cloud).
• Riduzione della Complessità Algoritmica: Suggerisce che per dimensioni maggiori, algoritmi di merging più semplici possono essere sufficienti, riducendo la necessità di meccanismi complessi di risoluzione dei conflitti parametrici.

In sintesi, FLEXMERGE dimostra che il compromesso tra accuratezza e dimensione non è una scelta binaria, ma un continuum gestibile, offrendo soluzioni pratiche ed efficienti per il deployment di sistemi multi-task senza i costi del training congiunto o lo storage eccessivo di modelli separati.