Dynamic Model Merging Made Slim

Sintesi Tecnica: DiDi-Merging

Enunciato del Problema
Il merging di modelli consente il riutilizzo di modelli fine-tuned senza addestramento congiunto o accesso ai dati originali, affrontando gli elevati costi di distribuzione di modelli multipli specifici per compito e l'irrealizzabilità dell'addestramento multi-compito a causa di vincoli di privacy o computazionali. Mentre il merging statico fonde i modelli in un singolo checkpoint, soffre di interferenza tra i compiti. Il merging dinamico migliora la flessibilità instradando gli input verso componenti esperti rilevanti per il compito, ma i metodi esistenti affrontano un collo di bottiglia critico nello storage. Gli approcci dinamici attuali ricadono in due estremi subottimali:

1. Condiviso Pesante: Mantenimento di un modello condiviso a dimensione intera con piccoli esperti per compito (es. TALL-Mask, EMR-Merging), risultando in un numero di parametri non inferiore a quello del modello originale.
2. Esperto Pesante: Scarto del componente condiviso e memorizzazione di tutta la conoscenza nei vettori esperti per compito (es. TSV-C, SMILE), causando uno storage che scala linearmente con il numero di compiti.
   Nessuno di questi approcci bilancia efficacemente il compromesso tra conoscenza condivisa e capacità specifica per compito, portando a un eccessivo sovraccarico di storage (tipicamente $\ge 2\times$ la dimensione di un singolo modello fine-tuned).

Metodologia: DiDi-Merging
Gli autori propongono DiDi-Merging (Merging Dinamico con Rango Differenziabile), un framework di merging dinamico snello che bilancia i parametri tra esperti condivisi e specifici per compito attraverso un'allocazione di rango differenziabile. Il metodo opera in tre fasi:

1. Decomposizione a Basso Rango: I vettori di compito ($\tau_t = \theta_t - \theta_0$) sono decomposti in una matrice di conoscenza condivisa ($M_s$) ottenuta tramite media statica, e residui esperti per compito ($M_t = \tau_t - M_s$). Entrambe le matrici sono decomposte tramite Scomposizione ai Valori Singoli (SVD).
2. Ottimizzazione Differenziabile del Rango: Invece di un'allocazione di rango fissa, il metodo formula la gestione del budget dei parametri come un problema di ottimizzazione differenziabile. Una funzione di troncamento liscia ridistribuisce i valori singolari basandosi su un parametro di rango continuo apprendibile $r$. L'obiettivo minimizza una perdita di ricostruzione del compito (Errore Quadratico Medio tra i vettori di compito ricostruiti e originali) penalizzando al contempo le deviazioni da un rapporto di compressione target. Ciò permette al modello di ottimizzare congiuntamente i ranghi dei componenti condivisi ed esperti, allocando più capacità a compiti diversificati e meno a quelli simili, senza accesso ai dati di addestramento originali.
3. Raffinamento Senza Dati: Dopo aver determinato i ranghi ottimali, i parametri a basso rango troncati sono raffinati utilizzando un passo di ottimizzazione senza dati. Moduli in stile LoRA a basso rango ($A, B$) sono inizializzati dalla SVD troncata e aggiornati per minimizzare la perdita di ricostruzione rispetto ai vettori di compito archiviati, recuperando le prestazioni perse durante il troncamento.

Contributi Chiave

1. Identificazione delle Modalità di Fallimento: Il documento caratterizza i metodi esistenti di merging dinamico come affetti da estremi di allocazione "condiviso pesante" o "esperto pesante", entrambi dei quali portano a compromessi subottimali tra accuratezza ed efficienza.
2. Allocazione Differenziabile del Rango: DiDi-Merging introduce un meccanismo per ottimizzare congiuntamente i ranghi condivisi e specifici per compito tramite un obiettivo di troncamento SVD differenziabile, eliminando la necessità di sintonizzazione manuale del rango o accesso ai dati.
3. Merging Dinamico Snello: Il framework raggiunge prestazioni quasi senza perdita con uno storage significativamente ridotto. Corrisponde alle basi dinamiche precedenti con un conteggio di parametri pari a 1.24$\times$ quello di un singolo modello fine-tuned e li supera a 1.4$\times$, superando sostanzialmente i metodi che richiedono uno storage $\ge 2\times$.

Risultati Sperimentali
DiDi-Merging è stato valutato su visione, Modelli Linguistici su Grande Scala (LLM) e Modelli Linguistici Multimodali su Grande Scala (MLLM):

• Visione: Su un benchmark ViT-B/32 a 8 compiti, DiDi-Merging-S (budget 1.24$\times$) ha corrisposto alla base dinamica più forte (TSV-C a 2.08$\times$) con un'accuratezza del 89.3% contro l'89.5%, utilizzando meno del 60% dello storage. A 1.4$\times$, ha raggiunto il punteggio complessivo più alto (89.8%).
• LLM: Unendo Llama-3.1-8B-Instruct e Qwen-2.5-7B-Instruct attraverso quattro domini, DiDi-Merging-L (budget 2.0$\times$) ha superato i metodi dinamici precedenti di una media del +5.4% su Llama-3.1-8B, con guadagni significativi su benchmark di seguito delle istruzioni come AlpacaEval-2.
• MLLM: In contesti multimodali (visione, audio, video, nuvola di punti), DiDi-Merging ha costantemente superato le basi dinamiche senza dati (NaiveMC, MMER) mantenendo una piccola impronta parametrica. In particolare, ha raggiunto un mantenimento delle prestazioni superiore al 100% su certi compiti sfruttando la conoscenza incrociata tra modalità condivisa.
• Efficienza: Il metodo richiede risorse computazionali modeste (circa 1.1 GB di memoria GPU) e viene eseguito in circa 14 minuti per la fase di ottimizzazione su ViT-B/32.

Significato e Affermazioni
Il documento afferma che DiDi-Merging rappresenta un passo significativo in avanti nel rendere il merging dinamico di modelli pratico per la distribuzione su larga scala. Spostandosi dalla dicotomia "condiviso pesante" o "esperto pesante", raggiunge un compromesso Pareto-ottimale tra efficienza parametrica e accuratezza. Gli autori sottolineano che il metodo è completamente senza dati, affidandosi esclusivamente ai vettori di compito archiviati per il raffinamento, il che preserva la privacy e riduce la barriera all'ingresso per il merging di modelli specializzati. Il framework è presentato come una soluzione generale applicabile attraverso i domini della visione, del linguaggio e multimodale, abilitando la distribuzione di ensemble di esperti senza il sovraccarico di storage del mantenimento di modelli multipli completi o il degrado delle prestazioni del merging statico.