Riepilogo Tecnico: Miglioramento dell'Efficienza di Addestramento degli MLLM tramite Sparsità Consapevole delle Fasi

Enunciato del Problema

I Modelli Linguistici Multimodali su Larga Scala (MLLM) hanno dimostrato capacità significative, ma soffrono di processi di addestramento inefficienti. Questa inefficienza deriva da due fonti principali di ridondanza:

1. Ridondanza dei Dati: Gli input multimodali introducono centinaia di token visivi per campione, molti dei quali contribuiscono marginalmente alle previsioni finali.
2. Ridondanza dei Parametri: Le architetture transformer profonde contengono dozzine di livelli, ma non tutti i livelli sono ugualmente critici durante l'intero processo di addestramento.

I metodi di efficienza esistenti affrontano tipicamente questi problemi in modo indipendente (ad esempio, compressione dei token o salto dei livelli) e trattano la ridondanza come una proprietà statica. Tuttavia, il documento sostiene che i modelli di ridondanza sono dipendenti dalla fase. Durante l'allineamento delle modalità, il modello linguistico (LLM) è spesso congelato e il collo di bottiglia è l'elaborazione di massive sequenze di token visivi. Al contrario, durante il fine-tuning delle istruzioni, i parametri dell'LLM vengono aggiornati attivamente e il collo di bottiglia si sposta sul sovraccarico computazionale dei livelli transformer profondi. Trattare la ridondanza come statica porta a compromessi subottimali tra efficienza e prestazioni.

Metodologia: Schema di Addestramento Sparsivo (STS)

Gli autori propongono lo Schema di Addestramento Sparsivo (STS), un framework unificato che adatta le strategie di sparsità ai colli di bottiglia computazionali specifici delle diverse fasi di addestramento. STS è composto da due componenti complementari:

1. Compressore di Token Visivi (VTC) – Fase I: Allineamento delle Modalità

Applicato durante la fase di allineamento delle modalità, dove l'LLM è congelato e viene aggiornato solo il proiettore.

• Funzione: Riduce la lunghezza dei token visivi ($T_v$) prima che entrino nell'LLM per alleviare la ridondanza dei dati.
• Meccanismo: Una funzione di selezione $C$ mappa $T_v \in \mathbb{R}^{b \times n \times d}$ in una sequenza compressa $T_v' \in \mathbb{R}^{b \times n' \times d}$ ($n' < n$).
• Strategie di Selezione:
  • Campionamento Uniforme: Selezione a passo fisso per preservare le strutture semantiche globali.
  • Campionamento Casuale: Introduce stocasticità per migliorare la robustezza.
  • Guidato dalle Istruzioni: Utilizza la similarità del coseno tra token visivi e testuali per scartare informazioni visive irrilevanti.
• Implementazione: Il documento adotta il Campionamento Uniforme come strategia predefinita, rilevando che offre le prestazioni più bilanciate tra i compiti rispetto all'instabilità del campionamento casuale o al bias della selezione guidata dalle istruzioni.

2. Saltatore Dinamico dei Livelli (LDS) – Fase II: Fine-tuning delle Istruzioni

Applicato durante il fine-tuning delle istruzioni, dove i parametri dell'LLM vengono aggiornati.

• Funzione: Salta dinamicamente i livelli del decoder non necessari per ridurre gli aggiornamenti dei parametri e il sovraccarico computazionale.
• Meccanismo: Per il livello $l$ al passo di addestramento $e$, lo stato nascosto viene aggiornato come $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$, dove $z_l$ è una variabile di Bernoulli controllata da una probabilità di salto $p_l(e)$.
• Formulazione della Probabilità: La probabilità di salto combina due fattori:
  • Decadimento basato sul Passo: Basato sulla tendenza di convergenza "dal grezzo al fine". All'inizio dell'addestramento, i gradienti sono grezzi, consentendo tassi di salto più alti. La probabilità decade quadraticamente man mano che l'addestramento procede: $\alpha (\frac{E-e}{E})^2$.
  • Regolazione basata sulla Profondità: Riconoscendo che i livelli superficiali estraggono le caratteristiche più efficacemente rispetto ai livelli profondi, la probabilità viene regolata in base alla profondità del livello $l$: $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$.
• Configurazione Predefinita: Gli autori rilevano che $\alpha=0.5$ e $\epsilon=0.5$ offrono il miglior compromesso tra efficienza e prestazioni del compito.

Contributi Chiave

1. Analisi della Ridondanza Dipendente dalla Fase: Il lavoro rivela che la ridondanza nell'addestramento degli MLLM non è statica; la ridondanza dei dati domina l'allineamento delle modalità, mentre la ridondanza dei parametri domina il fine-tuning delle istruzioni.
2. Framework Unificato (STS): Propone un framework di addestramento sparsivo consapevole delle fasi che modella esplicitamente i modelli di ridondanza in evoluzione, applicando la sparsità a livello di token durante l'allineamento e la sparsità a livello di livelli durante il fine-tuning.
3. Validazione Empirica: Dimostra, attraverso esperimenti estesi, che STS riduce significativamente i costi computazionali mantenendo un'alta accuratezza su diverse architetture MLLM.

Risultati Sperimentali

Gli autori hanno valutato STS su cinque MLLM (varianti di LLaVA, Mipha, Phi-2, MoE-LLaVA) su benchmark inclusi GQA, VQAv2, SQA, POPE e MME.

• Efficienza: STS ha raggiunto una riduzione media di oltre il 15% nei FLOPs. Nello specifico, il rapporto teorico dei FLOPs rispetto alla baseline è stato ridotto a circa 82,2%.
• Prestazioni: Il metodo ha mantenuto in media dal 96,9% al 99,7% dell'accuratezza della baseline.
  • Le metriche di robustezza (POPE) e le valutazioni complete (MME) hanno mostrato un degrado minimo.
  • I compiti orientati alla percezione (GQA, VQAv2) hanno mostrato cali leggermente più evidenti (circa 2–3 punti), sebbene in alcuni casi (ad esempio, SQA su LLaVA), STS abbia superato la baseline, suggerendo potenziali effetti di regolarizzazione implicita.
• Studi di Ablazione:
  • VTC: Il campionamento uniforme si è dimostrato più robusto rispetto al campionamento casuale o a quello guidato dalle istruzioni.
  • LDS: I valori estremi per gli iperparametri $\alpha$ (tasso di salto) e $\epsilon$ (varianza di profondità) hanno distorto il modello verso capacità specifiche. La configurazione bilanciata ($\alpha=0.5, \epsilon=0.5$) ha prodotto il miglior compromesso.
  • Framework Congiunto: L'uso combinato di VTC e LDS ha fornito un compromesso efficienza-prestazioni superiore rispetto all'uso di ciascun componente in isolamento.

Significato e Affermazioni

Il documento afferma che STS offre una soluzione pratica e scalabile per l'ottimizzazione efficiente degli MLLM. Spostando il focus dalla riduzione statica della ridondanza a un approccio consapevole delle fasi, il framework affronta i colli di bottiglia specifici delle diverse fasi di addestramento senza richiedere cambiamenti architetturali complessi. Gli autori sottolineano che STS è ampiamente applicabile a diverse architetture MLLM e raggiunge un addestramento più rapido con una minima perdita di prestazioni, rendendolo una strategia praticabile per ridurre le barriere computazionali nell'addestramento di modelli multimodali su larga scala.