ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

1. Enunciato del Problema

I Modelli Linguistici Multimodali su Grande Scala (MLLM) affrontano significativi colli di bottiglia computazionali durante l'addestramento, guidati principalmente dalla complessità quadratica del meccanismo di auto-attenzione rispetto alla lunghezza della sequenza di input. Questo problema è esacerbato nei compiti video, dove i fotogrammi vengono tokenizzati in sequenze estremamente lunghe.

• Limiti dei Metodi Esistenti: Le attuali strategie di efficienza (potatura dei token, fusione, compressione) mirano prevalentemente all'inferenza utilizzando token statici o pre-valutati. Non riescono ad adattarsi dinamicamente durante la fase di addestramento.
• Inefficienza dell'Addestramento: Nell'addestramento standard, il modello elabora ogni token in ogni passaggio in avanti e all'indietro, indipendentemente dal fatto che il token sia ridondante o facilmente prevedibile dal solo testo. Questo spreca notevoli risorse computazionali e limita la capacità di scalare verso contesti più lunghi e dataset più grandi.
• Il Divario: Manca un metodo principiato e adattivo per stimare l'importanza del token durante l'addestramento che catturi le dipendenze cross-modali senza affidarsi a euristiche (come l'eliminazione casuale) o introdurre modifiche architetturali.

2. Metodologia: REGATE

Gli autori propongono REGATE (Reference-Guided Adaptive Token Elision), un framework progettato per accelerare l'addestramento degli MLLM selezionando dinamicamente i token informativi mentre salta quelli ridondanti.

Architettura Principale: Framework Docente-Studente

• Modello Studente: L'MLLM in fase di addestramento (es. VideoChat2, VideoLLaMA2, InternVL3.5).
• Modello Docente: Una versione congelata, solo testo del backbone LLM dello studente. Viene creata rimuovendo il codificatore visivo e il proiettore dal modello studente.
• Meccanismo: Il docente agisce come un esperto di riferimento per stimare quanto un token specifico dipenda dal contesto visivo.

Meccanismo di Punteggio dei Token

REGATE calcola un punteggio di difficoltà unificato ($d_{b,i}$) per ogni token basandosi su due segnali complementari:

1. Perdita di Riferimento ($\ell^{ref}_{b,i}$): Il modello docente tenta di prevedere il token utilizzando solo il contesto testuale (con i token visivi sostituiti da segnaposto).
   • Bassa Perdita: Il token è prevedibile dal solo testo (ridondante).
   • Alta Perdita: Il token richiede un ancoraggio visivo (critico).
2. Difficoltà Storica dello Studente ($m_{s,i}$): Una Media Mobile Esponenziale (EMA) della perdita di entropia incrociata dello studente per quella posizione del token nel tempo. Questo traccia i token che lo studente fatica costantemente a imparare.

Il punteggio combinato è formulato come:
$$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$$
Dove $\lambda$ bilancia il segnale di riferimento statico e il segnale dinamico di apprendimento dello studente.

Gate Dinamico dei Token e Sparsità

• Generazione della Maschera: Per ogni batch, viene generata una maschera binaria selezionando i primi $k$ token con i punteggi di difficoltà combinati più alti.
• Preservazione dei Token Visivi: I token visivi speciali (es. <image>, <video>) vengono sempre mantenuti per preservare la struttura multimodale, indipendentemente dal loro punteggio di difficoltà.
• Programma a Doppio Ciclo: Per garantire stabilità, REGATE impiega un programma deterministico:
  • Fase di Riscaldamento: Tutti i token vengono elaborati per i primi $F$ passi di ogni ciclo.
  • Fase Sparsa: Viene elaborata solo una proporzione fissa ($p_{sparse}$) di token per i passi rimanenti.
• Implementazione del Decoder Sparsa: Il decoder transformer viene modificato per eseguire operazioni di auto-attenzione e Feed-Forward Network (FFN) solo sui token attivi (mantenuti). I token inattivi bypassano il calcolo ma mantengono le connessioni residue per preservare la continuità del flusso del gradiente. Ciò è implementato in modo efficiente utilizzando le maschere Flash Attention.

3. Contributi Chiave

1. Potatura Adattiva dell'Addestramento: Introduzione del primo metodo di potatura adattiva dei token specificamente per l'addestramento degli MLLM che identifica dinamicamente i token visivamente essenziali senza aggiungere parametri addestrabili.
2. Indipendente dal Modello e Senza Modifiche Architetturali: REGATE si integra perfettamente negli MLLM esistenti (inclusi quelli che utilizzano LoRA o full fine-tuning) senza modificare l'architettura del modello o richiedere componenti apprendibili aggiuntivi.
3. Guida a Doppio Segnale: Un meccanismo di punteggio innovativo che combina una perdita di riferimento cross-modale statica (da un docente solo testo) con la storia dinamica di apprendimento dello studente, isolando efficacemente i token che sono sia visivamente critici che difficili da imparare.

4. Risultati Sperimentali

Gli autori hanno valutato REGATE su tre MLLM rappresentativi: VideoChat2 (Mistral-7B), VideoLLaMA2 (Qwen2-7B) e InternVL3.5 (Qwen3-14B) su 5 benchmark di immagini e 8 benchmark video.

Guadagni di Efficienza

• Riduzione dei Token: REGATE raggiunge la massima precisione utilizzando in media solo il 38% dei token rispetto all'addestramento standard.
• Velocità di Addestramento: Raggiunge la massima precisione della baseline 2 volte più velocemente sul benchmark MVBench.
• Risparmio di Risorse:
  • VideoLLaMA2: Riduzione del tempo di addestramento da 129,6 a 64,0 ore-GPU (con potatura aggressiva) mantenendo la precisione.
  • InternVL3.5: Riduzione dell'uso dei token del 41,4% e del tempo di addestramento di circa il 40% superando la precisione della baseline.
  • Memoria: Riduzione dell'uso medio di memoria per GPU di 7–8 GB (circa 10–11%) su tutti i modelli.

Precisione delle Prestazioni

• Superamento delle Baseline: Con un addestramento esteso, i modelli REGATE hanno costantemente superato le baseline standard su più benchmark.
  • Esempio: VideoLLaMA2-REGATE ha migliorato la precisione su ScienceQA del 19,1% e su MME di 33,1 punti utilizzando il 41% in meno di token.
  • Esempio: InternVL3.5-REGATE ha raggiunto una precisione più alta sui benchmark Video-MME e MLVU con significativamente meno token.
• Generalizzazione: Il metodo si è dimostrato efficace su diversi backbone (Mistral, Qwen) e strategie di addestramento (Full Fine-tuning, LoRA).

5. Significato e Conclusione

REGATE affronta un collo di bottiglia critico nella scalabilità degli MLLM: il costo computazionale dell'addestramento su lunghe sequenze multimodali.

• Cambiamento di Paradigma: Sposta l'efficienza dei token da una preoccupazione esclusiva per l'inferenza a un'ottimizzazione durante l'addestramento, dimostrando che i modelli possono imparare meglio (maggiore precisione) e più velocemente concentrandosi computazionalmente sui punti dati più informativi.
• Praticità: Richiedendo nessuna modifica architetturale e nessun parametro extra addestrabile, REGATE offre una soluzione plug-and-play per ricercatori e professionisti per addestrare modelli più grandi su hardware limitato.
• Lavori Futuri: Gli autori suggeriscono che le direzioni future includono la pianificazione adattiva della sparsità basata sulla complessità del compito e l'esplorazione di modelli docenti più potenti per compiti di ragionamento più complessi.

In sintesi, REGATE dimostra che meno è più nell'addestramento degli MLLM: saltando intelligentemente i token ridondanti, i modelli convergono più velocemente, consumano meno memoria e raggiungono infine una comprensione multimodale superiore.