🤖 machine learning

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

Questo articolo propone DualSpeed, un framework di addestramento fast-slow che combina il pruning dei token visivi per l'efficienza con una modalità ausiliaria a sequenza completa e l'auto-distillazione per risolvere i disallineamenti tra addestramento e inferenza, accelerando così l'addestramento degli MLLM fino a 4,0 $\times$ senza compromettere le prestazioni.

Autori originali: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Pubblicato 2026-02-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a uno studente molto intelligente (un Modello Linguistico Multimodale di Grandi Dimensioni) a comprendere il mondo mostrandogli migliaia di immagini.

Il Problema: Il collo di bottiglia del "Troppe Informazioni"
Attualmente, questi modelli sono come studenti che si sentono sopraffatti. Quando mostri loro un'immagine, il computer la scompone in centinaia o addirittura migliaia di piccoli pezzi chiamati "token visivi". È come se avessi consegnato allo studente un libro di 1.000 pagine per ogni singola immagine, anche se la maggior parte di quelle pagine sono solo spazi bianchi inutili o schemi ripetitivi.

Cercare di leggere tutte quelle pagine richiede un tempo infinito. Questo rende l'addestramento di questi modelli incredibilmente lento, costoso e vorace di energia.

La Vecchia Idea: L'errore del "Taglia e Incolla"
I ricercatori si sono resi conto che molte di quelle pagine sono inutili. Hanno provato una tecnica chiamata Visual Token Pruning (Potatura dei Token Visivi), che è come usare un evidenziatore per sbarrare le pagine noiose e ridondanti prima di mostrarle allo studente. Questo funziona molto bene per testare lo studente in seguito (inferenza), rendendolo più veloce.

Ma quando hanno provato a usare questo metodo durante l'addestramento, ha avuto l'effetto opposto. Ha creato un "disallineamento".

L'Analogia: Immagina di aver addestrato lo studente solo su un riassunto di 10 pagine di un libro. Poi, all'esame finale, gli consegni il libro completo di 1.000 pagine. Lo studente andrebbe nel panico e fallirebbe perché non ha mai imparato a gestire la versione completa. Si è abituato troppo alla versione breve.

La Soluzione: DualSpeed (Il campo di addestramento "Fast-Slow")
Gli autori di questo articolo, Dingkun Zhang e il suo team, hanno creato un nuovo framework di addestramento chiamato DualSpeed. Pensa a un campo di addestramento a due corsie che passa da una all'altra casualmente per risolvere il problema del disallineamento.

La Corsia Veloce (La pratica rapida):
- La maggior parte del tempo (circa il 90% delle sessioni), il modello si addestra in "Modalità Fast".
- Qui, utilizzano la tecnica di "potatura" per tagliare via i token visivi inutili. Il modello impara velocemente dai riassunti brevi ed efficienti.
- Per aiutare il modello a ricordare quale versione sta guardando, aggiungono un piccolo "cartellino identificativo" invisibile (chiamato Mode Isolator) all'inizio del riassunto breve. Questo dice al modello: "Ehi, questa è la versione condensata; concentrati sui dettagli chiave".
La Corsia Lenta (La revisione del libro completo):
- Occasionalmente (circa il 10% delle volte), il modello passa alla "Modalità Slow".
- Qui, mostrano al modello l'immagine completa, non potata (tutte le 1.000 pagine).
- Per garantire che il modello non diventi pigro durante queste rare sessioni, usano un trucco chiamato Self-Distillation (Auto-distillazione). La "Modalità Fast" (che ha già imparato molto) agisce come un insegnante, sussurrando le risposte allo studente della "Modalità Slow". Questo assicura che lo studente apprenda la versione completa in modo efficace, anche se la vede meno spesso.

Il Risultato: Il meglio di entrambi i mondi
Mescolando questi due modi, il modello ottiene la velocità della Corsia Veloce ma mantiene la capacità di gestire il mondo completo e complesso della Corsia Lenta.

Velocità: Hanno addestrato i modelli da 2,1 a 4,0 volte più velocemente rispetto a prima.
Prestazioni: Nonostante la velocità, i modelli non sono diventati meno intelligenti. Hanno mantenuto oltre il 99% delle loro prestazioni originali.
Flessibilità: Il modello finale è abbastanza intelligente da gestire sia i riassunti brevi (se desideri velocità in seguito) sia le immagini complete (se desideri la massima accuratezza).

In sintesi
L'articolo sostiene che, utilizzando un sistema di commutazione "Fast-Slow", è possibile addestrare questi enormi modelli di IA molto più velocemente senza far loro dimenticare come leggere i libri completi. Hanno scoperto che circa il 90% dei token visivi è in realtà ridondante durante l'addestramento e che, tagliandoli via in modo intelligente (pur praticando occasionalmente con la versione completa), possono risparmiare una quantità enorme di tempo e denaro senza perdere intelligenza.

Sintesi Tecnica: DualSpeed per l'Addestramento Efficiente di MLLM

1. Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) affrontano un collo di bottiglia critico nell'efficienza dell'addestramento a causa delle loro dimensioni massicce e del volume enorme di token visivi generati da input ad alta risoluzione. Mentre i metodi esistenti di addestramento efficiente si concentrano sulla riduzione dei parametri del modello o dei parametri addestrabili, essi spesso trascurano il potenziale di riduzione del numero di token di addestramento.

Il Pruning dei Token Visivi (Visual Token Pruning - VTP) ha dimostrato di essere efficace per migliorare l'efficienza dell'inferenza scartando i token visivi ridondanti (ad esempio, sfondo o texture ripetitive). Tuttavia, l'applicazione diretta del VTP durante la fase di addestramento introduce un grave disallineamento tra addestramento e inferenza (training-inference mismatch). I modelli addestrati su sequenze ridotte faticano a operare efficacemente durante l'inferenza su sequenze visive complete e non ridotte. Questo divario deriva dalle discrepanze nella lunghezza della sequenza, nella densità di informazione e nella struttura spaziale tra le distribuzioni dei dati di addestramento e di inferenza. Di conseguenza, applicare semplicemente il pruning durante l'addestramento porta a una significativa degradazione delle prestazioni negli scenari di inferenza standard.

2. Metodologia: DualSpeed

Per affrontare il disallineamento tra addestramento e inferenza pur sfruttando l'efficienza del VTP, gli autori propongono DualSpeed, un framework fast-slow (veloce-lento) per l'addestramento di MLLM. Il framework opera alternando casualmente tra due modalità distinte durante il processo di addestramento:

A. Fast-Mode (Modalità di Efficienza Primaria)

Obiettivo: Massimizzare la velocità di addestramento riducendo i token visivi.
Meccanismo: Questa modalità incorpora i metodi VTP esistenti come plugin per ridurre la sequenza di token visivi.
Isolatore di Modalità (Mode Isolator): Per garantire che il modello possa distinguere tra input ridotti e completi, un Isolatore di Modalità apprendibile (un soft prompt di lunghezza $l$ ) viene concatenato come prefisso alla sequenza visiva ridotta. Questo stimola esplicitamente l'LLM ad attivare un pattern di percezione specifico adatto a input sparsi. Quando si elaborano sequenze complete, questo isolatore viene disabilitato.
Obiettivo di Addestramento: Standard Cross-Entropy loss sulla sequenza ridotta (con l'isolatore).

B. Slow-Mode (Modalità di Consistenza Ausiliaria)

Obiettivo: Mantenere la consistenza addestramento-inferenza apprendendo da sequenze visive complete.
Meccanismo: Il modello viene addestrato su sequenze visive complete e non ridotte.
Auto-distillazione: Poiché la slow-mode è attivata meno frequentemente (controllata dalla probabilità $r$ ), il suo apprendimento è potenziato tramite auto-distillazione. La Fast-Mode, sufficientemente addestrata, agisce come un "insegnante" (teacher), mentre la Slow-Mode agisce come uno "studente" (student). Entrambe condividono gli stessi parametri del modello, ma differiscono per le sequenze di input. Lo studente minimizza la divergenza di Kullback–Leibler (KL) tra i propri logit di output e i logit dell'insegnante (calcolati sulla sequenza ridotta).
Obiettivo di Addestramento: Una combinazione di Cross-Entropy loss sulla sequenza completa e della perdita di distillazione.

C. Strategia di Addestramento Complessiva

Il framework passa tra le modalità per batch in base a una probabilità $r$ . Durante le fasi in cui il backbone dell'LLM è congelato (ad esempio, nel pre-training), viene attivata solo la Fast-Mode per aumentare ulteriormente l'efficienza. Durante l'inferenza, il modello opera esclusivamente su sequenze visive complete e non ridotte senza l'Isolatore di Modalità, garantendo prestazioni non compromesse.

3. Contributi Chiave

Identificazione di una Sfida Fondamentale: Il documento identifica e analizza il disallineamento addestramento-inferenza come una barriera primaria all'applicazione del Pruning dei Token Visivi durante l'addestramento degli MLLM.
Framework DualSpeed: La proposta di un framework di addestramento collaborativo fast-slow che integra i plugin VTP preservando al contempo la consistenza attraverso un Isolatore di Modalità e l'auto-distillazione.
Validazione Empirica: La dimostrazione che il framework ottiene un'accelerazione significativa dell'addestramento (fino a 4.0×) mantenendo quasi il 99% delle prestazioni del baseline attraverso diverse architetture MLLM e risoluzioni.

4. Risultati Sperimentali

Gli autori hanno valutato DualSpeed su LLaVA-1.5 e LLaVA-NeXT utilizzando 9 benchmark rappresentativi di comprensione visiva (ad esempio, VQAv2, GQA, MME, MMBench).

Accelerazione dell'Addestramento:
- LLaVA-1.5: Ha ottenuto un'accelerazione complessiva dell'addestramento di 2.1× (con un'accelerazione di 5.8× nella fase di pre-training).
- LLaVA-NeXT: Ha ottenuto un'accelerazione complessiva dell'addestramento di 4.0× (con un'accelerazione di 5.3× nel pre-training), attribuita alla maggiore proporzione di token visivi nei modelli ad alta risoluzione.
Ritenzione delle Prestazioni:
- DualSpeed ha mantenuto il 99,61% delle prestazioni del baseline su LLaVA-1.5 e il 99,04% su LLaVA-NeXT.
- Al contrario, un'applicazione ingenua del pruning (NaivePrune) ha portato a una ritenzione delle prestazioni di solo ~95,89%, evidenziando la gravità del divario addestramento-inferenza.
Chiusura del Gap: Il framework ha chiuso con successo un gap di prestazioni di circa il 3,72% rispetto ai metodi di pruning ingenuo, portando le prestazioni del modello quasi al livello del baseline di addestramento completo.
Analisi della Ridondanza: Gli esperimenti hanno indicato che fino al 90% dei token visivi può essere rimosso durante l'addestramento senza una perdita significativa di prestazioni, a condizione che venga utilizzato il framework DualSpeed.

5. Significato e Rivendicazioni

Il documento afferma che DualSpeed offre una nuova via per scalare l'addestramento degli MLLM affrontando il collo di bottiglia computazionale dei token visivi senza sacrificare la capacità del modello. Decoupling (scollegando) i guadagni di efficienza del pruning dai requisiti di consistenza dell'inferenza, il framework consente:

Efficienza delle Risorse: Drastica riduzione dei tempi di addestramento e dei costi computazionali.
Scalabilità: La capacità di addestrare modelli ad alta risoluzione (come LLaVA-NeXT) in modo più fattibile.
Robustezza: I modelli risultanti sono naturalmente compatibili sia con l'inferenza normale (sequenze complete) che con l'inferenza con pruning (sequenze ridotte), poiché il processo di addestramento tiene esplicitamente conto di entrambe le distribuzioni dei dati.

Gli autori sottolineano che il loro approccio non richiede modifiche strutturali ai metodi VTP stessi, consentendo l'integrazione fluida delle tecniche di pruning esistenti come plugin nel pipeline di addestramento.