Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

Titolo: Perché e Quando il Pruning dei Token Visivi Fallisce? Uno Studio sullo Spostamento delle Informazioni Visive Rilevanti nella Decodifica degli MLLM

1. Il Problema: Il Divario tra Comprensione Visiva e Ragionamento Visivo

I Large Language Models Multimodali (MLLM) moderni generano un numero enorme di token visivi per elaborare le immagini, creando un collo di bottiglia computazionale e di memoria. Per mitigare ciò, sono stati sviluppati metodi di Visual Token Pruning (potatura dei token visivi), che rimuovono i token ridondanti durante la fase di prefill (inizializzazione) mantenendo solo quelli più rilevanti.

Tuttavia, gli autori osservano un fallimento critico:

• Successo nella Comprensione Visiva (VQA): I metodi di pruning esistenti funzionano bene su compiti semplici (es. identificare oggetti, rispondere a domande fattuali), dove le informazioni visive necessarie sono concentrate in regioni specifiche e statiche.
• Fallimento nel Ragionamento Visivo (VMR): Questi stessi metodi subiscono un crollo delle prestazioni su compiti complessi di ragionamento (es. matematica visiva, logica, STEM).
• La Causa Radice: L'assunzione che le informazioni visive rilevanti identificate nella fase di prefill rimangano sufficienti per l'intera generazione è valida per la comprensione statica, ma non per il ragionamento dinamico.

2. Analisi Diagnostica: Lo Spostamento delle Informazioni Visive Rilevanti (RVIS)

Attraverso un'analisi sistematica delle mappe di attenzione, gli autori identificano un fenomeno fondamentale chiamato Relevant Visual Information Shift (RVIS).

• Definizione di RVIS: È il fenomeno per cui il focus visivo del modello cambia dinamicamente durante la fase di decoding (generazione del testo) per allinearsi ai nuovi requisiti logici di ogni passo del ragionamento.
• Evidenza Empirica:
  • Nei task di VQA, l'attenzione rimane stabile sulle regioni identificate all'inizio.
  • Nei task di ragionamento (es. MathVerse), l'attenzione subisce frequenti e drastici spostamenti verso diverse aree dell'immagine man mano che il modello procede nei passaggi logici.
• Impatto sul Pruning: I metodi di pruning attuali scartano permanentemente i token non selezionati nella fase di prefill. Quando si verifica un RVIS, il modello ha bisogno di informazioni visive che sono state già eliminate, portando a errori di ragionamento e al fallimento del task.

3. Metodologia Proposta: DSTP (Decoding-stage Shift-aware Token Pruning)

Per risolvere il problema del RVIS senza richiedere un ri-addestramento (training-free), gli autori propongono DSTP, un framework add-on che adatta il pruning durante la fase di decodifica.

DSTP si basa su due moduli integrati:

1. RISD (Relevant Visual Information Shift Detect):

   • Monitora l'attenzione visiva del modello ad ogni passo di decodifica.
   • Confronta l'attenzione corrente con l'attenzione iniziale (ancora) calcolata durante il prefill.
   • Calcola la similarità coseno tra i vettori di attenzione. Se la similarità scende sotto una soglia $\tau$ (es. 0.75), RISD rileva l'insorgenza di un RVIS.

2. CPTS (Context-Preserving Visual Token Swap):

   • Una volta rilevato un RVIS, CPTS recupera i token visivi che erano stati scartati ma mantenuti in riserva (Reserved Visual Tokens).
   • Rivaluta l'importanza di tutti i token visivi (inclusi quelli precedentemente scartati) basandosi sulla query di testo corrente.
   • Meccanismo di Unione: Invece di sostituire completamente i token, CPTS esegue un'operazione di unione ($X^{Pruned}_v \cup X^{Pruned, l}_v$). Questo mantiene il contesto visivo globale (i token originali) mentre aggiunge i nuovi token rilevanti per il passo logico corrente.
   • I token aggiunti vengono mantenuti per una durata temporanea ($L$ passi) per garantire la coerenza logica, per poi tornare alla configurazione iniziale quando il focus si stabilizza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su architetture SOTA (Qwen3-VL, InternVL3.5) e diversi benchmark (MathVerse, WeMath, LogicVista, VQA).

• Miglioramento nel Ragionamento Visivo:

  • L'integrazione di DSTP con metodi di pruning esistenti (FastV, DivPrune, VisionZip) riduce drasticamente il degrado delle prestazioni sui task di ragionamento.
  • Ad esempio, su MathVerse con Qwen3-VL-4B (mantenendo il 33.3% dei token), FastV da solo ottiene il 32.23%, mentre FastV + DSTP raggiunge il 52.54% (un recupero dell'85.7% rispetto al modello completo).
  • DSTP supera significativamente i metodi statici, specialmente su task ad alta complessità visiva e logica.

• Prestazioni nella Comprensione Visiva:

  • Su benchmark VQA (es. SQA, GQA), DSTP mantiene o migliora leggermente le prestazioni rispetto ai metodi di pruning base, dimostrando di non introdurre rumore nei task semplici.

• Efficienza Computazionale:

  • DSTP è training-free e introduce un overhead computazionale trascurabile.
  • L'analisi dei FLOPs e della latenza mostra che DSTP è quasi efficiente quanto il pruning statico, ma molto più performante.
  • In alcuni casi, DSTP supera le prestazioni di un modello con pruning statico che mantiene il doppio dei token (es. 33% con DSTP > 66% senza DSTP), dimostrando che la rilevanza temporale dei token è più importante della semplice quantità.

5. Contributi Chiave e Significato

1. Identificazione del RVIS: Il paper è il primo a identificare e quantificare lo "Spostamento delle Informazioni Visive Rilevanti" come il principale fattore di fallimento dei metodi di pruning statici nei task di ragionamento complesso.
2. Framework Adattivo: Propone DSTP, una soluzione semplice ed efficace che trasforma il pruning da un processo statico (una tantum) a uno dinamico e consapevole del contesto.
3. Generalizzabilità: Il metodo funziona come un "plug-and-play" su diverse architetture MLLM e strategie di pruning esistenti, senza richiedere ri-addestramento.
4. Implicazioni Future: Il lavoro sottolinea che per abilitare il ragionamento complesso negli MLLM efficienti, è necessario abbandonare l'ipotesi di un focus visivo statico e adottare meccanismi che permettano il recupero dinamico delle informazioni visive durante la generazione.

In sintesi, questo studio dimostra che per ottenere un ragionamento visivo robusto ed efficiente, i sistemi devono essere capaci di "guardare di nuovo" l'immagine quando il ragionamento richiede nuove evidenze, superando i limiti dei metodi di compressione statica.