Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment

Il paper introduce VisionDrop, un framework di pruning visivo senza addestramento che supera le limitazioni della riduzione guidata dal testo selezionando i token visivi più informativi basandosi esclusivamente sull'attenzione intra-modale, ottenendo così una significativa riduzione della complessità computazionale con una minima perdita di prestazioni.

L'essenziale

Immagina che un Modello Linguistico Visivo (LVLM) sia come un detective molto intelligente che deve risolvere un caso guardando una foto e leggendo una domanda.

Il Problema: Troppi Dettagli, Troppo Rumore

Fino a poco tempo fa, per far capire la foto al detective, gli venivano mostrati migliaia di piccoli pezzi (chiamati "token") della stessa immagine.

• L'analogia: È come se il detective dovesse esaminare ogni singolo granello di sabbia di una spiaggia per capire se c'è un tesoro sepolto.
• Il risultato: Il detective si stanca, ci mette un'eternità a lavorare e consuma molta energia (computer lenti e costosi). Inoltre, molti di quei grani di sabbia sono inutili (erba, cielo vuoto) e distraggono solo.

L'Errore dei Metodi Vecchi: "Chiedi al testo cosa è importante"

I ricercatori precedenti hanno provato a risolvere il problema chiedendo al detective: "Ehi, basandoti sulla domanda che mi hai fatto, quali pezzi della foto sono importanti?".

• Il problema: Il paper scopre che questo approccio ha un difetto fondamentale. Immagina che il detective, mentre legge la domanda, si confonda o si distragga. Se la domanda è "Cosa c'è nel cielo?", il detective potrebbe ignorare un cane importante a terra perché la sua attenzione è "fuori strada".
• La scoperta: I ricercatori hanno visto che c'è un "disallineamento". La domanda (testo) e la foto (visivo) non sono sempre perfettamente sincronizzati dentro la mente del modello. Chiedere al testo di guidare la selezione della foto è come chiedere a una persona che non ha mai visto il quadro di dire quali pennellate sono belle: spesso sbaglia.

La Soluzione: VisionDrop (Il Filtro Visivo Puro)

Gli autori propongono VisionDrop, un nuovo metodo che non chiede al testo cosa guardare. Invece, guarda solo la foto per decidere cosa tenere.

Ecco come funziona, passo dopo passo, con un'analogia:

1. Non ascoltare la domanda, guarda l'immagine:
   Invece di chiedere al testo "Cosa è importante?", VisionDrop chiede alla foto stessa: "Quali pezzi di te sono più collegati tra loro?".

   • Metafora: È come se il detective guardasse la foto e dicesse: "Questi alberi sono collegati tra loro, questo cane guarda quel cane... questi sono i pezzi che si 'parlano' tra loro, quindi sono importanti". Non importa cosa dice la domanda in quel momento.

2. Il Potere della "Cascata" (Pruning Progressivo):
   Invece di tagliare i pezzi della foto tutti insieme all'inizio (rischiando di buttare via cose importanti), VisionDrop lo fa a piccoli passi mentre il detective analizza l'immagine.

   • Analogia: Immagina di setacciare la sabbia in tre passaggi.
     • Passo 1: Togli i sassi più grandi e inutili.
     • Passo 2: Mentre il detective pensa, unisci i sassi piccoli simili tra loro in un unico "pacchetto" (così non perdi il dettaglio, ma riduci il numero di oggetti).
     • Passo 3: Alla fine, hai solo i pezzi essenziali.

3. Unire i pezzi simili (Merging):
   Se ci sono due pezzi di cielo molto simili, invece di buttarne uno e perderlo, VisionDrop li "fonde" in un unico pezzo rappresentativo.

   • Metafora: Invece di avere 100 fogli di carta bianca sparsi, ne fai un unico blocco di carta bianca. Il detective capisce che c'è del bianco, ma non deve leggerne 100 volte.

Perché è Geniale?

• Non serve riaddestrare: Funziona subito su modelli già esistenti (come LLaVA), come mettere un filtro su una fotocamera senza dover cambiare la macchina fotografica.
• Velocità folle: Grazie a questo metodo, il detective lavora 2,7 volte più velocemente e consuma 6 volte meno energia.
• Mantiene la precisione: Anche se butta via il 94% dei pezzi della foto, il detective sbaglia quasi quanto prima (mantiene il 95% della sua intelligenza).

In Sintesi

VisionDrop è come un assistente molto attento che, invece di farsi confondere dalla domanda, guarda direttamente la scena e dice: "Ehi, questi sono gli elementi che contano davvero, uniamo quelli noiosi e scartiamo il resto".

Il risultato? Un'intelligenza artificiale che vede le immagini più velocemente, consuma meno batteria e, paradossalmente, capisce meglio perché non si lascia distrarre da segnali sbagliati. È perfetto anche per immagini complesse (come quelle mediche o satellitari) dove le parole potrebbero non descrivere tutto ciò che serve.

Sommario tecnico

1. Il Problema: Sovraccarico Computazionale e Disallineamento Cross-Modale

I Large Vision-Language Models (LVLM) attuali, come LLaVA, codificano gli input visivi come sequenze dense di token a livello di patch per catturare semantica fine. Tuttavia, questo approccio genera un numero di token visivi che supera di gran lunga quello dei token testuali, causando un enorme sovraccarico computazionale (crescita quadratica nella computazione dell'attenzione) e limitando la scalabilità per immagini ad alta risoluzione o applicazioni in tempo reale.

Le soluzioni esistenti per la riduzione dei token visivi (pruning) operano spesso all'interno del Large Language Model (LLM) basandosi su segnali guidati dal testo. Questi metodi assumono implicitamente che i token testuali siano perfettamente allineati con l'importanza dei token visivi.
Il paper identifica che questa assunzione è errata a causa di tre forme di disallineamento cross-modale che si manifestano negli strati dell'LLM:

1. Disallineamento Causale: A causa della natura autoregressiva dell'LLM, l'ultimo token di testo tende a focalizzarsi sui token vicini nella sequenza di input, introducendo un bias di località che ignora regioni visive semanticamente importanti ma posizionalmente distanti.
2. Disallineamento Semantico: Man mano che i token attraversano l'LLM, le rappresentazioni visive e testuali si intrecciano (entanglement), rendendo il token di istruzione finale un embedding ibrido che perde la capacità di valutare accuratamente l'importanza di specifici token visivi.
3. Disallineamento Spaziale: La fusione dei token visivi e testuali in un'unica sequenza piatta diluisce i prior spaziali. Poiché il testo non possiede una consapevolezza spaziale intrinseca, i metodi guidati dal testo possono scartare regioni visivamente salienti non menzionate esplicitamente nel prompt.

2. Metodologia: VisionDrop

Per affrontare questi limiti, gli autori propongono VisionDrop, un framework di pruning senza training (training-free) e puramente visivo. L'obiettivo è selezionare i token informativi basandosi esclusivamente sull'attenzione intra-modale (visivo-su-visivo), evitando la dipendenza da segnali testuali potenzialmente disallineati.

L'architettura tratta l'encoder visivo e l'LLM come un sistema unificato, implementando una pipeline di pruning progressiva attraverso più stadi:

• Selezione Dominante di Token (Dominant Token Selection):

  • Invece di usare l'attenzione incrociata testo-visiva, VisionDrop calcola l'importanza di un token visivo basandosi su quanto spesso viene "guardato" da altri token visivi (self-attention visiva).
  • Nei modelli con token [CLS] (es. CLIP), si usa l'attenzione da [CLS] ai token visivi. In assenza di [CLS] o nell'LLM, si calcola la media delle attenzioni ricevute da tutti i token visivi.
  • Vengono selezionati i token con i punteggi di importanza più alti per essere propagati allo stadio successivo.

• Fusione Contestuale Leggera (Lightweight Contextual Merging):

  • Per evitare di perdere dettagli sottili o ausiliari scartando i token non dominanti, questi vengono fusi piuttosto che eliminati.
  • I token rimanenti vengono raggruppati in base alla similarità dei loro vettori chiave (key embeddings).
  • I token simili vengono fusi in "token contestuali" arricchiti, preservando l'informazione complementare mentre si mantiene il budget di token sotto controllo.

Questa strategia viene applicata progressivamente sia nell'encoder visivo che negli strati di decodifica dell'LLM, bilanciando stabilità e capacità espressiva.

3. Contributi Chiave

• Analisi Empirica del Disallineamento: Dimostrazione empirica che l'allineamento tra rappresentazioni visive e testuali si degrada negli strati dell'LLM, rendendo i metodi di pruning guidati dal testo subottimali, specialmente sotto compressioni aggressive.
• Framework VisionDrop: Introduzione di un metodo di pruning progressivo e senza training che opera esclusivamente su segnali visivi, superando i limiti dei metodi basati su testo.
• Strategia Ibrida di Selezione e Fusione: Un approccio che combina la selezione dei token dominanti (per l'informazione principale) con la fusione contestuale (per i dettagli sottili), applicata a più stadi della rete.
• Prestazioni Superiori: Risultati che mostrano come VisionDrop mantenga le prestazioni originali molto meglio delle tecniche state-of-the-art (SOTA) anche con budget di token estremamente ridotti.

4. Risultati Sperimentali

Il metodo è stato valutato su modelli come LLaVA-1.5-7B, LLaVA-NeXT-7B e Video-LLaVA-7B su diversi benchmark (GQA, MMBench, POPE, ecc.).

• Efficienza e Accuratezza:
  • Su LLaVA-NeXT-7B, con una riduzione del 94,4% dei token (mantenendo solo 160 token su 2880), VisionDrop preserva il 92,06% delle prestazioni originali, superando il miglior baseline di 1,71%.
  • Su LLaVA-1.5-7B, con solo 32 token (riduzione del 94,4%), mantiene il 91,46% delle prestazioni.
• Riduzione delle Risorse:
  • L'integrazione con LLaVA-NeXT-7B porta a una riduzione della latenza di inferenza di 2,7 volte e dei FLOPs di 6 volte, mantenendo il 95,71% delle prestazioni originali.
• Robustezza: VisionDrop mostra una maggiore stabilità rispetto ai metodi SOTA (come FastV, PyramidDrop, SparseVLM) man mano che il numero di token rimanenti diminuisce, confermando che l'approccio "solo visivo" è più robusto alla compressione aggressiva.

5. Significato e Impatto

Il lavoro di VisionDrop è significativo perché sfida l'ipotesi consolidata secondo cui il testo può guidare in modo affidabile la selezione delle informazioni visive all'interno degli LVLM. Dimostrando che il disallineamento cross-modale è un problema reale e critico, il paper introduce una soluzione che:

1. Migliora l'efficienza senza richiedere ri-addestramento o modifiche complesse al modello.
2. È particolarmente vantaggiosa in scenari dove i segnali linguistici sono scarsi o debolmente allineati al contenuto visivo (es. immagini mediche ad alta risoluzione, telerilevamento).
3. Abilita l'uso pratico di LVLM su dispositivi con risorse limitate o per applicazioni in tempo reale, riducendo drasticamente il costo computazionale mantenendo alta la qualità della comprensione visiva.