Riepilogo Tecnico: Quanti Token Visivi Servono ai Modelli Linguistici Multimodali? Scalare la Potatura dei Token Visivi con F3A

1. Enunciato del Problema

Man mano che i Modelli Vision-Language (VLM) aumentano di dimensioni e capacità, fanno sempre più affidamento su lunghe sequenze di token visivi per ottenere una percezione fine (ad esempio, OCR, comprensione di grafici, analisi video). Tuttavia, queste sequenze estese impongono costi computazionali significativi, dominando il calcolo di prefill, ingrandendo le cache KV e aumentando la latenza end-to-end.

La domanda centrale affrontata da questo lavoro è: Man mano che i modelli multimodali crescono, quanti token visivi sono effettivamente necessari e come dovrebbero essere allocati in un budget fisso di token visivi?

I metodi esistenti di potatura senza addestramento (ad esempio, FastV, VisionZip, DivPrune, CDPruner) trattano tipicamente la potatura dei token come un problema di ranking statico o di selezione di sottoinsiemi basato su segnali proxy one-shot come l'attenzione del decoder, la similarità visiva o la diversità condizionale. Gli autori sostengono che questi approcci siano incompleti, specialmente sotto compressione aggressiva. Il valore di un token non è semplicemente una funzione della sua salienza o ridondanza, ma dipende dalla sua evidenza per la query corrente. I metodi standard spesso falliscono nell'allocare dinamicamente i token attraverso un'immagine in base al compito specifico, portando a prestazioni subottimali quando i budget di token sono ristretti.

2. Metodologia: Algoritmo di Foraggiamento della Mosca della Frutta (F3A)

Il documento propone F3A, un router senza addestramento che riformula la potatura dei token visivi come ricerca di evidenze condizionata al compito. Ispirato agli algoritmi di ottimizzazione della mosca della frutta, F3A opera dopo la torre visiva ma prima che il modello linguistico consumi i token dell'immagine. Non richiede addestramento del modello, passaggi forward aggiuntivi dell'LLM o modifiche alla pipeline di decodifica.

Il metodo consiste in tre fasi sequenziali:

A. Costruzione del Campo Odoroso del Compito

F3A costruisce una mappa globale di evidenze a basso costo (il "campo odoroso") sui token visivi.

• Segnali Odorosi: Invece dell'attenzione appresa, F3A utilizza template deterministici e il layer di tokenizzazione/embedding congelato del MLLM di base per generare query di evidenze leggere. Queste includono un segnale globale (contesto completo della domanda), un segnale target (entità interrogata) e un segnale di compito (ad esempio, OCR, conteggio, relazioni spaziali).
• Rilevamento Sparsa: I segnali vengono abbinati ai token della griglia visiva utilizzando testine di rilevamento sparse congelate (proiezioni casuali). Ciò genera un punteggio di evidenza scalare ($a_i$) per ogni token, rappresentando evidenze pertinenti al prompt senza richiedere aggiornamenti dei gradienti.

B. Processo di Foraggiamento in Tre Fasi

F3A alloca un budget fisso di token ($K$) attraverso tre operatori:

1. Ricerca Grossolana (Esplorazione):
   La griglia visiva viene suddivisa in finestre non sovrapposte. Le finestre vengono valutate in base al loro valore odoroso medio. Le finestre superiori vengono selezionate per formare un pool di candidati ($P_1$), e un sottoinsieme "impalcatura" ($S_1$) viene mantenuto per garantire la copertura spaziale. Questo evita di impegnarsi troppo presto in token isolati ad alto punteggio.

2. Blocco Visivo (Sfruttamento Locale):
   All'interno del pool grossolano, F3A affina la selezione per confermare le evidenze locali e sopprimere la ridondanza.

   • Supporto Locale: I token vengono valutati in base al supporto del vicinato e all'accordo con i segnali di compito.
   • Inibizione del Ritorno: Viene applicata una penalità di ridondanza basata sulla similarità visiva e sulla prossimità spaziale ai token già selezionati. Questo incoraggia la selezione di evidenze diversificate e supportate localmente piuttosto che patch ridondanti raggruppate.

3. Salto di Soccorso (Esplorazione/Ripristino):
   Per evitare di perdere piccoli oggetti, testo periferico o contro-evidenze al di fuori delle finestre selezionate, una frazione del budget ($\alpha_{jump}$) viene riservata.

   • Incertezza/Copertura: I token vengono selezionati in base all'alta incertezza (ad esempio, piccoli margini tra i punteggi delle opzioni in compiti a scelta multipla) o alla bassa copertura da parte del sottoinsieme corrente.
   • Questo passaggio garantisce che le regioni sottocoperte vengano recuperate, impedendo al modello di collassare su aree ristrette ad alto punteggio.

C. Ricostruzione della Sequenza

L'insieme finale di token selezionati sostituisce il blocco visivo completo prima del prefill dell'LLM. Il prefisso di testo originale, il template del prompt e i pesi del modello rimangono invariati. Per i modelli consapevoli della griglia, gli indici dei token vengono mappati nuovamente alle coordinate originali della griglia per preservare le informazioni posizionali.

3. Contributi Chiave

• Riformulazione della Potatura: Gli autori riformulano la potatura dei token visivi senza addestramento come un problema di allocazione di token cross-scala piuttosto che una semplice compressione. Valutano la domanda di token attraverso modelli multimodali densi e MoE per determinare quanti token sono necessari per preservare il comportamento a token completo.
• Router F3A: Introducono F3A, un router single-pass e senza addestramento che esegue una ricerca di evidenze condizionata al compito utilizzando segnali condizionati alla domanda, rilevamento sparso e un processo in tre fasi ispirato al foraggiamento (ricerca grossolana, blocco, soccorso).
• Valutazione su Larga Scala: Il metodo è stato valutato su modelli Qwen3-VL che vanno da 2B a 235B parametri (coprendo sia architetture dense che MoE) su 11 benchmark multimodali. È stato testato anche su backbones Qwen2.5-VL e InternVL3.5 per dimostrare la trasferibilità.

4. Risultati Sperimentali

La valutazione copre 10 modelli e 3 rapporti di ritenzione (60%, 40%, 20%).

• Ritenzione delle Prestazioni: Su tutte le scale di modello, F3A supera costantemente i baseline (FastV, VisionZip, DivPrune, CDPruner).
  • Al 20% di ritenzione dei token visivi, F3A mantiene in media il 93,86% delle prestazioni a token completo.
  • Sul modello più grande (Qwen3-VL-235B-A22B), F3A mantiene il 93,86% delle prestazioni anche dopo aver rimosso l'80% dei token visivi.
• Domanda di Token a Fedeltà Fissa: Quando si punta al 97% delle prestazioni a token completo, F3A richiede in media solo il 39,9% di token visivi, rispetto al 50,1% del baseline concorrente più forte. Sul modello da 235B, F3A ottiene questo risultato con il 41,2% di token.
• Comportamento di Scalabilità: A differenza di altri metodi, il vantaggio di F3A persiste e spesso cresce man mano che il modello scala. Il guadagno medio di accuratezza sul baseline più forte è positivo su tutti i 18 impostazioni modello-ritenzione testati.
• Efficienza: F3A migliora il compromesso accuratezza-latenza. Su Qwen3-VL-8B al 20% di ritenzione, riduce la latenza end-to-end da 354,7 ms a 274,3 ms e l'ingombro della cache KV da 117,7 MB a 29,0 MB, mantenendo al contempo la più alta accuratezza tra i metodi potati.
• Significatività Statistica: Un test dei segni accoppiato su 30 impostazioni modello-ritenzione produce un valore p di $1,9 \times 10^{-9}$, confermando che F3A supera costantemente il baseline più forte non-F3A.

5. Significato e Affermazioni

Il documento afferma che l'inferenza multimodale scalabile dipende non solo dalle dimensioni del modello, ma anche dall'allocazione strutturata per ricerca di evidenze visive rilevanti per il compito.

• Condizionato al Compito vs Statico: I risultati suggeriscono che trattare la potatura come un problema di ranking statico è insufficiente per la compressione aggressiva. L'approccio di "foraggiamento", che localizza, affina e recupera dinamicamente le evidenze in base alla query specifica, è necessario per preservare la capacità dei modelli più grandi sotto budget di token ristretti.
• Prospettiva a Fedeltà Fissa: Il lavoro sostiene che la risposta alla domanda "quanti token sono necessari" non è un rapporto di ritenzione universale, ma un problema di allocazione dipendente dalla scala. F3A dimostra che una potatura efficace permette ai modelli più grandi di realizzare la loro piena capacità con significativamente meno token di quanto precedentemente ritenuto possibile.
• Generalizzabilità: Il metodo si è dimostrato robusto attraverso diverse famiglie di modelli (Qwen3, Qwen2.5, InternVL) e architetture (Dense vs MoE), suggerendo che il principio della ricerca di evidenze condizionata al compito è una soluzione generale per la potatura dei token multimodali.

Gli autori concludono che F3A offre una via pratica per ridurre i costi di inferenza per i modelli multimodali senza sacrificare le capacità di percezione fine che ne guidano le prestazioni.