Sintesi Tecnica: Nüwa: Riparare l'integrità spaziale lacerata dal pruning dei token nei VLM

1. Definizione del problema

I modelli Vision-Language (VLM) generano un numero sostanziale di token visivi durante l'inferenza, portando a un elevato overhead computazionale e a una ridotta capacità di throughput. Sebbene il token pruning sia emerso come una tecnica di accelerazione efficace, i metodi esistenti presentano un limite critico: ottengono buone prestazioni nei compiti di Visual Question Answering (VQA), ma soffrono di un significativo degrado delle prestazioni nei compiti di Visual Grounding (VG).

Gli autori identificano che le attuali strategie di pruning, che si basano sulla similarità semantica globale o sugli score di attenzione, interrompono il sistema di riferimento spaziale globale. Questo sistema di riferimento, derivato dalle informazioni posizionali dei token, è essenziale per il ragionamento spaziale e la localizzazione degli oggetti. Quando i metodi di pruning comprimono o scartano i token senza preservare questa topologia spaziale, il modello perde la capacità di localizzare accuratamente gli oggetti all'interno di un'immagine, anche se mantiene la capacità di rispondere a domande generali sul contenuto dell'immagine.

2. Metodologia: Il framework Nüwa

Per affrontare la perdita di integrità spaziale, gli autori propongono Nüwa, un framework di token pruning a due stadi, consapevole dello spazio (spatial-aware). L'approccio è progettato per mantenere gli anchor spaziali globali pur aggregando le informazioni ridondanti, seguito da un raffinamento guidato dal testo.

Stadio 1: Spatial Cohesion Pruning (Vision Encoder)

Operando immediatamente dopo il vision encoder, questo stadio riduce la sequenza iniziale di $N^2$ token visivi in una sequenza densa e spazialmente preservata attraverso tre operazioni ispirate all'intelligenza di sciame (specificamente agli algoritmi Boids):

1. Separazione: La griglia di token in input viene partizionata in regioni locali non sovrapponibili ($M \times M$). Ciò garantisce che la successiva selezione e aggregazione avvengano a livello regionale, mantenendo un sistema di coordinate globale completo.
2. Allineamento (Identificazione della salienza): All'interno di ogni regione, vengono selezionati dei token "benchmark" rappresentativi come centri di aggregazione. I criteri di selezione combinano:
   • Attenzione Globale: Score derivanti dal token [CLS].
   • Capacità Informativa: La norma L2 del vettore key del token ($\|k_i\|^2$).
   • Razionale: I token con norma elevata agiscono spesso come "registri" (anchor indipendenti dal task) nei Vision Transformer. Il metodo identifica i token con i punteggi di salienza più elevati per formare l'insieme di Benchmark Token ($T_B$).
3. Aggregazione (Prossimità Spaziale): Le caratteristiche dei token vicini vengono fuse nel set di benchmark.
   • Assegnazione del Ruolo: I token in $T_B$ sono classificati come Pillar Tokens (alta norma L2, quartile superiore) o Collector Tokens. I pillar tokens mantengono le loro caratteristiche originali per evitare lo spostamento delle distribuzioni delle feature, mentre i collector tokens aggregano le feature dai vicini.
   • Aggregazione Pesata: Una matrice di pesi viene costruita utilizzando sia la Similarità Semantica (solo correlazione positiva) che la Prossimità Spaziale (distanza Euclidea entro una soglia). Ciò assicura che l'aggregazione avvenga localmente, preservando le rappresentazioni centriche sugli oggetti e impedendo la fusione di token spazialmente distanti.

Stadio 2: Text-Modulated Pruning (LLM)

Dopo l'allineamento delle feature multimodali, i token visivi aggregati vengono inviati al Large Language Model (LLM). Negli strati intermedi dell'LLM, avviene un secondo stadio di pruning:

• Viene derivato un vettore di query testuale olistico mediando gli embedding dei token testuali.
• I token visivi vengono valutati in base alla loro similarità del coseno rispetto a questo vettore di query nello spazio di embedding condiviso.
• Solo i primi $K$ token visivi più rilevanti vengono mantenuti per il successivo ragionamento e la generazione della risposta. Ciò assicura che l'insieme finale di token sia sia spazialmente coerente (dallo Stadio 1) che pertinente al task (dallo Stadio 2).

3. Contributi Chiave

Il paper apporta tre contributi primari:

1. Analisi Task-Specific delle Pipeline VLM: Gli autori analizzano sistematicamente le pipeline di elaborazione dei VLM, rivelando che i VLM operano attraverso una pipeline multistadio che progredisce dall'integrazione semantica globale al focus fine-grained centrato sull'oggetto. Dimostrano che i compiti di grounding dipendono fortemente dalla preservazione del Sistema di Riferimento Spaziale Globale durante le fasi intermedie di elaborazione, un requisito spesso trascurato dai metodi di pruning esistenti.
2. Il Framework Nüwa: Introducono un framework di pruning a due stadi che:
   • Preserva la topologia spaziale tramite separazione basata su regioni e aggregazione adattiva.
   • Mantiene gli anchor spaziali globali distinguendo tra "Pillar" e "Collector" tokens.
   • Sfrutta la semantica testuale nell'LLM per un pruning fine-grained e orientato al task.
3. Validazione delle Prestazioni: Esperimenti estesi su 13 dataset e molteplici VLM (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL) dimostrano che Nüwa stabilisce nuovi risultati State-of-the-Art (SOTA). Ottiene una ritenzione delle prestazioni del 95% sui benchmark VQA e una ritenzione del 47,2% sui benchmark di Visual Grounding (sotto una riduzione dei token dell'88,9%), superando significativamente i metodi precedenti che spesso scendono a singole cifre nei compiti VG.

4. Risultati Sperimentali

• Prestazioni VQA: Nüwa raggiunge prestazioni SOTA su 10 benchmark VQA (es. GQA, MMB, MME), mantenendo il 94%-95% delle prestazioni del modello originale con una riduzione dei token fino all'88,9%.
• Prestazioni di Visual Grounding: Sui benchmark della serie RefCOCO, Nüwa produce miglioramenti sostanziali rispetto ai metodi esistenti. Ad esempio, in una configurazione che mantiene solo 64 token (riduzione dell'88,9%), Nüwa raggiunge il 47,2% delle prestazioni originali, mentre metodi come VisionZip e SparseVLM scendono rispettivamente al 7,28% e all'1,88%.
• Efficienza: Il metodo riduce i TFLOPs dell'89% e il tempo di prefill del 62%. L'overhead computazionale introdotto dalle metriche di pruning è trascurabile (solo un incremento di circa 1ms nel tempo di prefill rispetto ai baseline SOTA).
• Studi di Ablazione: Gli esperimenti confermano che la partizione delle regioni è critica per i compiti di grounding (abilitando una strategia di Relative Position Mapping Extension), mentre il criterio della norma L2 migliora la selezione dei token in tutti i task.

5. Significato e Rivendicazioni

Il paper sostiene che il degrado dei VLM nei compiti di grounding sia principalmente guidato dalla perdita del Sistema di Riferimento Spaziale Globale durante il pruning dei token. Ricostruendo questa integrità spaziale attraverso un processo a due stadi che combina l'aggregazione spaziale ispirata allo sciame con il raffinamento guidato dal testo, Nüwa riesce efficacementamente a "riparare" l'integrità spaziale lacerata.

Gli autori sottolineano che il loro approccio non richiede riaddestramento (è training-free) ed è compatibile con le architetture VLM esistenti e con le ottimizzazioni hardware (es. FlashAttention). Il lavoro evidenzia che l'inferenza efficiente dei VLM deve tenere conto dei requisiti specifici del task, in particolare la necessità di coerenza spaziale per i compiti di grounding, piuttosto che affidarsi esclusivamente alla riduzione della ridondanza semantica.