When LLaVA Meets Objects: Token Composition for Vision-Language-Models

Riassunto Tecnico: Mask-LLaVA

1. Il Problema: L'inefficienza dei Token Visivi

Gli attuali modelli linguistici multimodali autoregressivi (VLM), come la serie LLaVA, soffrono di un elevato costo computazionale durante l'inferenza. Questo accade perché questi modelli utilizzano un numero enorme di token visivi (spesso derivati da patch di immagini ad alta risoluzione) per rappresentare un'unica immagine. Ad esempio, mentre LLaVA-1.5 utilizza 576 token, versioni più avanzate come LLaVA-NeXT possono superare i 2800 token. Poiché il costo di calcolo dei Large Language Models (LLM) scala in modo significativo con la lunghezza della sequenza, l'eccesso di token visivi rallenta l'inferenza e aumenta l'uso di memoria senza necessariamente aggiungere informazioni semantiche utili.

2. Metodologia: Mask-LLaVA

Per risolvere questo problema, gli autori propongono Mask-LLaVA, un framework che utilizza una composizione di token a diverse granularità per creare una rappresentazione visiva compatta ma ricca di informazioni. Invece di affidarsi solo alle patch, il modello combina tre tipi di input:

1. Global Feature Vector ($F_{global}$): Utilizza il token [CLS] del Vision Transformer (ViT) per catturare il contesto globale dell'immagine.
2. Local Feature Vectors ($F_{local}$): Utilizza un'operazione di average pooling 2D sulle patch originali del ViT per ottenere una rappresentazione spaziale locale più compressa (riducendo, ad esempio, 576 patch a 36 token).
3. Object Feature Vectors ($F_{object}$): Questa è l'innovazione principale. Il modello utilizza un modulo di rilevamento di oggetti (DeTR) e un modello di segmentazione (SAM) per identificare gli oggetti. Per ogni maschera generata, viene estratto un token specifico tramite un processo chiamato Maskinversion, che ottimizza l'embedding affinché la sua "mappa di spiegabilità" corrisponda esattamente alla regione segmentata.

Normalizzazione e Scaling: Poiché i diversi tipi di token hanno norme (magnitudini) differenti, gli autori introducono una tecnica di token scaling. I token [CLS] e quelli basati su maschera vengono normalizzati utilizzando la media ($\mu$) e la deviazione standard ($\sigma$) dei token delle patch, garantendo che tutti i tipi di token siano trattati in modo coerente dal proiettore multimodale e dall'LLM.

Flessibilità in Inferenza: Il modello viene addestrato con un set completo di token (oversampling), ma grazie alla sua natura compositiva, permette di eliminare dinamicamente i token degli oggetti durante il test (pruning) in base alla loro confidenza o sovrapposizione (IoU), adattando il carico computazionale senza necessità di riaddestramento.

3. Contributi Chiave

• Architettura Gerarchica: Introduzione di un input multimodale che combina informazioni globali, locali e centrate sugli oggetti.
• Efficienza Dinamica: Capacità di ridurre drasticamente il numero di token durante l'inferenza (fino al 97% di riduzione) mantenendo prestazioni elevate.
• Integrazione di Segmentazione: Utilizzo innovativo di SAM e Maskinversion per trasformare le maschere di segmentazione in token semantici pronti per l'LLM.
• Robustezza al Pruning: Dimostrazione che l'addestramento con un set di token "sovra-campionato" conferisce al modello una flessibilità senza precedenti nel gestire sequenze brevi.

4. Risultati Sperimentali

Il modello è stato valutato su otto benchmark standard (tra cui VQAv2, GQA, POPE, MME, MMBench). I risultati principali indicano che:

• Competitività: Mask-LLaVA raggiunge prestazioni competitive con i modelli originali LLaVA, ma utilizzando solo una frazione dei token (fino al 90-97% in meno).
• Superiorità nella Riduzione: Mentre i metodi tradizionali di pruning (come FastV o FitPrune) mostrano un calo drastico delle prestazioni quando i token vengono ridotti, Mask-LLaVA mantiene una curva di decadimento molto più dolce.
• Prestazioni Assolute: In particolare sui benchmark POPE (per l'allucinazione degli oggetti) e MME (per la percezione), Mask-LLaVA supera spesso lo stato dell'arte, dimostrando che la rappresentazione basata sugli oggetti aiuta il modello a "vedere" meglio le entità reali.

5. Significato e Impatto

Il lavoro di Mask-LLaVA è significativo perché sposta il paradigma della compressione visiva: non si tratta più solo di "eliminare ciò che non serve" (pruning), ma di "sostituire le patch ridondanti con concetti semantici" (oggetti). Questo approccio apre la strada a VLM estremamente efficienti, capaci di girare su dispositivi con risorse limitate (edge computing) o di elaborare flussi video complessi, senza sacrificare la capacità di ragionamento e la precisione percettiva.