Riepilogo Tecnico: OccamToken

Enunciato del Problema

I Modelli Vision-Language (VLM) si basano su lunghe sequenze di token visivi per codificare le immagini, comportando un significativo sovraccarico computazionale e di memoria durante la fase di prefill e la decodifica autoregressiva. I metodi esistenti di compressione dei token visivi seguono prevalentemente un paradigma di classificazione assoluta: assegnano punteggi di importanza ai token e mantengono un sottoinsieme fisso dei primi $K$. Gli autori sostengono che questo paradigma sia fondamentalmente fragile per due motivi:

1. Sink di Attenzione: Token a bassa informazione (spesso valori anomali con norme elevate) possono assorbire una massa di attenzione eccessiva, distorcendo la classificazione di importanza dei token genuinamente informativi e comprimendo la distribuzione dei punteggi.
2. Disallineamento del Budget Statico: Un taglio fisso ai primi $K$ non può adattarsi alla variazione per campione nelle distribuzioni dei punteggi di attenzione. Non tiene conto della ridondanza dell'immagine o delle richieste di evidenza dipendenti dalla query, spesso mantenendo token ridondanti in casi semplici mentre scarta prove critiche in casi complessi.

Inoltre, i metodi adattivi esistenti richiedono spesso un addestramento aggiuntivo o si basano su statistiche senza addestramento debolmente reattive che non catturano pienamente le esigenze di evidenza condizionate dalla query.

Metodologia: OccamToken

Gli autori propongono OccamToken, un framework senza addestramento e adattivo al budget che sostituisce la classificazione assoluta dei token con un test di evidenza relativa ancorato a un registro. L'idea centrale è che i token di registro (introdotti in recenti studi sui transformer per assorbire i sink di attenzione) assorbano naturalmente pattern di attenzione a bassa informazione, rendendoli un riferimento stabile e non discriminatorio per l'identificazione di evidenze visive genuinamente informative.

Il framework opera in due fasi:

1. Meccanismo Principale: Confronto Relativo

Invece di chiedere "Questo token è tra i primi $K$?", OccamToken chiede "Questo token fornisce prove più forti rispetto al token di registro?".
La regola di potatura è definita come:
$$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$$
Dove $r(x)$ è un token di riferimento dipendente dal campione (il registro), $s_x$ è la funzione di punteggio e $\lambda$ controlla l'intensità della potatura. Ciò consente al budget di token mantenuti di variare dinamicamente in base alla distribuzione dei punteggi dell'input.

2. Pipeline di Potatura in Due Fasi

• Fase I: Potatura della Ridondanza Adattiva all'Immagine (AdapRP)

  • Posizione: Output del Vision Encoder.
  • Meccanismo: Un token di registro al momento del test viene costruito reindirizzando le attivazioni "sink" ad alta norma da neuroni sparsi a un token di registro dedicato. Il token [CLS] (o uno schema di punteggio reciproco per architetture senza [CLS]) assegna un punteggio congiunto a tutti i token visivi e al token di registro.
  • Azione: I token con punteggio inferiore a $\lambda_1 \cdot s_1(r)$ vengono potati. Questo rimuove la ridondanza a livello di immagine prima che i token entrino nel Large Language Model (LLM), creando un budget intermedio adattivo all'immagine.

• Fase II: Potatura della Rilevanza Ancorata al Registro (RegRP)

  • Posizione: All'interno del Language Model (a un livello specifico del decoder, ad esempio livello 11).
  • Meccanismo: I token di testo agiscono come valutatori condizionali alla query. Per ogni token visivo sopravvissuto, viene utilizzato l'attenzione massima ricevuta dai token di testo come suo punteggio (per catturare la rilevanza localizzata). L'attenzione media ricevuta dal token di registro dai token di testo funge da soglia dinamica.
  • Azione: I token con punteggio inferiore a $\lambda_2 \cdot s_2(r)$ vengono rimossi. Questo produce un budget finale adattivo alla query, dove la stessa immagine può generare conteggi di token diversi a seconda della domanda specifica posta.

Contributi Chiave

1. Soglia Dinamica Ancorata al Registro: Un meccanismo senza addestramento che collega la mitigazione dei sink di attenzione alla potatura adattiva. Inserendo un token di registro nella competizione di attenzione, questo assorbe la distorsione indotta dai sink e funge da soglia adattiva alla distribuzione.
2. Framework OccamToken: Un sistema di potatura plug-and-play in due fasi che esegue la rimozione della ridondanza a livello di immagine seguita dalla selezione della rilevanza a livello di query, consentendo un'allocazione adattiva dei token senza predittori appresi o dati di addestramento aggiuntivi.
3. Validazione Empirica: Estesi esperimenti dimostrano che OccamToken supera le linee di base state-of-the-art senza addestramento e basate sull'addestramento su diverse architetture (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) e benchmark (GQA, POPE, MME, ecc.).

Risultati Sperimentali

• Compromesso Accuratezza-Efficienza: OccamToken migliora costantemente il compromesso rispetto ai metodi a budget fisso e ad altri metodi adattivi.
• Compressione Estrema: Su LLaVA-NeXT (che elabora 2.880 token visivi), OccamToken riduce il conteggio dei token a circa 40 token (un regime di retention del 1,4%) preservando oltre il 93% dell'accuratezza originale con token completi.
• Robustezza: Il metodo mantiene un'alta accuratezza relativa (ad esempio, il 97,2% su LLaVA-v1.5 con 32 token) e supera significativamente le linee di base a budget fisso in regimi a basso budget dove è fondamentale preservare evidenze rilevanti per il compito.
• Efficienza: Riducendo la lunghezza della sequenza visiva, OccamToken riduce significativamente l'uso di memoria KV-cache (ad esempio, riducendo da 313 MB a 47 MB su LLaVA-v1.5) e la latenza di prefill, sebbene introduca un leggero sovraccarico per la logica di punteggio adattivo.
• Generalizzazione: Il metodo si trasferisce efficacemente ad architetture non LLaVA (ad esempio Qwen3-VL, Mini-Gemini) e VLM video, dimostrando che il principio ancorato al registro non è legato a interfacce di token specifiche.

Significato e Affermazioni

Il documento afferma che la potatura adattiva basata su riferimenti è una direzione semplice ma efficace per l'inferenza multimodale scalabile. Spostandosi dalla classificazione assoluta al confronto relativo rispetto a un'ancora di registro, OccamToken affronta le carenze strutturali dei sink di attenzione e dei budget statici senza richiedere il re-addestramento del modello. Gli autori evidenziano che questo approccio consente una compressione stabile dei token visivi anche in regimi estremi (1,4% di retention) preservando le evidenze necessarie per il ragionamento multimodale.

Il lavoro posiziona OccamToken non semplicemente come uno strumento di riduzione della latenza, ma come una soluzione pratica per bilanciare accuratezza ed efficienza, in particolare in scenari di deployment con risorse limitate dove la preservazione di evidenze visive critiche è fondamentale. Gli autori riconoscono le limitazioni relative alla dipendenza dalla costruzione di token di registro affidabili al momento del test per specifici backbones basati su Transformer, suggerendo che lavori futuri potrebbero estendere questo approccio a più ampie architetture multimodali.