Riepilogo Tecnico: COAST – Potatura Semantica Adattiva dei Token Contrastiva per Modelli Visivo-Linguistici

1. Enunciato del Problema: Afasia Visiva nella Potatura dei Token

I Grandi Modelli Visivo-Linguistici (LVLM) raggiungono un forte ragionamento multimodale elaborando sequenze dense di token visivi. Tuttavia, la complessità quadratica dell'auto-attenzione del decoder rende necessaria una riduzione dei token visivi per migliorare l'efficienza dell'inferenza. I metodi di potatura esistenti privi di addestramento (ad esempio, FastV, LLaVA-PruMerge) si basano tipicamente su punteggi di attenzione scalari provenienti da livelli superficiali per classificare e scartare i token a "bassa attenzione".

Gli autori identificano una modalità di fallimento critica in questo approccio, denominata Afasia Visiva. Questo fenomeno si verifica quando una potatura prematura basata sull'attenzione superficiale rimuove token inizialmente a basso punteggio ma che diventano essenziali nei livelli più profondi per risolvere oggetti secondari, relazioni spaziali e indizi contestuali. Quando questi token vengono scartati, il modello perde l'ancoraggio visivo e ricade su prior linguistiche, portando a allucinazioni (ad esempio, rispondere "The Camel Cafe" quando viene chiesto di un piccolo cartello in un'immagine dominata da un cammello). Il documento sostiene che la salienza scalare sottostima intrinsecamente le prove visive emergenti contestualmente necessarie per il ragionamento compositivo.

2. Metodologia: COAST

Per affrontare l'Afasia Visiva, gli autori propongono COAST (Potatura Semantica Adattiva dei Token Contrastiva), un framework privo di addestramento che riformula la compressione visiva come instradamento semantico adattivo. Invece di una singola decisione scalare, COAST suddivide il budget di ritenzione in due ruoli complementari: prova semantica (allineata alla query) e contesto spaziale (complementare).

Il framework opera in due fasi principali ai livelli di potatura programmati:

A. Budgeting Dinamico Guidato dall'Entropia

COAST riutilizza l'attenzione cross-modale nativa per stimare la dispersione delle prove visive.

1. Calcolo dell'Entropia dell'Attenzione: Calcola l'entropia globale dell'attenzione da testo a immagine ($H$) dal livello precedente. Una bassa entropia indica un'attenzione concentrata su regioni specifiche, mentre un'alta entropia suggerisce prove disperse che richiedono un contesto più ampio.
2. Divisione Adattiva: Il budget di token rimanente (dopo aver riservato gli ancoraggi specifici per la query) viene suddiviso in due parti in base a $H$:
   • $n_1$ (Prova Semantica): Token allineati con la query.
   • $n_2$ (Contesto Spaziale Complementare): Token che forniscono contesto a livello di scena.
   • La divisione è adattiva: all'aumentare dell'entropia dell'attenzione, il budget si sposta verso la conservazione di più contesto spaziale ($n_2$), assicurando che gli indizi dispersi non vengano persi.

B. Instradamento Semantico Contrastivo Ancora-Riferimento

Una volta allocato il budget, COAST assegna un punteggio ai token candidati utilizzando un meccanismo contrastivo invece di un singolo punteggio scalare.

1. Costruzione dell'Insieme:
   • Ancore ($A$): Selezionate tramite attenzione all'ultimo token (alta rilevanza per la query).
   • Riferimenti ($R$): Selezionati tramite attenzione globale come i token a punteggio più basso (contesto a bassa salienza).
   • Candidati ($C$): I restanti token non ancora ancorati.
2. Punteggio Contrastivo: Per ogni candidato $c_i$, viene calcolato un punteggio confrontando la sua somiglianza con le ancore con la sua somiglianza con i riferimenti:
   $$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   Dove $\text{Sim}_A$ è la massima similarità coseno con qualsiasi ancora, e $\text{Sim}_R$ è la similarità coseno media con l'insieme di riferimento.
3. Ritenzione a Due Code:
   • Top-$n_1$: I candidati con i punteggi più alti sono mantenuti come prove allineate all'ancora.
   • Bottom-$n_2$: I candidati con i punteggi più bassi sono mantenuti come contesto spaziale complementare. Questi token sono distinti dalle ancore ma sono cruciali per mantenere la copertura della scena e le relazioni spaziali che la potatura scalare scarterebbe.
4. Ricompposizione Ordinata: I token mantenuti (Ancore + Top-$n_1$ + Bottom-$n_2$) vengono ordinati in base ai loro indici di sequenza originali per preservare il layout spaziale per i successivi livelli del decoder.

3. Contributi Chiave

• Identificazione dell'Afasia Visiva: Il documento definisce e dimostra una specifica modalità di fallimento in cui una potatura aggressiva precoce causa la perdita dell'ancoraggio visivo negli LVLM, facendoli affidare invece a prior linguistiche.
• Framework COAST: Un metodo di potatura privo di addestramento che tratta la compressione come instradamento semantico adattivo, utilizzando l'entropia per bilanciare prova semantica e contesto spaziale.
• Meccanismo di Instradamento Contrastivo: Una strategia di punteggio innovativa che preserva sia le ancore ad alta rilevanza sia il contesto complementare a bassa salienza, evitando il "collasso dell'attenzione" verso l'oggetto più saliente.
• Valutazione Completa: Esperimenti estesi su sette benchmark (MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG) e su diverse famiglie di LVLM (LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL).

4. Risultati Sperimentali

Su sette benchmark, COAST dimostra compromessi prestazioni-efficienza superiori rispetto a baseline solide (FastV, PDrop, SparseVLM, V2Drop, MMTOK):

• Conservazione delle Prestazioni: COAST riduce i token visivi del 77,8% (mantenendo 128 token) conservando il 98,64% della prestazione media originale. Con un budget di 192 token, subisce un calo di prestazioni di soli 0,21%, superando significativamente le baseline (ad esempio, SparseVLM con un calo del 1,61%).
• Accelerazione della Latenza: COAST raggiunge un'accelerazione della latenza di 2,15×. Notevolmente, ottiene una latenza inferiore rispetto alle baseline con riduzioni FLOPs comparabili grazie all'instradamento efficiente e alla ricompposizione ordinata dei token.
• Generalizzazione: Il metodo supera costantemente le baseline su diverse scale di modello (da 0,5B a 13B) e architetture, mostrando robustezza sia in impostazioni di compressione moderate che aggressive.
• Studi di Ablazione:
  • Ritenzione a Due Code: Rimuovere sia il ramo allineato all'ancora ($n_1$) sia il ramo del contesto complementare ($n_2$) degrada le prestazioni, confermando la necessità di preservare entrambi i tipi di prove.
  • Budgeting Guidato dall'Entropia: La divisione adattiva basata sull'entropia dell'attenzione supera la divisione a rapporto fisso, in particolare su benchmark che richiedono ragionamento complesso (MME, GQA).
  • Punteggio Contrastivo: Il punteggio contrastivo ancora-riferimento supera significativamente l'attenzione scalare o il punteggio basato solo su MaxSim.

5. Significato e Affermazioni

Il documento afferma che l'instradamento semantico adattivo è un'alternativa robusta alla potatura scalare monolitica. Riconoscendo che l'importanza del token è dinamica e dipendente dal contesto, COAST mitiga la modalità di fallimento "Afasia Visiva", permettendo agli LVLM di mantenere un ancoraggio visivo fine anche sotto una riduzione aggressiva dei token. Gli autori sottolineano che il loro metodo non richiede alcun fine-tuning, aggiunge un sovraccarico computazionale minimo ed è applicabile su diverse architetture LVLM, offrendo una soluzione pratica per il dispiegamento di sistemi di ragionamento multimodale efficienti e ad alta fedeltà.