Riepilogo Tecnico: Riduzione dei Token Corretta dal Prior per gli MLLM

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) convertono le immagini in lunghe sequenze di token visivi, portando a costi di inferenza significativi, in particolare per immagini e video ad alta risoluzione. Sebbene i metodi esistenti privi di addestramento accelerino l'inferenza eliminando i token visivi ridondanti basandosi sui punteggi di attenzione testo-visiva, questo articolo identifica un difetto critico nella loro assunzione fondamentale: che l'entità dell'attenzione rifletta in modo affidabile la rilevanza semantica condizionata dall'istruzione.

Gli autori dimostrano che gli MLLM esibiscono un forte prior indotto dal modello. Anche in assenza di istruzioni testuali, i modelli tendono ad allocare un'alta attenzione a determinate regioni visivamente salienti ma indipendenti dal compito (ad esempio, sfondi ad alto contrasto o aree con texture). Quando la rimozione (pruning) si basa su punteggi di attenzione assoluti, questo prior domina la classificazione. Di conseguenza, i token contenenti prove cruciali specifiche per l'istruzione possono essere soppressi e scartati, mentre vengono mantenuti i token di sfondo irrilevanti. Questo problema è particolarmente grave sotto budget di token aggressivi, dove le selezioni errate possono rimuovere irreversibilmente l'evidenza visiva necessaria per il ragionamento corretto.

Metodologia: PriorTR

Per affrontare questo problema, gli autori propongono PriorTR (Prior-Corrected Token Reduction), un metodo privo di addestramento che separa esplicitamente l'attenzione condizionata dal compito dal prior indotto dal modello.

Concetto Core: Informazione V-Utilizzabile

PriorTR riformula la selezione dei token come un problema di identificazione dei token che contribuiscono con informazioni utilizzabili aggiuntive oltre il bias intrinseco del modello. Esso decompone la distribuzione di attenzione posteriore osservata $P_\theta(v | X)$ (condizionata all'istruzione $X$) in due componenti:

1. Prior Indotto dal Modello ($Q_\theta(v)$): La distribuzione di attenzione in assenza di istruzioni (o utilizzando un'istruzione nulla).
2. Sollevamento Semantico ($L(v, X)$): L'incremento moltiplicativo di importanza indotto specificamente dall'istruzione.

Il metodo valuta i token in base alla Informazione V-Puntuale (PVI), definita come:
$$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$$
Per garantire che non vengano selezionati token con probabilità trascurabile, il punteggio di importanza finale ($S_{\text{PriorTR}}$) combina la massa posteriore con il rapporto logaritmico:
$$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$$
I token sono classificati in base a questo punteggio, e i top-$K$ vengono mantenuti.

Implementazione Efficiente a Passaggio Singolo

Un'innovazione chiave di PriorTR è la sua capacità di stimare sia il prior che il posteriore all'interno di un singolo passaggio in avanti (forward pass), evitando l'overhead computazionale di eseguire il modello due volte.

• Token Nullo come Sonda: Il metodo sfrutta la struttura dell'attenzione causale dei decoder autoregressivi. Un "token nullo" (ad esempio, un separatore come \n) viene posizionato immediatamente dopo i token visivi ma prima dei token dell'istruzione.
• Mascheramento Causale: A causa della maschera causale, il token nullo non può prestare attenzione ai successivi token dell'istruzione. Pertanto, la sua distribuzione di attenzione sulla sequenza visiva rappresenta naturalmente il prior $Q_\theta$ indipendente dall'istruzione.
• Estrazione Simultanea: Nello stesso blocco di attenzione, l'attenzione dei reali token dell'istruzione verso la sequenza visiva fornisce il posteriore $P_\theta$ condizionato dal compito.
• Pruning Fisico: A differenza dei metodi che si limitano a mascherare i token, PriorTR rimuove fisicamente gli stati nascosti e le voci della cache KV non selezionati. Ciò garantisce che gli strati successivi operino su una sequenza effettivamente accorciata, producendo reali riduzioni in termini di memoria e computazione.

Contributi Chiave

1. Identificazione del Prior Indotto dal Modello: Gli autori formalizzano l'osservazione che il pruning basato sull'attenzione è spesso dominato da pattern di salienza indipendenti dall'istruzione, portando alla soppressione di token rilevanti per il compito sotto budget ristretti.
2. Algoritmo PriorTR: Un metodo di riduzione dei token privo di addestramento che classifica i token visivi in base all' "informazione V-utilizzabile" (il sollevamento semantico rispetto al prior) piuttosto che sulla semplice entità dell'attenzione.
3. Design Efficiente a Passaggio Singolo: Un'implementazione che stima il prior utilizzando una sonda con token nullo all'interno di un singolo passaggio in avanti, consentendo il pruning fisico e una reale accelerazione dell'inferenza senza duplicazione della propagazione.
4. Validazione Empirica: Esperimenti estesi che dimostrano come PriorTR migliori costantemente il compromesso accuratezza-efficienza attraverso molteplici MLLM (LLaVA-1.5, Qwen3-VL) e benchmark (comprensione di immagini e video).

Risultati Sperimentali

Il paper valuta PriorTR su 12 benchmark multimodali (inclusi compiti di GQA, MME, MMB, POPE e video QA) utilizzando LLaVA-1.5-7B, LLaVA-1.5-13B e Qwen3-VL-8B.

• Accuratezza vs. Efficienza: PriorTR supera costantemente i forti baseline privi di addestramento (FastV, PDrop, SparseVLM, VisPruner, PruMerge).
  • Su LLaVA-1.5-7B con 64 token mantenuti (riduzione dell'88.9%), PriorTR raggiunge un'accuratezza media del 94.5%, significativamente superiore a FastV (70.7%) e VisPruner (91.7%).
  • Su Qwen3-VL-8B con un rapporto di token dell'11.1%, PriorTR raggiunge una performance relativa dell'87.8%, superando il baseline FastV (75.5%).
• Comprensione Video: Su Video-LLaVA, PriorTR combinato con il token merging raggiunge un'accuratezza vicina al baseline (38.7% vs. 38.7% non compresso) sotto valutazione GPT ed eccelle rispetto al baseline sotto valutazione Gemini, superando SparseVLM.
• Guadagni di Efficienza: PriorTR ottiene accelerazioni sostanziali (fino a 2.21× su LLaVA-1.5-7B) e riduce l'uso di memoria della cache KV proporzionalmente alla riduzione dei token, confermando che il pruning fisico riduce effettivamente il carico computazionale.
• Studi di Ablazione: I confronti tra le funzioni di punteggio mostrano che la formulazione proposta $P \cdot \log(P/Q)$ supera le alternative come la semplice differenza ($P-Q$), il rapporto logaritmico ($\log(P/Q)$) o il posteriore grezzo ($P$), validando la necessità di considerare congiuntamente l'entità della rilevanza e il sollevamento relativo.

Significato

Il paper sostiene che PriorTR offra una direzione fondata per l'inferenza multimodale efficiente, separando la salienza intrinseca dalla rilevanza guidata dal compito. Correggendo il prior indotto dal modello, il metodo assicura che la selezione dei token sia guidata dalla semantica condizionata dall'istruzione piuttosto che dalla dominanza visiva. Questo approccio fornisce una soluzione robusta, "plug-and-play", che mantiene un'alta accuratezza anche sotto una compressione aggressiva dei token, affrontando un limite fondamentale nelle attuali strategie di pruning basate sull'attenzione. Gli autori sottolineano che il loro metodo è ortogonale agli approcci esistenti e può essere integrato con essi senza problemi.