Sintesi Tecnica: Decoupled Similarity per il Token Pruning Task-Aware in Large Vision-Language Models

1. Definizione del Problema

I Large Vision-Language Models (LVLM) hanno ottenuto progressi significativi nel colmare il divario tra le modalità visiva e linguistica, ma soffrono di un overhead computazionale sostanziale. Questa inefficienza deriva principalmente dall'elaborazione di un numero elevato di token visivi, che spesso superano di gran lunga i token testuali, specialmente in immagini ad alta risoluzione e video multi-frame.

Gli esistenti metodi di token pruning training-free mirano a mitigare questo problema scartando i token meno informativi. Tuttavia, gli approcci attuali rientrano generalmente in due paradigmi che soffrono di limiti intrinseci:

• Pruning Visual-Centric: Si basa sui segnali di attenzione dell'encoder visivo (ad esempio, l'attenzione [CLS]). Questi metodi tendono a concentrarsi su semantica globale e regioni salienti, trascurando spesso dettagli locali fini e non riuscendo ad allinearsi con i requisiti specifici del task.
• Pruning Task-Centric: Si basa sull'attenzione cross-modale del decoder del Large Language Model (LLM). Questi metodi spesso introducono la guida del task troppo tardi (durante la fase di prefill) ed esibiscono bias spaziali (ad esempio, favorendo le regioni inferiori dell'immagine a causa dell'ordinamento delle sequenze) o bias semantici globali che non riflettono fedelmente l'importanza dei token.

Il problema centrale identificato è che i metodi esistenti si affidano a singole fonti di attenzione che sono distorte e incomplete, portando a decisioni di pruning subottimali che o perdono dettagli visivi critici o non riescono a preservare le informazioni rilevanti per il task sotto rapporti di pruning aggressivi.

2. Metodologia: DeSAP

Gli autori propongono DeSAP (Decoupled Similarity-Aware Pruning), un nuovo metodo progettato per eseguire un pruning dei token visivi preciso e consapevole del task (task-aware) prima del decoding dell'LLM. La metodologia si basa su tre componenti chiave:

A. Analisi Empirica e Decomposizione

Attraverso uno studio empirico, gli autori osservano che:

1. Il bias semantico globale negli encoder visivi corrompe la stima della similarità per token vanilla, portando a un disallineamento tra token visivi e testuali.
2. Decomporre lo stato nascosto dell'encoder visivo in componenti residua e di attenzione rivela che la componente di attenzione disaccoppiata preserva meglio i dettagli locali e la semantica fine rispetto alla componente residua (globale).

Sulla base di ciò, DeSAP decompone lo stato nascosto visivo dell'ultimo layer ($S^l_v$) in:

• Residuo Disaccoppiato ($S^d$): Cattura i pattern semantici globali.
• Attenzione Disaccoppiata ($A^d$): Cattura dettagli semantici locali e fini.

B. Allineamento Cross-Modale Fine-Grained

Inveve di utilizzare la standard similarità del coseno tra gli stati nascosti e gli embedding testuali (che eredita il bias globale), DeSAP calcola una Similarità Disaccoppiata (Decoupled Similarity). Ciò comporta il calcolo della similarità del coseno tra la componente di attenzione disaccoppiata ($A^d$) e gli embedding testuali ($S_q$).
Per raffinare ulteriormente questo processo, il metodo impiega una strategia di Allineamento Cross-Modale Fine-Grained (FCMA). Questa pesa le similarità tra coppie di token in base alla rilevanza di ogni token rispetto alla rappresentazione globale della modalità complementare (usando [EOS] per il testo e i token visivi globali per la visione). Ciò crea una mappa di attenzione affidabile e rilevante per il task ($A_t$) che evidenzia le regioni specifiche allineate con la query testuale.

C. Pruning dei Token Guidato da Doppia Fonte

DeSAP integra due fonti di informazione per valutare l'importanza dei token:

1. Attenzione Task-Rilevante ($A_t$): Derivata dalla similarità disaccoppiata, guida la selezione dei token rilevanti per la specifica query.
2. Attenzione Semantica Saliente ($A_s$): Derivata dall'auto-attenzione dell'encoder visivo (ad esempio, l'attenzione [CLS]), fornendo indizi visivi olistici.

Il processo di pruning segue una strategia Rank & Prune:

• Seleziona i top $k_1$ token basati su $A_t$ (rilevanza del task).
• Seleziona i top $k_2$ token basati su $A_s$ (salienza visiva) dal set rimanente.
• Il set finale combina sia gli indizi visivi globali che quelli specifici del task.
• Token Merging: I token scartati vengono fusi con i token mantenuti più simili tramite clustering per mitigare la perdita di informazioni senza aumentare il numero di token.

3. Contributi Chiave

• Analisi Empirica: Il paper fornisce un'analisi approfondita dei paradigmi di pruning esistenti, rivelando che l'attenzione dell'encoder visivo è distorta verso la semantica globale e che la similarità vanilla è insufficiente per un allineamento fine. Introduce la prospettiva di scomporre le feature visive in componenti residue e di attenzione per preservare i dettagli locali.
• Framework DeSAP: La proposta di un nuovo metodo di pruning che sfrutta l'attenzione disaccoppiata per derivare cue precisi del task tramite un allineamento cross-modale fine-grained. Integra unicamente questi cue del task con i segnali di salienza visiva per abilitare un pruning robusto prima del decoding dell'LLM.
• Performance: Esperimenti estesi dimostrano che DeSAP supera costantemente i metodi SOTA su diversi benchmark e architetture di modelli.

4. Risultati Sperimentali

Gli autori hanno valutato DeSAP su tre LVLM (LLaVA-1.5-7B, LLaVA-NeXT-7B e Qwen2.5-VL-7B) attraverso otto benchmark (inclusi GQA, MME, POPE, VQAv2, ecc.).

• Accuratezza: Su LLaVA-1.5-7B con un rapporto di pruning aggressivo dell'88.9% (mantenendo solo l'11.1% dei token, ovvero 64 token), DeSAP ha raggiunto il 98.1% delle performance del modello originale. Notevolmente, con un budget di 192 token, ha leggermente superato le performance del modello completo dello 0.3%.
• Confronto: DeSAP ha superato i metodi SOTA come HoloV, FlowCut e VisionZip. Con il rapporto di pruning dell'88.9%, ha superato il secondo miglior metodo (HoloV) in media del 2.3% su LLaVA-1.5-7B.
• Efficienza: Sul benchmark POPE, DeSAP ha ottenuto una riduzione dei FLOPs di 9.1× e un aumento della velocità di prefill di 2.3× rispetto al modello completo, con una perdita di accuratezza di solo lo 0.1%. Ha inoltre dimostrato un trade-off efficienza-accuratezza superiore rispetto a SparseVLM e HoloV a parità di FLOPs.
• Generalizzabilità: Il metodo ha mantenuto prestazioni robuste su LLaVA-NeXT-7B (alta risoluzione) e Qwen2.5-VL-7B, superando costantemente i baseline attraverso vari rapporti di pruning.

5. Significato e Asserzioni

Il paper afferma che DeSAP affronta il limite critico dei metodi di pruning esistenti introducendo la consapevolezza del task prima nella pipeline (lato encoder) senza fare affidamento su distribuzioni di attenzione distorte. Decoupling le feature visive e sfruttando l'allineamento cross-modale fine-grained, DeSAP mitiga il collasso della rappresentazione sia dal punto di vista visivo che di quello del task.

Gli autori sostengono che il loro approccio guidato da doppia fonte consente un pruning dei token robusto anche sotto rapporti aggressivi, preservando informazioni chiave che altri metodi scartano. Il lavoro dimostra che integrare la guida del task con la salienza visiva è più efficace che affidarsi alla correzione del bias all'interno di una singola fonte di attenzione, offrendo un passo significativo avanti per l'efficienza e la scalabilità degli LVLM per applicazioni pratiche.