🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM è un framework di inferenza efficiente per modelli visione-linguaggio che sfrutta le proprietà distinte delle modalità visiva e testuale applicando una potatura aggressiva e adattiva ai token visivi spazialmente ridondanti e un'evizione basata su soglie temporali ai token testuali, ottenendo risparmi fino al 54% dei FLOPs e superando i metodi all'avanguardia nei compiti di comprensione di documenti e grafici.

Autori originali: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello Visione-Linguaggio (VLM) come un assistente altamente intelligente ma leggermente sopraffatto. Gli mostri un'immagine (come un documento complesso o un grafico) e gli poni una domanda. Per comprendere l'immagine, l'assistente la scompone in migliaia di minuscoli pezzi di puzzle chiamati "token visivi". Per comprendere la tua domanda e formulare una risposta, utilizza un insieme più piccolo di "token testuali".

Il problema è che la "memoria di lavoro" dell'assistente (la sua memoria GPU) si intasa. Cerca di trattenere ogni singolo pezzo di puzzle e ogni parola che genera, rendendolo lento e costoso da eseguire.

I metodi esistenti tentano di risolvere questo problema trattando i pezzi dell'immagine e le parole esattamente allo stesso modo: scartano semplicemente una percentuale fissa di tutto (ad esempio, "elimina il 50% dei pezzi di puzzle e il 50% delle parole"). Gli autori di questo articolo, AsymVLM, sostengono che questo sia come tentare di organizzare una biblioteca gettando via metà dei libri e metà dei segnalibri senza riflettere su ciò che effettivamente fanno.

Ecco come funziona AsymVLM, utilizzando semplici analogie:

1. I Due Problemi Diversi

L'articolo sottolinea che i pezzi dell'immagine e le parole sono fondamentalmente diversi:

Token Visivi (I Pezzi del Puzzle): Sono tutti indipendenti. Se rimuovi un pezzo del cielo da una foto, il pezzo dell'albero accanto non se ne cura. Sono "spazialmente ridondanti", il che significa che molti pezzi sono semplicemente rumore di fondo.
Token Testuali (La Storia): Sono una reazione a catena. La Parola 2 dipende dalla Parola 1, e la Parola 3 dipende dalla Parola 2. Se cancelli una parola nel mezzo di una frase, il resto della storia potrebbe non avere più senso.

2. La Soluzione: Una Strategia a Doppio Binario

Invece di usare una regola unica per tutto, AsymVLM utilizza due strategie diverse, adattate a ciascun tipo di token.

Strategia A: Il "Redattore Intelligente" per le Immagini (Potatura dei Token Visivi)

Prima ancora che l'assistente inizi a pensare, AsymVLM agisce come un redattore intelligente che osserva la foto.

Il Vecchio Modo: "Elimina il 50% dei pixel a caso" o "Elimina quelli che sembrano meno importanti per la domanda".
Il Modo AsymVLM: Utilizza un Punteggio Appreso. Immagina un allenatore che ha osservato migliaia di partite e sa esattamente quali giocatori (token) aiutano realmente a vincere la partita. Questo punteggio non guarda solo l'immagine; guarda come l'immagine si collega alla specifica domanda che hai posto.
Il "Budget Adattivo": Questa è la parte più intelligente. L'articolo nota che alcune domande richiedono una scansione completa dell'immagine (ad esempio, "Quante mele ci sono in questo frutteto?"), mentre altre hanno bisogno solo di una piccola area (ad esempio, "Qual è il prezzo della mela rossa?").
- Se la domanda è specifica per una piccola area, il "divario" tra i pezzi importanti e quelli non importanti è enorme. Il sistema dice: "Ottimo, possiamo essere aggressivi e scartare il 75% dell'immagine!".
- Se la domanda richiede l'intera immagine, il "divario" è piccolo. Il sistema dice: "Ok, mantieni il 90% dell'immagine solo per sicurezza".
- Analogia: È come fare le valigie. Se vai in spiaggia per un giorno, fai le valigie leggere. Se vai in viaggio per un mese, fai le valigie più piene. AsymVLM adatta il "pacco" in base al viaggio specifico, invece di usare la stessa dimensione di valigia per tutti.

Strategia B: Il "Giardiniere della Memoria" per il Testo (Espulsione dei Token Testuali)

Una volta che l'assistente inizia a generare una risposta, scrive le parole una per una. Se la conversazione diventa lunga, la memoria si riempie.

Il Vecchio Modo: I metodi standard per l'IA solo testuale (come H2O o StreamingLLM) tentano di eliminare le parole più vecchie o meno "importanti" per fare spazio alle nuove.
Il Modo AsymVLM: Gli autori hanno realizzato che in questi assistenti visivi, la conversazione è solitamente breve, e l'immagine è il contesto più importante.
- Impostano un budget fisso. L'assistente continua a scrivere fino a raggiungere un limite (ad esempio, 500 parole).
- Una volta raggiunto il limite, inizia a eliminare le parole generate più vecchie (quelle non più necessarie per la frase immediatamente successiva), ma non elimina mai l'immagine originale o la domanda originale.
- Analogia: Immagina di raccontare una storia a un amico. Non hai bisogno di ricordare la prima frase detta 10 minuti fa per finire la frase corrente. AsymVLM agisce come un giardiniere che pulisce le vecchie bozze irrilevanti dalla lavagna per fare spazio alla nuova frase, ma lascia il prompt originale e la foto inchiodati al muro per sempre.

3. I Risultati: Più Veloce e Più Intelligente

L'articolo afferma che trattando questi due tipi di dati in modo diverso, AsymVLM ottiene:

Enormi Accelerazioni: Risparmia fino al 54% della potenza di calcolo (FLOPs) necessaria per eseguire il modello. Questo perché rimuove fisicamente i pezzi di immagine non necessari prima che inizi il pesante calcolo matematico, invece di ignorarli semplicemente durante il calcolo.
Maggiore Accuratezza: Su compiti come la lettura di documenti o la comprensione di grafici, performa effettivamente 2–3% meglio rispetto ai metodi precedenti. Questo perché mantiene i pezzi specifici dell'immagine che rispondono alla domanda e scarta il resto, mentre altri metodi potrebbero accidentalmente eliminare il pezzo cruciale.
Efficienza di Memoria: Riduce la memoria necessaria per eseguire il modello, permettendogli di adattarsi a chip informatici più piccoli ed economici che non avrebbero potuto gestire il modello completo non potato.

Riepilogo

AsymVLM è un sistema che realizza che "una taglia non va bene per tutti". Utilizza un filtro intelligente e adattivo per tagliare il grasso dalle immagini in base alla domanda specifica, e un attento giardiniere per gestire la memoria del testo senza perdere il contesto originale. Il risultato è un Modello Visione-Linguaggio più veloce, che utilizza meno memoria e, sorprendentemente, è più accurato nella lettura di documenti e grafici.

Riepilogo Tecnico: AsymVLM

Enunciato del Problema

I Modelli Vision-Language (VLM) affrontano colli di bottiglia significativi in termini computazionali e di memoria durante l'inferenza. Sebbene i metodi di compressione esistenti trattino spesso i token visivi e testuali in modo uniforme, questo documento sostiene che tale approccio sia subottimale a causa di asimmetrie fondamentali tra le due modalità:

Differenze Strutturali e Causali: I token visivi sono patch spazialmente ridondanti generate in un singolo passaggio in avanti senza dipendenze causali, permettendone la rimozione indipendente. Al contrario, i token testuali sono generati autoregressivamente con un ordinamento causale rigoroso; l'espulsione di un token testuale rischia di corrompere tutte le rappresentazioni successive.
Colli di Bottiglia in Evoluzione: Nelle configurazioni tipiche di VLM a turno singolo, i token visivi dominano l'input (ad esempio, 2.500 token visivi contro ~30 token testuali), rendendoli il collo di bottiglia primario durante la fase di prefill. Tuttavia, nella generazione libera o nel dialogo multi-turno, i token testuali si accumulano rapidamente, spostando il collo di bottiglia verso la fase di decoding.
Difficoltà Variabile dell'Input: Il rapporto di potatura ottimale non è uniforme tra i campioni. Alcune query richiedono solo informazioni visive localizzate (consentendo una potatura aggressiva), mentre altre richiedono una scansione globale (richiedendo una ritenzione conservativa). I metodi esistenti che utilizzano rapporti di potatura fissi non riescono ad adattarsi a questo spettro.

Metodologia: AsymVLM

Gli autori propongono AsymVLM, un framework di potatura asimmetrica dei token che disaccoppia le strategie di compressione per i token visivi e testuali basandosi sulle osservazioni sopra riportate. Il framework opera in due fasi distinte:

1. Potatura dei Token Visivi (Pre-Prefill)

Applicata prima dei livelli del transformer per affrontare il collo di bottiglia del prefill, questa fase consta di due componenti:

Valutatore di Importanza Appreso: A differenza dei metodi precedenti che si basano sulla salienza visiva o sulla similarità cross-modale grezza, AsymVLM impiega un valutatore leggero e apprendibile. Questo valutatore ridimensiona le dimensioni degli embedding utilizzando un vettore di pesi apprendibile ( $w$ ) per allineare meglio il ranking dei token alla preservazione dell'output finale del modello. È addestrato per minimizzare la discrepanza tra gli stati nascosti dei modelli potati e non potati.
Budgeting Adattivo per Campione: Riconoscendo che i gap di importanza variano tra gli input, il sistema calcola un "gap di importanza" (la differenza tra il punteggio di importanza al 75° e al 25° percentile) per ogni campione. In base a questo gap, viene assegnato un rapporto di mantenimento dinamico: i campioni con un gap ampio (distinzione chiara tra token importanti e non importanti) ricevono un rapporto di potatura aggressivo, mentre i campioni con un gap ridotto (importanza uniforme) ricevono un rapporto conservativo.

2. Espulsione dei Token Testuali (Durante il Decoding)

Applicata solo quando la sequenza generata supera un budget fisso, questa fase affronta il collo di bottiglia del decoding:

Espulsione Basata su Soglia: I token testuali vengono mantenuti finché la lunghezza della sequenza non supera una soglia predefinita. Una volta attivata, il sistema espelle i token generati con la minore importanza.
Valutazione Specifica per VLM: A differenza dei metodi di compressione della cache per LLM standard che tracciano l'attenzione cumulativa su contesti lunghi, AsymVLM sfrutta la natura a contesto breve dei VLM. Valuta i token in base all'attenzione ricevuta all'ultimo livello del transformer dello step di decoding corrente. Crucialmente, protegge tutti i token di prefill (immagini e prompt) dall'espulsione, poiché questi trasportano un contesto irrinunciabile per i turni successivi.

Contributi Chiave

Analisi Sistematica: Il documento fornisce un'analisi strutturale che rivela l'asimmetria fondamentale tra token visivi e testuali nei VLM, sostenendo che una compressione consapevole della modalità è essenziale per l'efficienza.
Framework a Doppia Strategia: AsymVLM introduce un framework che combina la potatura dei token visivi consapevole della query (pre-transformer) con l'espulsione dei token testuali vincolata dal budget (durante il decoding).
Valutatore Appreso con Budgeting Adattivo: Gli autori introducono un valutatore che ottimizza la preservazione dell'output piuttosto che la semplice similarità semantica, accoppiato a un meccanismo che adatta dinamicamente i rapporti di potatura in base alla distribuzione dell'importanza dell'input.
Valutazione Completa: Esperimenti estensivi dimostrano che l'approccio raggiunge un'efficienza e una precisione superiori rispetto ai baseline dello stato dell'arte.

Risultati Sperimentali

Il framework è stato valutato su Phi-3.5-Vision (dominante visivo) e Gemma 3 (dominante testuale in scenari di generazione lunga) su sette benchmark (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

Efficienza: AsymVLM ottiene il massimo risparmio di FLOPs tra i metodi confrontati, raggiungendo fino al 54% con una ritenzione del 50% dei token visivi. È l'unico metodo che riduce fisicamente la lunghezza della sequenza prima del transformer, risultando in riduzioni proporzionali della memoria di picco e delle dimensioni della cache KV (riduzione della memoria di picco fino al 75%).
Precisione su Task Localizzati: Su compiti di comprensione di documenti e grafici (DocVQA, ChartQA), dove le informazioni visive sono localizzate spazialmente, AsymVLM supera i metodi esistenti (FastV, SparseVLM) del 2–3% con rapporti di ritenzione del 65–75%. Ad esempio, su DocVQA con una ritenzione del 65%, ottiene un ANLS del 85,07% rispetto all'81,74% di FastV.
Task Olistici: Su benchmark olistici (MME, TextVQA), dove l'importanza dei token è più uniforme, AsymVLM mantiene una precisione competitiva, spesso superando leggermente i baseline.
Prestazioni di Espulsione Testuale: In scenari dominati dal testo (Gemma 3), la strategia di espulsione basata su soglia supera significativamente i metodi standard di cache per LLM (H2O, StreamingLLM). Su MMDU (dialogo multi-turno), AsymVLM ottiene un punteggio di 7,03 con una ritenzione del 90%, significativamente superiore ai 5,61 ottenuti dai baseline. I baseline degradano severamente perché trattano i token visivi e del prompt come candidati all'espulsione, whereas AsymVLM li protegge.

Significato e Affermazioni

Il documento afferma che AsymVLM rappresenta un passaggio dalla compressione uniforme alle strategie consapevoli della modalità. Riconoscendo che i token visivi sono un problema di selezione dell'input e i token testuali sono un problema di gestione della cache, il framework raggiunge i maggiori guadagni di efficienza (fino al 54% di riduzione dei FLOPs) mantenendo o migliorando la precisione su compiti complessi e specifici della query. Gli autori sottolineano che il loro valutatore appreso generalizza efficacemente tra diversi layout visivi e tipi di domande senza un addestramento specifico per task, e che la loro strategia di espulsione testuale è specificamente adattata alla natura a contesto breve e basata su immagini dell'inferenza VLM, evitando le insidie dell'applicazione diretta di tecniche di compressione per LLM a contesto lungo ai VLM.

Limitazioni: Gli autori notano che la valutazione è attualmente limitata a Phi-3.5-Vision e Gemma 3, e che la generalizzazione ad altre architetture (ad esempio, VLM basati su LLaMA, Qwen-VL) richiede ulteriore validazione. Inoltre, la strategia di espulsione testuale utilizza una soglia fissa e non è stata testata su dialoghi multi-turno molto lunghi (50+ turni).