💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP è un framework di pruning dei token visivi guidato dal testo e pre-LLM che utilizza una pipeline a due stadi per identificare i token rilevanti per l'istruzione e migliorare la diversità semantica, ottenendo una ritenzione dell'accuratezza superiore al 99,5% e riducendo la latenza di inferenza di oltre 2 volte per i Large Vision-Language Models.

Autori originali: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Pubblicato 2026-07-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un mistero, ma invece di pochi indizi, ti viene consegnata una biblioteca contenente milioni di libri, tutti aperti contemporaneamente. Questo è essenzialmente il modo in cui funzionano i moderni "Large Vision-Language Models" (LVLM). Questi sono programmi per computer super intelligenti che possono guardare un'immagine e rispondere a domande su di essa, come un detective digitale. Per farlo, scompongono l'immagine in migliaia di piccoli pezzi digitali chiamati "token". Pensa a questi token come a singoli pezzi di un puzzle. Il problema è che il computer cerca di leggere ogni singolo pezzo del puzzle, anche quelli che sono solo cielo blu o pavimento vuoto, prima ancora di guardare la tua domanda. Questo rende il processo incredibilmente lento e vorace di potenza di calcolo, come cercare di leggere un'intera enciclopedia solo per scoprire di che colore è il collare del gatto.

Per molto tempo, gli scienziati hanno cercato di velocizzare questo processo eliminando casualmente alcuni pezzi del puzzle (il che a volte cancellava il collare del gatto) o aspettando che il computer avesse già iniziato a leggere tutto il libro prima di decidere cosa saltare (il che era troppo tardi per risparmiare tempo). La grande domanda era: si poteva insegnare al computer a guardare prima la domanda, e poi scegliere solo i pezzi specifici necessari per rispondere, senza rallentare l'intero sistema?

È qui che entra in gioco un nuovo metodo chiamato CRISP. Pensa a CRISP come a un bibliotecario super efficiente che lavora prima che il detective inizi a leggere. Invece di rovesciare l'intera biblioteca sul tavolo, CRISP ascolta prima la tua domanda. Se chiedi: "Di che colore è la borsa?", CRISP scansiona istantaneamente l'immagine e prende solo i pezzi del puzzle che mostrano la borsa e l'area circostante. Non si ferma però qui; prende anche alcuni pezzi extra per assicurarsi che il contesto dello sfondo (come la strada o la persona che la tiene) non vada perduto.

I ricercatori dietro CRISP hanno scoperto che questo approccio "chiedi prima, poi guarda" è molto più intelligente dei vecchi metodi "guarda prima, poi chiedi". Nei loro test, hanno dimostrato che CRISP può scartare fino all'88,9% dei pezzi del puzzle visivo (riducendo l'immagine da centinaia di token a soli 64 o 128) pur mantenendo l'accuratezza del computer quasi esattamente la stessa di quando avrebbe guardato l'intera immagine. Infatti, in alcuni test, è stato così bravo a trovare gli indizi giusti che ha persino ridotto le "allucinazioni" — quei momenti in cui un'IA inventa cose che non esistono.

Il documento argomenta esplicitamente contro due modi comuni di fare questo oggi. Un modo consiste nel scegliere semplicemente i pezzi dall'aspetto più "importante" di un'immagine indipendentemente dalla domanda (text-agnostic), il che gli autori definiscono come fissare un quadro prima di sapere cosa si sta cercando. L'altro modo consiste nell'aspettare che il computer sia nel pieno del suo processo di pensiero prima di iniziare a eliminare i pezzi, il che gli autori sostengono sprechi troppa energia perché il computer ha già fatto il duro lavoro di leggere tutto. CRISP rifiuta entrambi, dimostrando che si può essere veloci e intelligenti allo stesso tempo, eseguendo la potatura prima che inizi il pensiero pesante.

I risultati sono misurati e piuttosto specifici. Su un modello popolare chiamato LLaVA-1.5, CRISP ha mantenuto il 99,5% delle prestazioni originali utilizzando solo 128 token invece dei consueti 576. Su un modello più recente, LLaVA-NeXT, ha mantenuto il 96,9% delle prestazioni con soli 320 token. Forse la cosa più impressionante è che questa accelerazione non ha solo salvato l'accuratezza; ha ridotto il tempo necessario per ottenere una risposta di oltre la metà. Gli autori suggeriscono che questo metodo sia una soluzione pratica e pronta all'uso per rendere questi computer intelligenti che leggono immagini molto più veloci ed economici da gestire, specialmente su dispositivi che non dispongono di enormi quantità di energia.

Sintesi Tecnica: CRISP – Pruning dei Token Visivi Pre-LLM Basato sul Testo

1. Problema

I Large Vision-Language Models (LVLM) soffrono di un sostanziale overhead di inferenza perché codificano le immagini in lunghe sequenze di token visivi (spesso centinaia o migliaia) che vengono interamente elaborate dal Large Language Model (LLM). Ciò crea un collo di bottiglia per l'implementazione in scenari sensibili alla latenza o con risorse limitate.

I metodi esistenti di pruning dei token visivi affrontano un compromesso fondamentale:

Pruning Pre-LLM: Opera prima dell'LLM utilizzando euristiche indipendenti dal testo (ad es. attenzione CLS o similarità delle feature). Sebbene efficienti, questi metodi sono "indipendenti dal testo", il che significa che eliminano gli stessi token indipendentemente dalla specifica query testuale. Questo imita una strategia cognitiva di tipo "osserva prima, poi chiedi", che è meno efficiente del processo naturale "leggi, poi osserva" e spesso scarta dettagli rilevanti per la query.
Pruning Intra-LLM: Opera all'interno dell'LLM utilizzando i punteggi di attenzione cross-modale per eliminare i token in base al testo corrente. Sebbene guidato dal testo, il pruning agli strati superficiali soffre di bias posizionale e dispersione dell'attenzione, degradando l'accuratezza. Il pruning agli strati più profondi preserva l'accuratezza ma richiede che i token visivi attraversino molti blocchi dell'LLM, diminuendo il risparmio computazionale. Inoltre, l'estrazione dei pesi di attenzione interrompe FlashAttention, danneggiando l'efficienza.

Esiste la necessità di un metodo che esegua il pruning prima dell'LLM (per massimizzare l'efficienza) ma che rimanga guidato dal testo (per preservare le informazioni rilevanti per il compito) senza accedere ai meccanismi di attenzione interni dell'LLM.

2. Metodologia: CRISP

Gli autori propongono CRISP (CRItical-first and Semantically-covered Pre-LLM token pruning), un framework senza addestramento che opera tra il proiettore visivo e l'LLM. Utilizza una pipeline a due stadi per selezionare un sottoinsieme compatto di token visivi ( $K$ ) che bilanci la rilevanza dell'istruzione con il contesto della scena.

Stadio 1: Selezione dei Token "Critical-First"

Questo stadio identifica i token visivi più rilevanti per la query testuale.

Estrazione delle Parole Chiave: Il sistema estrae i sostantivi dalla query (ad es. "sciatore", "guanti") utilizzando un leggero elaborazione NLP, poiché i sostantivi corrispondono tipicamente a regioni concrete dell'immagine.
Computazione della Rilevanza Cross-modale: I token visivi proiettati e gli embedding delle parole (mediati dai token di sottoparola) esistono nello stesso spazio semantico. Il sistema calcola una matrice di similarità del coseno tra i token visivi e gli embedding delle parole.
Allocazione della Quota per Parola: Non tutte le parole sono ugualmente radicate nell'immagine. Il sistema utilizza l'attenzione CLS dall'encoder visivo per determinare l'importanza delle regioni associate a ciascuna parola. Le parole con punteggi di attenzione CLS più elevati ricevono un budget di token maggiore.
Selezione: I primi $K$ token visivi vengono selezionati in base alla rilevanza rispetto alle parole specifiche e alle loro quote allocate. Se non vengono rilevati sostantivi, il sistema ricorre alla selezione dei token basata puramente sull'attenzione CLS globale.

Stadio 2: Completamento dei Token "Semantically-Covered"

Affidarsi esclusivamente ai token allineati al testo rischia di perdere il contesto essenziale (ad es. layout spaziale, sfondo).

Il sistema seleziona iterativamente ulteriori token dal pool rimanente per raggiungere il budget totale $K$ .
Seleziona i token che sono semanticamente complementari al set già selezionato. Nello specifico, sceglie il token con la minore similarità massima rispetto al set corrente, massimizzando così la diversità semantica e garantendo la preservazione del contesto essenziale della scena.

3. Contributi Chiave

Pruning Pre-LLM Guidato dal Testo: CRISP colma il divario tra efficienza e rilevanza eseguendo il pruning prima dell'LLM pur adattandosi dinamicamente alla query testuale, evitando il limite della "indipendenza dal testo" dei metodi pre-LLM precedenti.
Pipeline a Due Stadi: La combinazione di selezione "Critical-First" (garantendo l'allineamento con la query) e completamento "Semantically-Covered" (garantendo la diversità contestuale) consente al modello di mantenere le prove critiche senza sacrificare la comprensione della scena.
Senza Addestramento ed Efficiente: Il metodo non richiede addestramento aggiuntivo, non accede ai pesi di attenzione dell'LLM (preservando la compatibilità con FlashAttention) e opera interamente tra il proiettore e l'LLM.

4. Risultati Sperimentali

Gli autori hanno valutato CRISP su LLaVA-1.5-7B e LLaVA-NeXT-7B su nove benchmark (inclusi MME, GQA, SQA, POPE e VQA-v2).

Ritenzione delle Prestazioni:
- Su LLaVA-1.5-7B, con un rapporto di pruning del 77,8% (mantenendo solo 128 token), CRISP ha raggiunto il 99,5% delle prestazioni del modello con tutti i token, superando il secondo miglior metodo (97,9%).
- Su LLaVA-1.5-7B, anche con un aggressivo rapporto di pruning dell'88,9% (64 token), ha mantenuto il 97,7% delle prestazioni.
- Su LLaVA-NeXT-7B, con un rapporto di pruning dell'88,9% (320 token), CRISP ha mantenuto il 96,9% delle prestazioni, superando tutti i baseline.
- Notevolmente, CRISP ha superato il baseline a tutti i token nel benchmark POPE (rilevamento delle allucinazioni di oggetti), suggerendo che la sua selezione mirata sopprime efficacemente le correlazioni spurie.
Guadagni di Efficienza:
- CRISP ha ridotto i FLOP di inferenza e l'uso della memoria KV-cache quasi linearmente con la riduzione del numero di token.
- Ha ottenuto un aumento di velocità >2× nella velocità di decoding e ha ridotto significativamente il tempo totale di valutazione end-to-end su entrambi i modelli.

5. Significato e Rivendicazioni

Il documento sostiene che CRISP offre una soluzione pratica e generalizzabile per l'inferenza efficiente degli LVLM. Decoupling (disaccoppiando) la rilevanza guidata dal testo dall'elaborazione interna dell'LLM, CRISP ottiene un rapporto accuratezza-efficienza superiore rispetto ai metodi esistenti. Gli autori sottolineano che questo approccio è particolarmente prezioso per scenari con risorse limitate e implementazioni sensibili alla latenza, consentendo l'uso di LVLM ad alte prestazioni senza il costo computazionale proibitivo dell'elaborazione di intere sequenze di token visivi. I risultati suggeriscono che è necessario solo un modesto numero di token rilevanti per il testo per preservare le prove critiche, a condizione che il budget rimanente sia utilizzato per mantenere una base contestuale diversificata.