💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune è un framework training-free e plug-and-play che riduce efficientemente i costi computazionali nei modelli linguistici di grandi dimensioni multimodali utilizzando i token separatori di modalità come query unificate per potare l'80,2% dei token visivi mantenendo il 96,3% dell'accuratezza originale.

Autori originali: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Pubblicato 2026-07-29

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come vedere e parlare contemporaneamente. Questo è il mondo dei Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM), le star dell'IA che possono guardare l'immagine di un tramonto e scriverne una poesia, o analizzare un grafico complesso e rispondere a delle domande. Per fare questo, il robot non si limita a "guardare" l'immagine; la scompone in migliaia di minuscoli pezzi di puzzle digitali chiamati "token visivi". Pensa a questi token come a singoli pixel, ma molto più intelligenti: trasportano tutti i dettagli dell'immagine.

Tuttavia, c'è un problema. Quando dai al robot una foto ad alta definizione o un video lungo, esso genera così tanti di questi token che il robot viene sopraffatto. È come cercare di leggere una biblioteca di libri tutta in una volta; il processo diventa lento, costoso e inefficiente. Gli scienziati hanno cercato di risolvere il problema cercando di capire quali pezzi siano effettivamente importanti e quali siano invece solo rumore di fondo. Alcuni metodi cercano di indovinare l'importanza osservando come il robot presta attenzione alle parole, mentre altri cercano di trovare pezzi duplicati. Ma questi approcci spesso si incagliano nella propria complessità, rallentando il robot ancora di più proprio mentre cercano di accelerarlo. La grande domanda rimane: come possiamo eliminare il superfluo senza perdere l'immagine?

Entra in scena SepPrune, un nuovo metodo che agisce come un editor intelligente per questi modelli di IA. I ricercatori dietro questo lavoro hanno notato qualcosa di affascinante osservando come questi modelli pensano. Hanno scoperto che, nelle prime fasi dell'elaborazione, il modello presta una quantità enorme di attenzione a speciali "token separatori" — piccoli marcatori che si trovano tra i dati dell'immagine e i dati del testo, agendo come un ponte tra i due mondi. Si scopre che questi separatori sono la chiave per comprendere l'immagine.

Inveve di cercare di calcolare l'importanza di ogni singolo token visivo confrontandoli tra loro (il che è lento e disordinato), SepPrune utilizza il token separatore come una "query" maestra. Immagina il separatore come una guida turistica ferma all'ingresso di un museo. Inveve di chiedere a ogni singolo dipinto: "Sei importante?", la guida guarda l'intera stanza e indica: "Tu, tu e tu siete i capolavori; il resto può aspettare". Usando il separatore per valutare rapidamente i token visivi, SepPrune può identificare istantaneamente i pezzi più informativi dell'immagine e scartare il resto.

I risultati sono impressionanti. Quando testato su modelli potenti come Qwen2.5-VL-7B, SepPrune è riuscito a eliminare oltre l'80% dei token visivi mantenendo comunque il 96,3% dell'accuratezza originale del modello. Anche quando la potatura è stata spinta all'estremo, con una riduzione del 90,2%, il modello ha mantenuto l'87,2% delle sue prestazioni. Questo è un salto significativo rispetto ad altri metodi, che spesso faticano a mantenere un'accuratezza così elevata quando effettuano tagli così profondi. Inoltre, poiché questo metodo non richiede calcoli complessi tra ogni token, è molto più veloce e funziona perfettamente con le tecnologie di accelerazione esistenti.

I ricercatori hanno anche dimostrato che le loro scelte specifiche contano. Hanno mostrato che utilizzare il token separatore come "guida" funziona meglio rispetto all'uso di altre parti del testo, e che ignorare la "posizione" dei token (dove si trovano nell'immagine) durante il processo di selezione evita che il modello tenga accidentalmente solo la metà inferiore di un'immagine. In breve, SepPrune suggerisce che ascoltando il ponte tra l'immagine e il testo, possiamo rendere questi visionari dell'IA più veloci ed efficienti senza accecarli di fronte ai dettagli che contano davvero.

Riepilogo Tecnico: SepPrune

Definizione del Problema

I recenti Modelli Linguistici Multimodali (MLLM), come Qwen2.5-VL e InternVL3, utilizzano strutture di encoder visivo "any-res" che generano un numero massiccio di token visivi, in particolare quando elaborano input ad alta risoluzione (ad es. video in 4K/8K o immagini ad alta risoluzione in megapixel). Questo volume di token supera significativamente quello degli input testuali, creando un overhead computazionale e una latenza di inferenza sostanziali. Sebbene i metodi esistenti di pruning dei token visivi mirino a mitigare questo problema, essi soffrono di critiche limitazioni:

I metodi basati sull'attenzione spesso si affidano a punteggi di attenzione cross-modale che interrompono il flusso computazionale, impedendo l'uso di operatori hardware efficienti come FlashAttention, oppure dipendono da specifici token architettonici (ad es. [CLS]) assenti nei moderni backbone visivi.
I metodi basati sulla diversità comportano tipicamente una complessità temporale quadratica ( $O(N^2)$ ) per calcolare le matrici di similarità inter-token, il che paradossalmente aumenta la latenza e annulla i benefici di efficienza derivanti dal pruning.

Metodologia: SepPrune

Gli autori propongono SepPrune, un framework di pruning dei token visivi plug-and-play, privo di addestramento, che sfrutta il ruolo intrinseco dei token separatori di modalità. Il metodo opera prima del backbone LLM, garantendo la compatibilità con tecniche di accelerazione come FlashAttention.

Intuizioni Chiave

Attraverso un'analisi delle distribuzioni di attenzione in modelli come Qwen2.5-VL-7B, gli autori hanno osservato che:

Picchi del Separatore: Negli strati superficiali, i punteggi di attenzione dei token visivi e testuali convergono verso i picchi sui token separatori di modalità (special token che separano le modalità visiva e testuale), piuttosto che su contenuti visivi semanticamente ricchi.
Funzione di Ponte: Gli studi di ablazione hanno rivelato che la rimozione dei token separatori causa un degrado delle prestazioni significativamente maggiore rispetto alla rimozione di un numero equivalente di token visivi o testuali, suggerendo che i separatori agiscano come ponti cross-modali critici per l'allineamento nelle fasi iniziali.

Flusso Algoritmico

SepPrune utilizza il token separatore come una query unificata per valutare i token visivi senza alterare l'architettura dell'LLM:

Query Unificata: Il token separatore situato dopo la sequenza visiva ( $S_{right}$ ) viene utilizzato come vettore Query ( $Q_{sep}$ ). Questo token è scelto perché, sotto maschere di attenzione causale, è l'unico token capace di attendere l'intero set di token visivi ( $K_{visual}$ ).
Eliminazione del Bias: Per garantire che i token siano classificati esclusivamente in base all'importanza semantica piuttosto che alla posizione spaziale, il metodo omette esplicitamente gli Embedding di Posizione Rotativi (RoPE) durante la fase di scoring. Ciò evita che il modello conservi preferenzialmente token da regioni specifiche dell'immagine (ad es. la parte inferiore) a causa del bias posizionale.
Scoring e Pruning: Gli score di attenzione vengono calcolati utilizzando la formula:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
Questo riduce la complessità da $O(N^2)$ a $O(N)$ . I top- $k$ token visivi più informativi vengono mantenuti in base a questi punteggi, mentre gli altri vengono sottoposti a pruning.
Riutilizzo della Proiezione: Il metodo riutilizza i parametri di proiezione integrati ( $q\_proj$ , $k\_proj$ ) dal primo strato dell'LLM, richiedendo nessun parametro apprendibile aggiuntivo.

Contributi Chiave

Scoperta del Meccanismo: Il paper è il primo a rivelare e validare il ruolo dei separatori di modalità come ponti cross-modali negli MLLM, dimostrando la loro importanza critica nella fusione visione-linguaggio nelle prime fasi.
Nuova Strategia di Pruning: Introduzione di SepPrune, un metodo leggero, privo di addestramento e plug-and-play che utilizza i token separatori per la valutazione globale dei token visivi.
Efficienza e Compatibilità: Il metodo raggiunge una complessità temporale lineare ( $O(N)$ ) ed è pienamente compatibile con gli esistenti framework di accelerazione dell'inferenza (ad es. FlashAttention) e con la gestione del KV-cache, a differenza dei precedenti approcci basati sull'attenzione.

Risultati Sperimentali

Gli autori hanno valutato SepPrune su Qwen2.5-VL-7B e InternVL3-8B attraverso 12 benchmark che coprono VQA generale, rilevamento di allucinazioni e VQA orientato al testo.

Ritenzione delle Prestazioni: Su Qwen2.5-VL-7B, SepPrune ha mantenuto il 96,3% dell'accuratezza originale pur effettuando il pruning dell'80,2% dei token visivi. Ha superato significativamente i baseline allo stato dell'arte (ad es. superando CDPruner di circa 3 punti percentuali con l'80,2% di pruning).
Compressione Estrema: Anche con un rapporto di pruning del 90,1%, SepPrune ha mantenuto l'87,2% delle prestazioni originali, dimostrando una robustezza superiore in compiti densi di informazioni come TextVQA e ChartQA.
Generalizzabilità: Simili miglioramenti delle prestazioni sono stati osservati su InternVL3-8B, dove SepPrune ha raggiunto un punteggio relativo del 93,1% con l'80% di pruning.
Efficienza: I test empirici su una GPU NVIDIA H20 hanno mostrato che SepPrune ha ottenuto la latenza end-to-end più bassa (591,4s) rispetto al baseline non sottoposto a pruning (760,4s) e agli altri metodi di pruning, validando la sua scalabilità lineare.

Significato e Rivendicazioni

Il paper afferma che SepPrune affronta il collo di bottiglia dell'efficienza nell'inferenza degli MLLM ad alta risoluzione ripensando il meccanismo di pruning attraverso la lente dell'interazione tra modalità. Identificando il token separatore come una naturale "query globale", il metodo evita l'overhead computazionale dei calcoli di matrice basati sulla diversità e i vincoli architettonici dei metodi basati sull'attenzione. Gli autori sostengono che questo approccio consenta una sostanziale riduzione dei costi di inferenza preservando al contempo forti prestazioni del modello in compiti diversificati, offrendo una soluzione pratica per il deployment di MLLM in ambienti con risorse limitate.