💻 computer science

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

Questo articolo propone il Trend-aware Pruning, un framework training-free per i Modelli Linguistici di Grandi Dimensioni Multimodali che migliora l'efficienza modellando l'evoluzione dinamica dell'importanza dei token attraverso gli strati per prevenire la perdita prematura di segnali visivi critici, ottenendo una riduzione dei token superiore al 77,8% pur mantenendo prestazioni competitive.

Autori originali: Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Pubblicato 2026-07-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come comprendere il mondo mostrandogli delle immagini e facendogli delle domande. Questo campo è chiamato Modelli Linguistici Multimodali Grandi (MLLM). Pensa a questi modelli come a brillanti detective che possono leggere il testo e guardare le immagini contemporaneamente. Per "vedere" un'immagine, il robot la scompone in migliaia di minuscoli pezzi di puzzle chiamati "token". Ogni token è un piccolo frammento dell'immagine, come una chiazza di cielo blu o una ruota di un'auto. Il problema è che, quando mostri al robot una foto ad alta risoluzione, questo viene sopraffatto da troppi pezzi. Cerca di prestare attenzione a ognuno di essi, il che rende il robot lento, costoso da far funzionare e talvolta confuso dal troppo rumore.

Per risolvere questo problema, gli scienziati hanno provato un trucco semplice: buttare via subito i pezzi che sembrano poco importanti. È come un buttafuori in un club che guarda la folla e immediatamente caccia chiunque non indossi una maglietta di un colore specifico. Ma ecco il punto: a volte la persona più interessante nella stanza indossa una maglietta noiosa all'inizio, per poi iniziare a ballare e diventare l'anima della festa pochi minuti dopo. Se il buttafuori la caccia troppo presto, la festa è rovinata. Questo articolo pone una grande domanda: è sicuro prendere una decisione finale su cosa tenere basandosi solo su uno sguardo fulmineo, o dobbiamo osservare come le cose cambiano nel tempo?

I ricercatori dietro questo articolo, Jie Ma e il suo team, dicono che il vecchio metodo del "buttafuori" è troppo rigido. Propongono un nuovo modo di pensare chiamato Pruning consapevole dei trend (Trend-aware Pruning). Invece di limitarsi a guardare un'istantanea di quali token siano importanti proprio ora, il loro metodo agisce come un osservatore paziente che osserva i token nel tempo per vedere le loro "tendenze". Hanno capito che alcuni token sono come fiori che sbocciano tardi; potrebbero sembrare silenziosi e poco importanti nei primi strati del cervello del robot, ma man mano che il robot elabora l'immagine più in profondità, questi token diventano improvvisamente cruciali per comprendere la scena.

Il team ha costruito un sistema che traccia il "momentum" di questi token. Immagina un fiume dove alcune rocce stanno solo lì ferme, ma altre stanno lentamente scivolando verso il centro della corrente. I vecchi metodi ignorerebbero le rocce in movimento perché non sono ancora al centro. Il nuovo metodo, invece, nota la deriva. Tiene d'occhio i token che mostrano una "tendenza al rialzo" — ovvero, la cui importanza sta crescendo anche se non sono ancora la priorità assoluta. Se un token inizia a sembrare più interessante man mano che il robot scava più a fondo, il sistema lo "salva", riportandolo nella conversazione prima che sia troppo tardi. Osservano anche i token che stanno "fluttuando" (salendo e scendendo) o che hanno una "tendenza al ribasso" (svanendo), trattando ogni gruppo in modo diverso invece di scartarli tutti indistintamente.

Quando hanno testato questa idea su popolari cervelli robotici come LLaVA e Qwen, i risultati sono stati impressionanti. Il nuovo metodo non ha solo fatto risparmiare tempo; ha anche aiutato il robot a performare meglio. Nei loro esperimenti, sono stati in grado di ridurre il numero di token visivi di oltre il 77,8%, lasciando all'ultimo strato solo circa 23 token da elaborare. Nonostante abbiano eliminato così tanti dati, il robot ha mantenuto il 98,89% delle sue prestazioni originali tagliando i token della metà, e ha mantenuto una solida performance del 96,03% tagliandoli di quasi il 78%. Questo è un grande traguardo perché altri metodi che scelgono semplicemente i "migliori" token all'inizio spesso perdono dettagli importanti quando diventano così aggressivi.

Gli autori suggeriscono che questo approccio funziona perché rispetta il fatto che comprendere un'immagine è un viaggio, non un singolo momento. Permettendo al robot di cambiare idea e "riattivare" i token che inizialmente erano stati trascurati, evitano la perdita di indizi critici. Hanno scoperto che questo approccio dinamico è particolarmente efficace in compiti difficili come la lettura del testo nelle immagini (OCR) o l'individuazione di piccoli dettagli, dove i metodi statici spesso falliscono. Sebbene ammettano che il loro sistema si affida a una finestra di osservazione fissa e potrebbe essere migliorato per gestire sequenze ancora più lunghe, il loro lavoro dimosta che osservare il trend dell'attenzione è un modo potente per rendere questi robot intelligenti più veloci e acuti senza doverli riaddestrare da zero.

Sintesi Tecnica: Catturare le Tendenze dei Token per il Pruning dei Token Senza Addestramento nei Modelli Linguistici Multimodali di Grandi Dimensioni

Problema

I Modelli Linguistici Multimodali (MLLM) affrontano un significativo collo di bottiglia computazionale dovuto alla complessità quadratica del meccanismo di attenzione durante l'elaborazione di immagini ad alta risoluzione e input multi-immagine. Ciò risulta in un numero eccessivo di token visivi, creando una ridondanza severa che ostacola l'efficienza dell'inferenza.

I metodi esistenti di pruning dei token senza addestramento tentano di mitigare questo problema affidandosi a euristiche statiche e istantanee (ad esempio, la selezione Top- $k$ basata sull'attenzione) per filtrare i token nei primi strati. Il documento identifica un difetto critico in questo approccio: esso tratta l'importanza del token come una decisione fissa e istantanea. Tuttavia, gli MLLM esibiscono una natura gerarchica in cui l'importanza dei token evolve dinamicamente attraverso gli strati. I token visivi che appaiono ridondanti o debolmente attivati negli strati superficiali (che rappresentano caratteristiche di basso livello) possono diventare critici per il ragionamento di alto livello negli strati più profondi. Il pruning statico scarta irreversibilmente questi token "late-blooming" (a fioritura tardiva) basandosi su stime degli strati superficiali, portando a una perdita di indizi semantici essenziali e a un degrado delle prestazioni, particolarmente nei compiti di ragionamento complessi.

Metodologia: Pruning Sensibile alle Tendenze (Trend-aware Pruning)

Per affrontare il disallineamento tra il pruning statico e l'evoluzione semantica dinamica, gli autori propongono il Trend-aware Pruning, un framework senza addestramento che inquadra il pruning dei token come un problema di modellazione della traiettoria temporale piuttosto che come una decisione locale basata su un singolo istante. Il framework si compone di quattro componenti chiave:

Collettore di Token per Strato (Layer-wise Token Collector):
Invece di valutare i token isolatamente, questo modulo aggrega gli stati di attenzione storici attraverso una finestra di osservazione scorrevole ( $W$ ). Mantiene una cache di memoria a breve termine degli score di attenzione, permettendo al sistema di tracciare il "momentum" dell'importanza del token piuttosto che solo il suo valore attuale.
Modellazione del Flusso dei Token (Token Flow Modeling):
Il metodo calcola un Flusso di Token ( $F_l$ ) calcolando la differenza passo-passo degli score di attenzione all'interno della finestra di osservazione. Questo scinde la direzione del cambiamento della rappresentazione dallo score di importanza del singolo strato, catturando efficacemente l'evoluzione dinamica di ogni token.
Identificazione del Flusso Adattiva (Adaptive Flow Identification):
In base al flusso del token, i token vengono categorizzati in tre pattern evolutivi:
- Tendenza al rialzo (Upward-trending): Token con score di attenzione crescenti, che indicano un accumulo di importanza semantica.
- Tendenza al ribasso (Downward-trending): Token con score decrescenti, che suggeriscono irrilevanza o spostamenti di rappresentazione.
- Fluttuanti (Fluctuating): Token con pattern oscillanti, che spesso rappresentano indizi contestuali variabili attraverso gli strati.
Il sistema impiega una strategia di soglia adattiva consapevole della distribuzione per selezionare i token in base a queste tendenze, anziché utilizzare soglie empiriche fisse.
Attivazione del Flusso e Ritenzione Dinamica (Flow Activation and Dynamic Retention):
Questo è il meccanismo centrale che consente un pruning reversibile. Combina un pruning statico Top- $k$ grossolano (per l'efficienza) con un'attivazione fine basata sulle tendenze. Fondamentalmente, esso riattiva selettivamente i token che sono stati inizialmente filtrati dal Top- $k$ statico ma che esibiscono tendenze semantiche positive (Rialzo o Fluttuazione). Ciò assicura che i token essenziali per il ragionamento negli strati profondi siano preservati anche se sono stati sottovalutati negli strati precedenti.

Contributi Chiave

Riformulazione del Pruning: Il documento sposta il paradigma dal filtraggio dei token statico e istantaneo a un processo dinamico cross-layer che modella esplicitamente l'evoluzione semantica dei token visivi.
Framework di Pruning Sensibile alle Tendenze: Un metodo innovativo che guida congiuntamente lo scarto dei token e la riattivazione selettiva. Introduce un meccanismo per recuperare dinamicamente i token la cui importanza semantica emerge negli strati più profondi, mitigando il degrado causato dalla perdita irreversibile di indizi visivi.
Efficienza Senza Addestramento: L'approccio è plug-and-play, non richiede addestramento aggiuntivo o fine-tuning, rendendolo applicabile a diverse architetture di MLLM.

Risultati Sperimentali

Gli autori hanno valutato il Trend-aware Pruning su diversi MLLM mainstream (serie LLaVA e Qwen2.5-VL) attraverso vari benchmark (MME, GQA, POPE, SQA, MMBench, ecc.).

Compromesso Efficienza-Prestazioni: Il metodo raggiunge una ritenzione delle prestazioni superiore riducendo significativamente i costi computazionali. Con un rapporto di pruning del 50%, mantiene il 98,89% della prestazione media riducendo i FLOPs al 55,10%, superando i metodi allo stato dell'arte come FastV, PDrop e SparseVLM.
Pruning Aggressivo: Sotto l'impostazione più aggressiva (pruning del 77,8%), il metodo riduce il numero di token visivi nello strato finale a circa 23 (il più basso tra tutti i metodi confrontati) mantenendo al contempo prestazioni competitive (96,03% di ritenzione media).
Generalizzazione: L'approccio dimostra una superiorità costante in diversi modelli (0.5B, 7B, 13B) e architetture, incluso Qwen2.5-VL, dove supera significativamente il pruning statico Top- $k$ in compiti che richiedono dettagli fini (es. OCRBench, InfoVQA).
Studi di Ablazione: Gli esperimenti confermano che modellare tutti e tre i trend (Rialzo, Fluttuazione e Ribasso) è cruciale. Nello specifico, l'inclusione dei token con tendenza al rialzo migliora significativamente le prestazioni nei compiti ricchi di dettagli, mentre i token Fluttuanti e in Ribasso fornisgono un ulteriore raffinamento.

Significato e Rivendicazioni

Il documento afferma che il Trend-aware Pruning offre una soluzione robusta e reversibile per l'inferenza multimodale ad alta efficienza. Riconoscendo che l'importanza del token non è fissa ma evolve dinamicamente, il metodo previene la perdita prematura di indizi visivi critici che i metodi statici inevitabilmente scartano.

Gli autori sottolineano che il loro approccio evidenzia l'importanza di modellare la dinamica dei token attraverso gli strati. Sostengono che l'importanza di un singolo strato sia insufficiente per determinare il valore semantico finale di un token visivo. Elevando il pruning da una decisione locale a un problema di traiettoria temporale, il metodo ottiene una decisione di pruning più precisa e stabile, consentendo un riduzione aggressiva dei token senza sacrificare la completezza della rappresentazione necessaria per compiti di ragionamento complesso.

Il lavoro è presentato come un passo verso strategie di pruning reversibili e coerenti con la rappresentazione, offrendo una nuova prospettiva su come gestire i colli di bottiglia computazionali negli MLLM senza la necessità di riaddestramento.