🤖 AI

Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin

Questo articolo propone la Middle-layer Attention Prediction (MAP), un metodo che identifica dinamicamente gli strati di attenzione ottimali specifici per ogni campione e li distilla in un predittore leggero per eliminare i token visivi prima dell'elaborazione del modello linguistico, ottenendo un'accelerazione end-to-end di 3,09x pur mantenendo il 97,5% delle prestazioni su LLaVA-NeXT-7B.

Autori originali: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Pubblicato 2026-08-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super-intelligente come vedere e parlare del mondo contemporaneamente. Questo è il mondo dei Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM). Pensa a questi modelli come a brillanti detective che possono guardare un'immagine e rispondere a domande su di essa, come "Di che colore è il collare del cane?" o "Perché la persona sta correndo?". Per farlo, il robot non si limita a "guardare" l'immagine; la scompone in migliaia di minuscoli pezzi di un puzzle digitale chiamati token visivi. Ogni token è un piccolo frammento di informazione su una parte dell'immagine.

Il problema è che questi robot sono incredibilmente affamati. Per dare un vero sguardo a un'immagine, potrebbero dover elaborare migliaia di questi token. È come cercare di leggere un'intera enciclopedia per trovare la risposta a una semplice domanda su un cappello di un gatto. Richiede molto tempo ed energia (potenza di calcolo), rendendo il robot lento e costoso da gestire. Gli scienziati hanno cercato di capire come rendere questi robot più veloci eliminando i pezzi di puzzle inutili prima ancora che inizino a leggerli. Questo è chiamato pruning dei token visivi. Il trucco è sapere quali pezzi tenere e quali buttare via. Se butti via il pezzo sbagliato, il robot si confonde. Se ne tieni troppi, rimane comunque lento. La grande domanda è stata: come facciamo a sapere esattamente quali pezzi dell'immagine sono più importanti per la domanda specifica che viene posta?

Il Problema: Una Taglia Non Va Bene per Tutti

I ricercatori dietro questo articolo, guidati da Yuyao Sun e Tao Deng, hanno scoperto un difetto complicato nel modo in cui attualmente cerchiamo di aiutare questi robot a decidere cosa tenere.

In precedenza, gli scienziati pensavano che se avessero guardato l'"attenzione" del robot (un modo elegante per dire "su cosa il robot si sta concentrando") da uno specifico livello intermedio del suo cervello, avrebbero potuto trovare i pezzi di immagine più importanti. Era come dire: "Ehi robot, guarda solo quello su cui stavi pensando a metà del tuo processo di pensiero, e tieni quei pezzi dell'immagine".

Ma gli autori hanno scoperto che questo approccio "una taglia per tutti" è fallimentare. Immagina di guardare una foto di una spiaggia.

Se qualcuno chiede: "Di che colore è la sabbia?", il cervello del robot si illumina sulla sabbia a metà del suo processo di pensiero.
Se qualcuno chiede: "Di che colore è il cielo?", il cervello del robot si illumina sul cielo, ma forse in una fase diversa del suo processo di pensiero.

I ricercatori hanno dimostato che il "miglior" livello del cervello da controllare dipende interamente dalla domanda specifica. A volte la risposta è nel livello 10, a volte nel livello 20. Usare un livello fisso è come cercare di usare un'unica chiave per ogni porta di un edificio; funziona per alcune, ma fallisce per altre.

Inoltre, c'era un secondo problema, ancora più grande. Per scoprire quale livello fosse quello "migliore" per una specifica domanda, il robot doveva prima elaborare l'intera immagine attraverso tutti quei livelli. È come cercare di trovare la strada migliore per andare a scuola guidando tutto il tragitto prima, solo per vedere quale svolta sia stata la migliore. Al momento in cui capisci quali pezzi tenere, hai già sprecato tutto il tempo e l'energia che volevi risparmiare!

La Soluzione: Il Detective del "Contrasto della Domanda"

Per risolvere questo problema, il team ha proposto un nuovo metodo chiamato MAP (Middle-layer Attention Prediction - Predizione dell'Attenzione del Livello Intermedio). Invece di far fare al robot il lavoro pesante durante la conversazione reale, hanno insegnato a un piccolo assistente, super veloce, a indovinare su cosa il robot avrebbe dovuto concentrarsi.

Ecco come hanno addestrato questo assistente:

Il Trucco del "Contrasto" (QCTS): Hanno ideato un modo intelligente per scegliere l'insegnante giusto per ogni domanda. Hanno preso un'immagine e hanno posto al robot due domande:
- Domanda A: La domanda reale (es. "Di che colore è la barca?").
- Domanda B: Una domanda noiosa e generica (es. "Cosa c'è in questa immagine?").
Hanno poi confrontato l'attenzione del robot per entrambe le domande. I livelli in cui l'attenzione del robot è cambiata di più tra le due domande sono quelli che realmente tenevano conto dei dettagli specifici della barca. Questo metodo, chiamato Question Contrastive Teacher Selection (QCTS), agisce come un riflettore, identificando istantaneamente quale parte del cervello del robot è più eccitata dalla domanda specifica.
Il Predittore Leggero: Una volta saputo quale livello era la "star" per una specifica domanda, non hanno mantenuto quel livello pesante. Invece, hanno insegnato a un piccolo predittore leggero a imitare il comportamento di quel livello star. Questo predittore è così piccolo e veloce che può guardare l'immagine e la domanda prima che il grande robot inizi a pensare, e dire immediatamente: "Tieni questi 5% di pezzi dell'immagine, scarta il resto".

I Risultati: Veloci, Leggeri e Intelligenti

Il team ha testato questo nuovo sistema su diversi cervelli di robot (MLLM) e una vasta gamma di domande difficili. I risultati sono stati impressionanti.

Velocità: Su uno dei loro modelli di test (LLaVA-NeXT-7B), MAP ha reso il robot 3,09 volte più veloce dall'inizio alla fine. È come trasformare una camminata di 10 minuti in una corsa di 3 minuti.
Efficienza: Sono riusciti a scartare il 94,4% dei token visivi (tenendo solo il 5,56% di essi) e il robot ha comunque ottenuto il 97,5% delle risposte corrette rispetto a quelle che avrebbe ottenuto con l'immagine completa.
Selezione Intelligente: A differenza di altri metodi che si limitano a indovinare o usano una regola fissa, la regola di "diversità" di MAP ha garantito che, anche mantenendo pochissimi token, non scegliessero solo pezzi simili tra loro. Scelsero pezzi che fossero diversi l'uno dall'altro ma comunque rilevanti per la domanda, assicurando che il robot non mancasse dettagli cruciali.

Perché è Importante

Questo articolo non si limita a suggerire un'idea interessante; fornisce uno strumento funzionante che risolve un vero collo di bottiglia. Dimostrando che il "miglior" livello cambia per ogni domanda e che possiamo predire questo senza fare prima il lavoro pesante, MAP permette a questi potenti modelli di IA di girare molto più velocemente su computer standard. È un po' come dare a un bibliotecario una scheda magica che gli dice esattamente quale libro tirare fuori dallo scaffale prima ancora di entrare in biblioteca, risparmiandogli il tempo di dover scansionare ogni singolo libro sulla parete.

Gli autori dimostrano che con questo metodo possiamo avere il meglio dei due mondi: possiamo mantenere alta l'intelligenza del robot rendendolo allo stesso tempo significativamente più veloce ed economico da gestire. Suggerisce che il futuro dell'IA non riguarda solo il creare cervelli più grandi e pesanti, ma l'insegnare loro a essere più intelligenti su ciò a cui prestano attenzione.

Sintesi Tecnica: Imparare a Predire l'Attenzione negli Strati Intermedi nei MLLM per il Pruning dei Token Visivi

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) hanno dimostrato forti capacità nei compiti di visione e linguaggio, ma soffrono di elevati costi computazionali a causa dell'elaborazione di numerosi token visivi. Sebbene il pruning dei token visivi offra una soluzione per migliorare l'efficienza dell'inferenza, i metodi esistenti affrontano due criticità fondamentali:

Strati Fissi Subottimali: Studi recenti suggeriscono che l'attenzione testo-visione dagli strati intermedi del modello linguistico guida efficacemente il pruning dei token. Tuttavia, l'analisi rivela che lo strato specifico che fornisce l'attenzione più rispondente alla domanda varia significativamente tra i diversi campioni. Una strategia a strato fisso è quindi subottimale.
Dilemma dell'Efficienza dell'Inferenza: Estrarre l'attenzione dallo strato intermedio appropriato richiede di far passare numerosi token visivi attraverso diversi strati del modello linguistico prima che possa avvenire il pruning. Ciò comporta una computazione sostanziale prima della rimozione dei token, annullando i potenziali guadagni di efficienza. Inoltre, la materializzazione esplicita delle mappe di attenzione durante l'inferenza può limitare la compatibilità con kernel di attenzione ottimizzati (es. FlashAttention).

Metodologia: Middle-layer Attention Prediction (MAP)

Per affrontare questi problemi, gli autori propongono MAP, un framework che destilla l'attenzione degli strati intermedi specifica per il campione in un predittore leggero che opera prima del primo strato del modello linguistico. MAP consiste di due fasi:

1. Addestramento Offline

Question Contrastive Teacher Selection (QCTS): Invece di utilizzare uno strato fisso, MAP seleziona dinamicamente uno strato "insegnante" (teacher) per ogni campione di addestramento. Confronta la distribuzione dell'attenzione testo-visione generata dalla domanda di input rispetto a una domanda di riferimento generica ("Cosa è mostrato in questa immagine?") sulla stessa immagine. Lo strato che presenta la maggiore divergenza di Jensen–Shannon tra queste due distribuzioni viene selezionato come insegnante, poiché cattura meglio le regioni rilevanti per la specifica domanda di input.
Distillazione dell'Attenzione Cross-Modale: Un predittore leggero viene addestrato per riprodurre la distribuzione dell'attenzione dell'insegnante selezionato. Il predittore riceve le rappresentazioni di input multimodale (token visivi dall'encoder visivo e token testuali dallo strato di embedding) disponibili prima dell'elaborazione del LLM. Utilizza MLP specifici per modalità e strati di proiezione per stimare i punteggi di attenzione, minimizzando la divergenza KL tra la distribuzione predetta e la distribuzione dell'insegnante. L'originale MLLM rimane congelato durante questo processo.

2. Pruning dei Token al Tempo di Inferenza

Predizione e Selezione: Durante l'inferenza, il predittore stima la distribuzione dell'attenzione testo-visione direttamente dalle caratteristiche multimodali. Questi punteggi fungono da importanza del token visivo.
Pruning Consapevole della Diversità: Per garantire che i token mantenuti non siano solo rilevanti ma anche complementari, MAP combina i punteggi di importanza predetti con un criterio di diversità. Seleziona greedyamente i token, partendo dai primi $K_0$ per importanza, e aggiunge iterativamente candidati che massimizzano il residuo ortogonale rispetto al sottospazio corrente delle embedding selezionate.
Esecuzione: Il pruning avviene prima del primo strato del modello linguistico. I token selezionati vengono ripristinati al loro ordine originale e combinati con i token della domanda, permettendo all'elaborazione successiva di utilizzare solo l'insieme compatto di token. Questo approccio evita la dipendenza dalle mappe di attenzione del LLM, mantenendo la compatibilità con i kernel ottimizzati.

Contributi Chiave

Analisi della Variabilità degli Strati: Gli autori dimostrano che, sebbene l'attenzione testo-visione degli strati intermedi sia efficace per il pruning, lo strato ottimale dipende dal campione, rendendo subottimali le strategie a strato fisso.
Framework MAP: Propongono un metodo che destilla l'attenzione specifica per campione in un predittore, consentendo un pruning efficiente prima dell'elaborazione del LLM senza incorrere nel costo di attraversare più strati del LLM.
Meccanismo QCTS: Introducono la Question Contrastive Teacher Selection, che identifica lo strato più rispondente alla domanda per ogni campione contrastando le distribuzioni di attenzione rispetto a una domanda di riferimento, fornendo una supervisione su misura per il predittore.
Validazione Empirica: Esperimenti estesi su tre backbone MLLM (LLaVA-1.5-7B, LLaVA-NeXT-7B, Qwen2.5-VL-7B) e dieci benchmark mostrano che MAP raggiunge un rapporto accuratezza-efficienza superiore rispetto ai metodi di pruning esistenti.

Risultati Sperimentali

Il paper riporta i risultati su LLaVA-NeXT-7B e LLaVA-1.5-7B su dieci benchmark (inclusi GQA, MME, VQA-v2, ecc.):

Ritenzione delle Prestazioni: Su LLaVA-NeXT-7B, MAP mantiene il 97,5% delle prestazioni del modello non sottoposto a pruning pur utilizzando solo il 5,56% dei token visivi (160 token mantenuti su 2880).
Accelerazione: Al rapporto di ritenzione indicato, MAP ottiene un'accelerazione di 7,44× nella fase di prefill del LLM e un'accelerazione end-to-end di 3,09×.
Confronto: MAP supera costantemente i metodi allo stato dell'arte (es. LearnPruner, CDPruner, ZOO-Prune) in vari rapporti di ritenzione dei token. Il divario di prestazioni si amplia al diminuire del rapporto di ritenzione, indicando la robustezza di MAP sotto compressione aggressiva.
Studi di Ablazione:
- Selezione dell'Insegnante: QCTS supera la selezione a strato fisso (es. Strato 14) e la fusione multi-strato, confermando la necessità della selezione di un insegnante specifico per campione.
- Diversità: La selezione consapevole della diversità fornisce guadagni marginali con budget di token elevati, ma migliora significativamente le prestazioni sotto pruning aggressivo (es. 32 token), mitigando la ridondanza tra i token ad alto punteggio.
- Efficienza: MAP riduce l'uso della cache KV fino al 91,39% su LLaVA-NeXT-7B.

Significato

Il paper sostiene che MAP affronti il compromesso fondamentale tra efficacia del pruning e costo dell'inferenza. Predicendo il segnale di attenzione ottimale invece di calcolarlo, MAP consente un pruning precoce dei token che preserva le evidenze visive rilevanti per la domanda senza l'overhead computazionale di attraversare più strati del LLM. Il metodo è presentato come una soluzione generalizzabile che migliora l'efficienza dei MLLM mantenendo un'alta accuratezza, particolarmente in scenari che richiedono una riduzione aggressiva dei token.