TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

Immaginate un computer che cerca di comprendere una fotografia. Per farlo, la macchina scompone l'immagine in migliaia di minuscoli pezzi, trattando ogni pezzo come un'unità distinta di informazione. Man mano che questi modelli sono diventati più sofisticati, hanno imparato a elaborare questi pezzi con un dettaglio incredibile, ma ciò avviene a un costo elevato. Più l'immagine è dettagliata, più pezzi il computer deve contenere nella sua memoria a breve termine per dare loro un senso. Questo crea un collo di bottiglia: il computer esaurisce lo spazio o impiega troppo tempo per pensare, specialmente quando l'immagine è ad alta risoluzione o quando la conversazione richiede una risposta lunga e dettagliata. Per anni, i ricercatori hanno cercato di risolvere questo problema insegnando al computer a ignorare i pezzi meno importanti dell'immagine, sperando di mantenere quelli intelligenti e scartare il resto.

Tuttavia, uno studio recente suggerisce che il modo in cui gli scienziati hanno testato queste strategie di "ignorare" sia stato fondamentalmente errato. Per molto tempo, il settore si è affidato a test in cui il computer doveva solo fornire una risposta di una sola parola, come scegliere una lettera da un elenco a scelta multipla o dire "sì" o "no". I ricercatori dietro questo nuovo lavoro, chiamato TwinPrune, hanno scoperto che questi test semplici misurano solo quanto bene il computer comprende l'immagine proprio all'inizio del processo. Essi non riescono a cogliere cosa accada quando il computer deve continuare a parlare, usando la sua memoria per generare frasi lunghe. Infatti, lo studio dimostra che un metodo potrebbe sembrare perfetto in questi test semplici, ma fallire completamente quando gli viene chiesto di scrivere una descrizione più lunga, perché i test semplici non controllano mai la parte relativa alla memoria del processo.

Per risolvere questo problema, il team ha sviluppato un nuovo modo per decidere quali pezzi di un'immagine valga la pena conservare. Invece di guardare quanto un pezzo dell'immagine risalti rispetto a una specifica domanda, hanno osservato quanto un pezzo sia unico rispetto ai suoi vicini immediati. Se un frammento dell'immagine appare molto simile ai frammenti circostanti, è probabile che sia ridondante e possa essere rimosso in sicurezza. Se appare diverso, è probabile che contenga informazioni importanti. Questo punteggio di "densità" viene calcolato una sola volta all'inizio e poi utilizzato per due diversi compiti. Primo, aiuta il computer a fondere insieme i pezzi simili dell'immagine prima che inizi a pensare, risparmiando potenza di calcolo. Secondo, aiuta il computer a decidere quali pezzi di informazione scartare dalla sua memoria mentre sta scrivendo una risposta lunga, assicurando di mantenere i dettagli più unici e utili.

I ricercatori hanno testato questo approccio su diversi tipi di modelli visione-linguaggio, che vanno da sistemi più piccoli a sistemi massicci con miliardi di parametri. Hanno confrontato il loro metodo con le tecniche esistenti più forti, utilizzando sia i vecchi test semplici che i nuovi test più impegnativi che richiedono risposte lunghe. Nei test semplici, il loro metodo ha performato altrettanto bene dei migliori concorrenti. Ma nei test impegnativi, dove il computer doveva generare frasi complete, la differenza era netta. Mentre altri metodi causavano il crollo dell'accuratezza del computer quando gli veniva chiesto di essere conciso, il nuovo metodo manteneva un'alta accuratezza anche mantenendo solo una frazione minima dei dati originali dell'immagine. Ad esempio, in un benchmark specifico riguardante il testo nelle immagini, il nuovo metodo ha superato la seconda migliore tecnica di quasi dieci punti percentuali quando la memoria era severamente limitata.

Forse, cosa più importante, lo studio ha rivelato che il vecchio modo di testare aveva nascosto un problema maggiore. Quando i ricercatori hanno rimosso tutta la memoria visiva dal computer durante la fase di scrittura, i test semplici non hanno mostrato quasi alcun cambiamento nelle prestazioni, mentre i test a risposta lunga hanno mostrato un calo massiccio della qualità. Ciò ha dimostrato che i test semplici erano ciechi proprio verso ciò che conta di più per l'uso nel mondo reale: la capacità di ricordare e recuperare informazioni durante una conversazione lunga. Il nuovo metodo, utilizzando una regola singola e coerente per gestire sia il pensiero iniziale che la memoria a lungo termine, è riuscito a velocizzare l'elaborazione iniziale del computer di oltre tre volte, riducendo anche significativamente l'impronta di memoria.

Le scoperte suggeriscono che il settore ha ottimizzato la metrica sbagliata. Spostando l'attenzione su test che richiedono risposte complete e lunghe, i ricercatori hanno dimostrato che è possibile rendere questi potenti computer molto più veloci ed efficienti senza sacrificare la loro capacità di comprendere scene complesse. L'approccio funziona costantemente attraverso diverse dimensioni di modello, dai piccoli dispositivi ai più grandi supercomputer, e non richiede che il computer venga riaddestrato. Offre una via pratica per l'implementazione di questi sistemi avanzati su dispositivi quotidiani, garantendo che possano gestire immagini ad alta risoluzione e conversazioni lunghe senza esaurire le energie.