Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

Immagina di cercare di insegnare a un robot super intelligente come comprendere il mondo mostrandogli delle immagini. Per farlo, il robot non "vede" l'immagine come un essere umano; la scompone in migliaia di minuscoli pezzi di puzzle digitale chiamati "token". Pensa a questi token come a singole note in una massiccia e caotica orchestra. Il robot deve ascoltare ogni singola nota per capire la canzone. Ma ecco il problema: per le immagini ad alta risoluzione, quell'orchestra è così grande da rallentare il robot, rendendolo pigro e affamato di memoria del computer.

Gli scienziati hanno cercato di risolvere questo problema insegnando al robot a ignorare le note "noiose" — quelle che sembrano ripetersi o che non portano molto significato. Questo si chiama "token pruning" (potatura dei token). È come un direttore d'orchestra che dice all'orchestra di smettere di suonare le note che suonano tutte uguali, sperando che la musica suoni ancora perfetta ma venga eseguita molto più velocemente. Recentemente, un nuovo strumento chiamato "EmbedLens" ha aiutato i ricercatori a capire che questi token non sono tutti uguali. Alcuni sono "vivi" (trasmettono la vera storia dell'immagine), alcuni sono "sink" (pozzi, ovvero schemi ripetitivi che stanno solo lì fermi), e altri sono "morti" (rumore completamente ridondante). La grande domanda era: se sappiamo quali sono i token "morti", possiamo semplicemente buttarli via tutti per velocizzare le cose?

Questo articolo, intitolato "Not All Redundant Tokens Are Alike" (Non tutti i token ridondanti sono uguali), esplora proprio questa domanda. I ricercatori hanno esaminato attentamente come i diversi metodi di potatura decidono quali token tagliare. Hanno scoperto qualcosa di sorprendente: i metodi che cercano di tagliare i token "morti" non sempre funzionano meglio di quelli che non lo fanno. Infatti, i loro esperimenti suggeriscono che anche i token "morti" potrebbero stare facendo qualcosa di importante dietro le quinte, come tenere insieme l'orchestra. Proteggendo questi token "morti" dalla cancellazione, il robot a volte è diventato effettivamente migliore nel rispondere alle domande, non peggiore. Si è scoperto che solo perché un token sembra inutile da solo, non significa che sia sicuro buttarlo via; a volte, l'intero gruppo deve restare unito affinché la musica suoni correttamente.

La Storia dell'Orchestra Digitale

Per capire perché questo sia importante, guardiamo come funzionano questi Modelli Vision-Language (VLM). Immagina di avere un robot che sa leggere e vedere. Quando gli mostri la foto di un gatto, l'"occhio" del robot (un encoder visivo) scompone quella foto in una lunga lista di piccoli pezzi di dati. Questi pezzi vengono poi consegnati al "cervello" del robot (un grande modello linguistico) per capire cosa sta facendo il gatto.

Il problema è che una singola foto può generare centinaia di questi pezzi. Se hai un video o un'immagine molto dettagliata, la lista diventa così lunga che il robot viene sopraffatto. Ci vuole troppo tempo per elaborare la prima parte dell'immagine (chiamata "prefill latency"), consuma troppa memoria e molta energia. Per risolvere questo, i ricercatori hanno sviluppato il "token pruning". Questo è come un editor intelligente che guarda la lista dei pezzi e dice: "Ok, non abbiamo bisogno di queste 500 copie dello stesso cielo blu; teniamone solo 50".

Per un po', tutti hanno dato per scontato che la regola fosse semplice: "Mantieni le cose interessanti, butta via le cose noiose". Recentemente, uno strumento chiamato EmbedLens ha cambiato le regole del gioco. Ha guardato dentro il cervello del robot e ha scoperto che i token si dividono in tre gruppi distinti:

1. Token Vivi (Alive Tokens): Sono le star. Trasmettono i dettagli specifici dell'immagine, come "pelliccia soffice" o "erba verde".
2. Token Sink (Pozzi): Sono come il ronzio di sottofondo. Sono ripetitivi e non parlano davvero dell'immagine specifica, ma sono stabili e sono sempre lì.
3. Token Morti (Dead Tokens): Sono il rumore estremo. Sembrano non avere alcuna connesszione con l'immagine o con le parole.

La deduzione logica era: "Se abbiamo dei Token Morti, buttiamoli via! Sono inutili!".

Il Grande Esperimento di Potatura

Gli autori di questo articolo hanno deciso di testare questa ipotesi. Hanno preso tre popolari metodi di potatura (FastV, DART e DivPrune) e hanno chiesto: "Quando riducete il numero di token, quali state effettivamente tagliando?".

Hanno eseguito questi metodi su dieci diversi set di test, che spaziavano da domande semplici come "Di che colore è l'auto?" a complesse domande scientifiche. Hanno tracciato esattamente quanti token "Vivi", "Sink" e "Morti" venivano rimossi a diversi livelli di taglio (dal 12,5% all'87,5% di token rimossi).

Ciò che hanno scoperto è stato un po' disordinato.
I diversi metodi di potatura non concordavano su cosa fosse "inutile".

• DivPrune era molto aggressivo nel tagliare i token "Morti". Sembrava seguire la regola: "Elimina il rumore".
• FastV e DART, tuttavia, erano stranamente protettivi nei confronti dei token "Sink". Mantenevano il ripetitivo ronzio di sottofondo anche se sembrava ridondante.

Ecco il colpo di scena: il fatto che un metodo tagliasse più token "Morti" non significava che performasse meglio. Infatti, DivPrune (che tagliava la maggior parte dei token morti) era a volte il migliore, ma a volte FastV (che manteneva i token morti) era migliore. Non c'era una corrispondenza perfetta tra "tagliare le cose morte" e "ottenere un buon punteggio".

La Sorpresa del "Proteggi i Morti"

Per capire perché questo stesse accadendo, i ricercatori hanno fatto un esperimento astuto. Invece di lasciare che i metodi di potatura decidessero, hanno costretto il robot a mantenere specifici tipi di token. Hanno detto: "Ok, FastV, puoi tagliare ciò che vuoi, ma devi mantenere tutti i Token Morti".

Si aspettavano che le prestazioni calassero. Dopo tutto, se i Token Morti sono inutili, tenerli dovrebbe solo sprecare spazio e confondere il robot.

Il risultato? Non sono calate. In molti casi, sono aumentate.

• Quando hanno protetto i token Vivi, le prestazioni sono migliorate (il che ha senso).
• Ma quando hanno protetto i token Morti, le prestazioni del robot sono effettivamente migliorate di circa lo 0,93% in media per il metodo DivPrune.

Questo è stato uno shock. Suggeriva che anche se un singolo token "Morto" può sembrare spazzatura, eliminarli tutti potrebbe rompere qualcos'altro.

L'Ispiratore Nascosto dell'Orchestra

Perché mantenere i token "inutili" aiuta? Gli autori hanno osservato come i token interagiscono tra loro usando qualcosa chiamato attenzione (attention). Immaginate che i token siano musicisti che si scambiano note.

Hanno scoperto che, sebbene un singolo token "Morto" non riceva molta attenzione (non è un solista), ce ne sono così tanti che, come gruppo, occupano una enorme fetta del "budget di attenzione". Sono come un massiccio coro di cantanti di sottofondo. Se li tagli tutti, i musicisti rimanenti (i token Vivi) perdono il loro contesto. I token "Morti" potrebbero non cantare la melodia, ma tengono il ritmo e la struttura della canzone.

Quando i ricercatori hanno protetto i token Morti, i modelli di attenzione tra i token rimanenti sono rimasti più equilibrati. I token "Vivi" potevano ancora interagire correttamente perché i token "Morti" erano ancora lì a sostenere la struttura.

Il Punto Chiave

L'articolo suggerisce che non possiamo semplicemente guardare un token e dire: "Tu sei morto, vai via". Non è così semplice. I token "Morti" potrebbero essere deboli singolarmente, ma sono forti come gruppo.

Gli autori concludono che una potatura efficace non dovrebbe riguardare solo il trovare i token più importanti. Deve riguardare la composizione. Dobbiamo assicurarci di non eliminare accidentalmente un'intera categoria di token che, pur essendo individualmente noiosi, sono essenziali affinché il gruppo funzioni. È un promemoria del fatto che in un sistema complesso come un'IA, anche le parti "ridondanti" potrebbero svolgere un lavoro che non comprendiamo ancora appieno.

Quindi, la prossima volta che pensate di riordinare una stanza disordinata, ricordate: a volte le cose che pensate siano solo ingombro sono in realtà quelle che tengono su lo scaffale.