Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

Imagine que você está tentando ensinar um robô superinteligente a entender o mundo mostrando-lhe imagens. Para fazer isso, o robô não apenas "vê" a imagem como um humano; ele a decompõe em milhares de minúsculas peças de quebra-cabeça digitais chamadas "tokens". Pense nesses tokens como notas individuais em uma orquestra massiva e caótica. O robô tem que ouvir cada uma dessas notas para entender a música. Mas aqui está o problema: para imagens de alta resolução, essa orquestra é tão grande que torna o robô lento, deixando-o pesado e faminto por memória de computador.

Cientistas têm tentado resolver isso ensinando o robô a ignorar as notas "tediosas" — aquelas que parecem se repetir ou que não carregam muito significado. Isso é chamado de "poda de tokens" (token pruning). É como um maestro dizendo à orquestra para parar de tocar as notas que soam iguais, esperando que a música ainda soe perfeita, mas toque muito mais rápido. Recentemente, uma nova ferramenta chamada "EmbedLens" ajudou os pesquisadores a perceber que esses tokens não são todos iguais. Alguns são "vivos" (carregando a história real da imagem), alguns são "sumidouros" (padrões repetitivos que apenas ficam ali parados) e alguns são "mortos" (ruído completamente redundante). A grande questão era: se sabemos quais são os tokens "mortos", podemos simplesmente jogá-los fora para acelerar as coisas?

Este artigo, intitulado "Nem Todos os Tokens Redundantes são Iguais", mergulha justamente nessa questão. Os pesquisadores analisaram de perto como diferentes métodos de poda decidem quais tokens cortar. Eles descobriram algo surpreendente: os métodos que tentam cortar os tokens "mortos" nem sempre funcionam melhor do que aqueles que não o fazem. Na verdade, seus experimentos sugerem que mesmo os tokens "mortos" podem estar fazendo algo importante nos bastidores, como manter a orquestra unida. Ao proteger esses tokens "mortos" de serem deletados, o robô às vezes na verdade ficou melhor em responder perguntas, não pior. Acontece que só porque um token parece inútil isoladamente, não significa que seja seguro descartá-lo; às vezes, o grupo inteiro precisa permanecer junto para que a música soe correta.

A História da Orquestra Digital

Para entender por que isso importa, vamos observar como esses Modelos de Visão-Linguagem (VLMs) funcionam. Imagine que você tem um robô que pode ler e ver. Quando você mostra a ele uma foto de um gato, o "olho" do robô (um codificador de visão) decompõe essa foto em uma longa lista de pequenos pedaços de dados. Esses pedaços são então entregues ao "cérebro" do robô (um grande modelo de linguagem) para que ele entenda o que o gato está fazendo.

O problema é que uma única foto pode gerar centenas desses pedaços. Se você tiver um vídeo ou uma imagem muito detalhada, a lista fica tão longa que o robô fica sobrecarregado. Leva muito tempo para processar a primeira parte da imagem (chamada de "latência de prefill"), consome muita memória e custa muita energia. Para corrigir isso, os pesquisadores desenvolveram a "poda de tokens". Isso é como um editor inteligente que olha para a lista de pedaços e diz: "Ok, não precisamos dessas 500 cópias do mesmo céu azul; vamos manter apenas 50".

Por um tempo, todos assumiram que a regra era simples: "Mantenha as coisas interessantes, jogue fora as coisas chatas". Recentemente, uma ferramenta chamada EmbedLens mudou o jogo. Ela olhou dentro do cérebro do robô e descobriu que os tokens se dividem em três grupos distintos:

1. Tokens Vivos: Estas são as estrelas. Elas carregam os detalhes específicos da imagem, como "pelagem fofa" ou "grama verde".
2. Tokens Sumidouros (Sinks): Estes são como o ruído de fundo. São repetitivos e não falam realmente sobre a imagem específica, mas são estáveis e estão sempre lá.
3. Tokens Mortos: Este é o ruído supremo. Eles parecem não ter conexão com a imagem ou com as palavras de forma alguma.

O palpite lógico era: "Se temos Tokens Mortos, vamos apenas deletá-los! Eles são inúteis!"

O Grande Experimento de Poda

Os autores deste artigo decidiram testar esse palpite. Eles pegaram três métodos de poda populares (FastV, DART e DivPrune) e perguntaram: "Quando você reduz o número de tokens, quais você está realmente cortando?"

Eles rodaram esses métodos em dez conjuntos de testes diferentes, variando de perguntas simples como "Qual é a cor do carro?" até questões científicas complexas. Eles rastrearam exatamente quantos tokens "Vivos", "Sumidouros" e "Mortos" foram removidos em diferentes níveis de corte (de 12,5% a 87,5% de tokens removidos).

O que eles descobriram foi um pouco confuso.
Os diferentes métodos de poda não concordavam sobre o que era "inútil".

• O DivPrune foi muito agressivo ao cortar tokens "Mortos". Parecia que seguia a regra: "Delete o ruído".
• O FastV e o DART, no entanto, eram estranhamente protetores dos tokens "Sumidouros". Eles mantinham o ruído repetitivo do fundo, mesmo que parecesse redundante.

Aqui está a reviravolta: Só porque um método cortou mais tokens "Mortos", não significava que ele performava melhor. Na verdade, o DivPrune (que cortou a maioria dos tokens mortos) era às vezes o melhor, mas às vezes o FastV (que manteve os tokens mortos) era melhor. Não havia uma correspondência perfeita entre "cortar o que é morto" e "obter uma boa pontuação".

A Surpresa de "Proteger o Morto"

Para entender por que isso estava acontecendo, os pesquisadores realizaram um experimento astuto. Em vez de apenas deixar os métodos de poda decidirem, eles forçaram o robô a manter tipos específicos de tokens. Eles disseram: "Ok, FastV, você pode cortar o que quiser, mas você deve manter todos os Tokens Mortos".

Eles esperavam que o desempenho caísse. Afinal, se os Tokens Mortos são inúteis, mantê-los deveria apenas desperdiçar espaço e confundir o robô.

O resultado? Não caiu. Em muitos casos, subiu.

• Quando eles protegeram os tokens Vivos, o desempenho melhorou (o que faz sentido).
• Mas quando eles protegeram os tokens Mortos, o desempenho do robô na verdade melhorou cerca de 0,93% em média no método DivPrune.

Isso foi um choque. Sugeriu que, embora um único token "Morto" possa parecer lixo, deletar todos eles poderia quebrar algo mais.

O Conductor Oculto da Orquestra

Por que manter tokens "inúteis" ajudaria? Os autores observaram como os tokens conversavam entre si usando algo chamado atenção. Imagine que os tokens são músicos passando notas uns para os outros.

Eles descobriram que, embora um único token "Morto" não receba muita atenção (não é um solista), existem tantos deles que, como um grupo, eles ocupam uma enorme parte do "orçamento de atenção". Eles são como um enorme coro de backing vocals. Se você os corta todos, os músicos restantes (os tokens Vivos) perdem seu contexto. Os tokens "Mortos" podem não estar cantando a melodia, mas estão mantendo o ritmo e a estrutura da música.

Quando os pesquisadores protegeram os tokens Mortos, os padrões de atenção entre os tokens restantes permaneceram mais equilibrados. Os tokens "Vivos" puderam interagir adequadamente porque os tokens "Mortos" ainda estavam lá para apoiar a estrutura.

A Conclusão

O artigo sugere que não podemos apenas olhar para um token e dizer: "Você está morto, vá embora". Não é tão simples. Os tokens "Mortos" podem ser fracos individualmente, mas são fortes como um grupo.

Os autores concluem que uma poda eficaz não deve ser apenas sobre encontrar os tokens mais importantes. Deve ser sobre composição. Precisamos garantir que não vamos acidentalmente remover toda uma categoria de tokens que, embora individualmente entediantes, são essenciais para o funcionamento do grupo. É um lembrete de que, em um sistema complexo como uma IA, mesmo as partes "redundantes" podem estar desempenhando um trabalho que ainda não compreendemos totalmente.

Portanto, da próxima vez que você pensar em arrumar um quarto bagunçado, lembre-se: às vezes, as coisas que você pensa ser apenas tralha são, na verdade, o que sustenta a prateleira.