TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

Imagine um computador tentando entender uma fotografia. Para fazer isso, a máquina decompõe a imagem em milhares de pequenos pedaços, tratando cada peça como uma unidade distinta de informação. À medida que esses modelos se tornaram mais sofisticados, eles aprenderam a processar essas peças com detalhes incríveis, mas isso ocorre a um custo elevado. Quanto mais detalhada a imagem, mais peças o computador deve manter em sua memória de curto prazo para compreendê-las. Isso cria um gargalo: o computador fica sem espaço ou leva tempo demais para pensar, especialmente quando a imagem é de alta resolução ou quando a conversa exige uma resposta longa e detalhada. Durante anos, pesquisadores tentaram resolver isso ensinando o computador a ignorar as peças menos importantes da imagem, esperando manter as inteligentes e descartar o resto.

No entanto, um novo estudo sugere que a maneira como os cientistas têm testado essas estratégias de "ignorar" tem sido fundamentalmente falha. Por muito tempo, o campo dependeu de testes onde o computador precisava apenas dar uma resposta de uma única palavra, como escolher uma letra de uma lista de múltipla escolha ou dizer "sim" ou "não". Os pesquisadores por trás deste novo trabalho, chamado TwinPrune, descobriram que esses testes simples medem apenas o quão bem o computador entende a imagem no início do processo. Eles não conseguem captar o que acontece quando o computador precisa continuar falando, usando sua memória para gerar frases longas. Na verdade, o estudo mostra que um método pode parecer perfeito nesses testes simples, enquanto falha completamente ao ser solicitado a escrever uma descrição mais longa, porque os testes simples nunca checam de fato a parte da memória do processo.

Para corrigir isso, a equipe desenvolveu uma nova maneira de decidir quais pedaços de uma imagem valem a pena ser mantidos. Em vez de observar o quanto uma peça da imagem se destaca para uma pergunta específica, eles observaram o quão única uma peça é em comparação com seus vizinhos imediatos. Se um fragmento da imagem parece muito semelhante aos fragmentos ao seu redor, é provável que seja redundante e possa ser removido com segurança. Se parecer diferente, provavelmente contém informações importantes. Essa pontuação de "densidade" é calculada uma única vez no início e usada para dois trabalhos diferentes. Primeiro, ajuda o computador a fundir peças semelhantes da imagem antes de começar a pensar, o que economiza poder de processamento. Segundo, ajuda o computador a decidir quais pedaços de informação jogar fora de sua memória enquanto está escrevendo uma resposta longa, garantindo que mantenha os detalhes mais únicos e úteis.

Os pesquisadores testaram essa abordagem em vários tipos de modelos de visão-linguagem, variando de sistemas menores a sistemas massivos com bilhões de parâmetros. Eles compararam seu método com as técnicas existentes mais fortes, usando tanto os testes antigos e simples quanto os novos testes mais exigentes que requerem respostas longas. Nos testes simples, o método deles teve um desempenho tão bom quanto os melhores concorrentes. Mas nos testes exigentes, onde o computador tinha que gerar frases completas, a diferença foi gritante. Enquanto outros métodos faziam a precisão do computador despencar quando solicitado a ser conciso, o novo método manteva uma alta precisão mesmo mantendo apenas uma fração minúscula dos dados originais da imagem. Por exemplo, em um benchmark específico envolvendo texto em imagens, o novo método superou a próxima melhor técnica em quase dez pontos percentuais quando a memória estava severamente restrita.

Talvez o mais importante, o estudo revelou que a antiga forma de testar estava escondendo um problema grave. Quando os pesquisadores removeram toda a memória visual do computador durante a fase de escrita, os testes simples mostraram quase nenhuma mudança no desempenho, enquanto os testes de resposta longa mostraram uma queda massiva na qualidade. Isso provou que os testes simples eram cegos para aquilo que mais importa para o uso no mundo real: a capacidade de lembrar e recuperar informações ao longo de uma conversa longa. O novo método, ao usar uma regra única e consistente para gerenciar tanto o pensamento inicial quanto a memória de longo prazo, conseguiu acelerar o processamento inicial do computador em mais de três vezes, ao mesmo tempo em que reduziu significativamente a pegada de memória.

As descobertas sugerem que o campo tem otimizado para a métrica errada. Ao mudar o foco para testes que exigem respostas longas e completas, os pesquisadores mostraram que é possível tornar esses computadores poderosos muito mais rápidos e eficientes sem sacrificar sua capacidade de entender cenas complexas. A abordagem funciona consistentemente em diferentes tamanhos de modelos, desde dispositivos pequenos até os maiores supercomputadores, e não exige que o computador seja retreinado. Ela oferece um caminho prático para a implementação desses sistemas avançados em dispositivos cotidianos, garantindo que possam lidar com imagens de alta resolução e conversas longas sem perder o fôlego.