Os sistemas modernos de inteligência artificial que podem ver e falar estão se tornando notavelmente capazes, mas carregam um pesado fardo computacional. Esses modelos de visão-linguagem funcionam convertendo primeiro uma imagem em uma longa sequência de pequenas peças digitais, frequentemente chamadas de tokens, que representam diferentes partes da imagem. Uma fotografia padrão pode ser decomposta em centenas dessas peças. O sistema então processa toda essa sequência juntamente com o texto, de forma muito semelhante a um humano lendo uma frase enquanto observa um diagrama. O problema é que as operações matemáticas necessárias para conectar essas peças crescem exponencialmente à medida que o número de peças aumenta. Se uma imagem gera 576 tokens, o computador deve realizar uma quantidade massiva de trabalho para entender como eles se relacionam entre si, mesmo que muitos desses tokens representem detalhes irrelevantes do plano de fundo, como uma parede branca ou um pedaço de céu. Essa ineficiência torna difícil executar esses sistemas poderosos em hardware padrão ou utilizá-los para tarefas em tempo real, como análise de vídeo.

Pesquisadores há muito tentam resolver isso removendo as peças desnecessárias antes que o sistema comece a trabalhar. Alguns métodos atuam como um filtro logo no início, descartando tokens baseando-se apenas no que a imagem parece ser. Outros esperam até que o sistema tenha começado a processar o texto e a imagem juntos, removendo peças que parecem irrelevantes para a pergunta específica feita. No entanto, ambas as abordagens possuem um ponto cego. Os filtros precoces frequentemente descartam detalhes importantes porque não sabem o que o usuário está perguntando, enquanto os filtros tardios desperdiçam energia processando a imagem inteira antes mesmo de chegarem ao ponto de deletar algo. Um novo estudo introduz uma abordagem unificada que combina os pontos fortes de ambos os métodos, criando um caminho mais eficiente para esses sistemas inteligentes seguirem.

Os pesquisadores, liderados por Jianhua Cui e Meizhou Ding, desenvolveram um framework chamado UniPrune, que trata a redução de tokens como uma jornada de duas etapas, em vez de um evento único. Imagine tentar arrumar uma mala para uma viagem onde você ainda não sabe exatamente como estará o clima. Você não jogaria tudo dentro e esperaria pelo melhor, nem tentaria decidir o que manter depois de já ter arrumado a mala inteira. Em vez disso, você poderia primeiro agrupar itens semelhantes e manter os mais representativos e, depois, uma vez que saiba o seu destino, faria uma seleção final, mais precisa. Isso é essencialmente o que o UniPrune faz. Ele primeiro realiza uma limpeza ampla dos dados da imagem usando padrões visuais e, em seguida, conforme o sistema começa a compreender o contexto de uma pergunta, realiza uma segunda limpeza, mais nítida.

A primeira etapa desse processo acontece logo após a imagem ser escaneada e antes que o modelo de linguagem se envolva. O sistema agrupa os tokens visuais em clusters baseados em sua semelhança, de forma muito parecida com a organização de uma pilha de fotos misturadas por seu assunto geral. De cada grupo, ele mantém o token mais importante e descarta o restante. Isso remove as redundâncias óbvias, como múltiplos tokens representando o mesmo pedaço de céu azul. No entanto, os pesquisadores perceberam que simplesmente cortar o número de tokens pela metade nesta fase poderia ser arriscado. Se o sistema cortar de forma muito agressiva cedo demais, pode perder um token que seja crucial para responder a uma pergunta específica mais adiante. Para resolver isso, eles introduziram uma estratégia de orçamento dinâmico. Em vez de usar uma regra fixa para quantos tokens manter nesta primeira etapa, o sistema mede a complexidade da imagem. Uma imagem simples com um assunto claro recebe um orçamento mais apertado, enquanto uma cena complexa e movimentada tem permissão para manter mais tokens. Isso garante que o sistema retenha detalhes suficientes para lidar com perguntas difíceis sem desperdiçar energia com as simples.

Uma vez feita essa seleção inicial, os tokens restantes são passados para o grande modelo de linguagem, que começa a processá-los junto com o texto. Aqui, o sistema emprega uma segunda estratégia de poda que funciona como uma pirâmide. À medida que os dados se movem através das camadas mais profundas do modelo, o sistema remove gradualmente mais tokens. A lógica é que, conforme o modelo compreende melhor a imagem no contexto da pergunta, torna-se mais claro quais pedaços de informação não são mais necessários. Os pesquisadores descobriram que a maneira mais eficaz de dividir o trabalho entre essas duas etapas não é dividir os tokens uniformemente, mas seguir um equilíbrio matemático específico. Eles descobriram que o número ideal de tokens a manter após a primeira etapa é aproximadamente a raiz quadrada do produto do número inicial pelo número alvo final. Essa regra prática, que chamam de orçamento consciente da informação, permite que o sistema encontre um ponto ideal onde economiza energia computacional suficiente sem sacrificar a capacidade de responder perguntas com precisão.

Para garantir que a primeira etapa não delete acidentalmente tokens que a segunda etapa consideraria úteis, os pesquisadores adicionaram uma terceira camada de inteligência. Eles analisaram como os tokens visuais interagem entre si dentro do próprio codificador de imagem. Descobriram que alguns tokens atuam como integradores globais, conectando informações por toda a imagem, enquanto outros são apenas detectores locais. Ao dar um peso extra a esses integradores globais durante o primeiro corte, o sistema garante que os tokens passados para o modelo de linguagem formem uma base de alta qualidade. Essa "continuidade entre etapas" significa que a segunda etapa tem um ponto de partida melhor, permitindo que ela tome decisões mais inteligentes sobre o que remover posteriormente.

Os resultados dos testes deste framework em duas grandes famílias de modelos de visão-linguagem foram impressionantes. Quando os pesquisadores levaram os sistemas a limites extremos, mantendo apenas uma fração ínfima dos tokens originais — às vezes tão poucos quanto 24 de 576 — o novo método superou significativamente as técnicas existentes. Métodos de etapa única, que tentam fazer todo o corte de uma só vez, viram sua precisão cair drasticamente sob essas condições. Em contraste, a abordagem de duas etapas do UniPrune manteve um alto desempenho, respondendo corretamente a perguntas sobre objetos e cenas que outros métodos perderam. Por exemplo, em um teste padrão de compreensão visual, o novo método reteve mais de 90% do desempenho do modelo completo e sem compressão, enquanto utilizava apenas uma fração da potência computacional.

Além da precisão, o estudo também mediu os benefícios práticos para rodar esses modelos em hardware real. Ao reduzir o número de tokens precocemente no processo, o sistema reduziu drasticamente a memória de pico necessária para executar o modelo. Este é um fator crítico para implantar essas tecnologias em dispositivos com recursos limitados. Os pesquisadores calcularam que o novo método reduziu o trabalho computacional total em mais da metade em comparação com a execução do modelo sem qualquer poda, e ainda mais comparado aos métodos que esperam até o fim para cortar os tokens. O overhead adicionado pelos novos mecanismos de orçamento e pontuação inteligente foi negligenciável, ocupando menos de um por cento do tempo total, o que significa que os ganhos de eficiência são quase inteiramente puros.

O estudo sugere que a chave para uma inteligência artificial eficiente não é apenas sobre cortar caminhos, mas sobre entender onde e quando cortar. Ao reconhecer que a redundância visual vem em duas formas diferentes — uma baseada na própria imagem e outra baseada na tarefa em questão — os pesquisadores criaram um sistema que lida com ambas. Os achados indicam que uma abordagem unificada de múltiplas etapas é superior a tentar resolver o problema em um único passo. Este trabalho fornece um caminho claro para tornar os poderosos modelos de visão-linguagem mais rápidos e acessíveis, provando que, com a estratégia certa, podemos remover o excesso sem perder a essência do que torna esses sistemas inteligentes.