💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

O CRISP é um framework de poda de tokens visuais orientado por texto e pré-LLM que utiliza um pipeline de dois estágios para identificar tokens relevantes à instrução e aumentar a diversidade semântica, alcançando uma retenção de precisão de mais de 99,5% enquanto reduz a latência de inferência em mais de 2x para Grandes Modelos de Linguagem-Visão.

Autores originais: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério, mas em vez de algumas pistas, recebe uma biblioteca contendo milhões de livros, todos abertos ao mesmo tempo. É essencialmente assim que os modernos "Modelos de Visão-Linguagem de Grande Escala" (LVLMs) funcionam. Estes são programas de computador superinteligentes que podem olhar para uma imagem e responder perguntas sobre ela, como um detetive digital. Para fazer isso, eles decompõem a imagem em milhares de minúsculas peças digitais chamadas "tokens". Pense nesses tokens como peças individuais de um quebra-cabeça. O problema é que o computador tenta ler cada uma das peças do quebra-cabeça, mesmo aquelas que são apenas céu azul ou chão vazio, antes mesmo de olhar para a sua pergunta. Isso torna o processo incrivelmente lento e ávido por potência de computação, como tentar ler uma enciclopédia inteira apenas para descobrir de que cor é a coleira do gato.

Por muito tempo, os cientistas tentaram acelerar isso descartando peças do quebra-cabeça aleatoriamente (o que às vezes deletava a coleira do gato) ou esperando até que o computador já tivesse começado a ler o livro inteiro antes de decidir o que pular (o que era tarde demais para economizar tempo). A grande questão era: Poderíamos ensinar o computador a olhar para a pergunta primeiro, e então escolher apenas as peças específicas do quebra-cabeça necessárias para responder, sem atrasar todo o sistema?

É aqui que entra um novo método chamado CRISP. Pense no CRISP como um bibliotecário super Eficiente que trabalha antes mesmo do detetive começar a ler. Em vez de despejar a biblioteca inteira sobre a mesa, o CRISP ouve a sua pergunta primeiro. Se você perguntar: "Qual é a cor da bolsa?", o CRISP escaneia instantaneamente a imagem e agarra apenas as peças do quebra-cabeça que mostram a bolsa e a área imediata ao redor dela. Ele não para por aí, no entanto; ele também pega algumas peças extras para garantir que o contexto do fundo (como a rua ou a pessoa segurando-a) não seja perdido.

Os pesquisadores por trás do CRISP descobriram que essa abordagem de "perguntar primeiro, depois olhar" é muito mais inteligente do que os antigos métodos de "olhar primeiro, depois perguntar". Em seus testes, eles mostraram que o CRISP poderia descartar até 88,9% das peças visuais do quebra-cabeça (reduzindo a imagem de centenas de tokens para apenas 64 ou 128) mantendo a precisão do computador quase exatamente igual à de se ele tivesse olhado para a imagem inteira. De fato, em alguns testes, foi tão bom em encontrar as pistas certas que chegou até a reduzir as "alucinações" — aqueles momentos em que uma IA inventa coisas que não estão lá.

O artigo argumenta explicitamente contra duas formas comuns de fazer isso hoje em dia. Uma forma é simplesmente escolher as peças de aparência mais "importante" de uma imagem, independentemente da pergunta (agnóstica ao texto), o que os autores dizem ser como encarar uma pintura antes de saber o que se está procurando. A outra forma é esperar até que o computador esteja no meio do seu processo de pensamento para começar a deletar peças, o que os autores dizem desperdiçar muita energia porque o computador já fez o trabalho pesado de ler tudo. O CRISP rejeita ambos, provando que você pode ser rápido e inteligente ao mesmo tempo, realizando a poda antes do pensamento pesado começar.

Os resultados são mensurados e bastante específicos. Em um modelo popular chamado LLaVA-1.5, o CRISP manteve 99,5% do desempenho original usando apenas 128 tokens em vez dos habituais 576. Em um modelo mais novo, o LLaVA-NeXT, manteve 96,9% do desempenho com apenas 320 tokens. Talvez o mais impressionante seja que esse aumento de velocidade não apenas preservou a precisão; ele cortou o tempo para obter uma resposta em mais da metade. Os autores sugerem que este método é uma solução prática e pronta para uso para tornar esses computadores inteligentes de leitura de imagens muito mais rápidos e baratos de operar, especialmente em dispositivos que não possuem uma quantidade massiva de energia.

Resumo Técnico: CRISP – Poda de Tokens Visuais Baseada em Texto e Pré-LLM

1. Definição do Problema

Os Grandes Modelos de Linguagem-Visão (LVLMs) sofrem com uma sobrecarga substancial de inferência porque codificam imagens em sequências longas de tokens visuais (frequentemente centenas ou milhares) que são totalmente processados pelo Grande Modelo de Linguagem (LLM). Isso cria um gargalo para a implantação em cenários sensíveis à latência ou com recursos limitados.

Os métodos existentes de poda de tokens visuais enfrentam um compromisso fundamental:

Poda Pré-LLM: Opera antes do LLM usando heurísticas agnósticas ao texto (ex: atenção CLS ou similaridade de características). Embora eficientes, esses métodos são "agnósticos ao texto", o que significa que podam os mesmos tokens independentemente da consulta textual específica. Isso mimetiza uma estratégia cognitiva de "olhar primeiro, depois perguntar", que é menos eficiente do que o processo natural de "ler, depois ver" e frequentemente descarta detalhes relevantes para a consulta.
Poda Intra-LLM: Opera dentro do LLM usando escores de atenção cross-modal para podar tokens com base no texto atual. Embora sejam orientados pelo texto, a poda em camadas rasas sofre de viés posicional e dispersão de atenção, degradando a precisidade. A poda em camadas mais profundas preserva a precisão, mas exige que os tokens visuais atravessem muitos blocos do LLM, diminuindo a economia computacional. Além disso, extrair pesos de atenção interrompe o FlashAttention, prejudicando a eficiência.

Há uma necessidade de um método que realize a poda antes do LLM (para maximizar a eficiência), mas que permaneça orientado pelo texto (para preservar a informação relevante à tarefa) sem acessar os mecanismos de atenção interna do LLM.

2. Metodologia: CRISP

Os autores propõem o CRISP (CRItical-first and Semantically-covered Pre-LLM token pruning), um framework livre de treinamento que opera entre o projetor de visão e o LLM. Ele utiliza um pipeline de dois estágios para selecionar um subconjunto compacto de tokens visuais ( $K$ ) que equilibra a relevância da instrução com o contexto da cena.

Estágio 1: Seleção de Tokens "Critical-First" (Críticos Primeiro)

Este estágio identifica os tokens visuais mais relevantes para a consulta textual.

Extração de Palavras-Chave: O sistema extrai substantivos da consulta (ex: "esquiador", "luvas") usando processamento de PLN leve, já que substantivos tipicamente correspondem a regiões concretas da imagem.
Computação de Relevância Cross-modal: Os tokens visuais projetados e os embeddings das palavras (extraídos da média dos tokens de subpalavras) existem no mesmo espaço semântico. O sistema computa uma matriz de similaridade de cosseno entre os tokens visuais e os embeddings das palavras.
Alocação de Cota por Palavra: Nem todas as palavras estão igualmente fundamentadas na imagem. O sistema utiliza a atenção CLS do codificador de visão para determinar a importância das regiões associadas a cada palavra. Palavras com escores de atenção CLS mais altos recebem um orçamento de tokens maior.
Seleção: Os $K$ melhores tokens visuais são selecionados com base na relevância para as palavras específicas e suas cotas alocadas. Se nenhum substantivo for detectado, o sistema recorre à seleção baseada puramente na atenção CLS global.

Estágio 2: Complementação de Tokens "Semantically-Covered" (Semanticamente Cobertos)

Confiar apenas em tokens alinhados ao texto corre o risco de perder o contexto essencial (ex: layout espacial, plano de fundo).

O sistema seleciona iterativamente tokens adicionais do pool restante para atingir o orçamento total $K$ .
Ele seleciona tokens que são semanticamente complementares ao conjunto já selecionado. Especificamente, escolhe o token com a menor similaridade máxima em relação ao conjunto atual, maximizando assim a diversidade semântica e garantindo a preservação do contexto essencial da cena.

3. Principais Contribuições

Poda Pré-LLM Orientada pelo Texto: O CRISP preenche a lacuna entre eficiência e relevância ao realizar a poda antes do LLM, mantendo-se dinamicamente adaptável à consulta textual, evitando a limitação "agnóstica ao texto" dos métodos pré-LLM anteriores.
Pipeline de Dois Estágios: A combinação da seleção "Critical-First" (garantindo o alinhamento com a consulta) e da complementação "Semantically-Covered" (garantindo a diversidade contextual) permite que o modelo retenha evidências críticas sem sacrificar a compreensão da cena.
Livre de Treinamento e Eficiente: O método não requer treinamento adicional, não acessa os pesos de atenção do LLM (preservando a compatibilidade com o FlashAttention) e opera inteiramente entre o projetor e o LLM.

4. Resultados Experimentais

Os autores avaliaram o CRISP no LLaVA-1.5-7B e LLaVA-NeXT-7B em nove benchmarks (incluindo MME, GQA, SQA, POPE e VQA-v2).

Retenção de Desempenho:
- No LLaVA-1.5-7B, com uma razão de poda de 77,8% (retendo apenas 128 tokens), o CRISP alcançou 99,5% do desempenho do modelo de tokens completos, superando o próximo melhor método (97,9%).
- No LLaVA-1.5-7B, mesmo sob uma razão de poda agressiva de 88,9% (64 tokens), ele manteve 97,7% de desempenho.
- No LLaVA-NeXT-7B, com uma razão de poda de 88,9% (320 tokens), o CRISP reteve 96,9% do desempenho, superando todos os baselines.
- Notavelmente, o CRISP superou o baseline de tokens completos no benchmark POPE (detecção de alucinação de objetos), sugerindo que sua seleção focada efetivamente suprime correlações espúrias.
Ganhos de Eficiência:
- O CRISP reduziu os FLOPs de inferência e o uso de memória do KV-cache quase linearmente com a redução da contagem de tokens.
- Alcançou um aumento de velocidade >2× na velocidade de decodificação e reduziu significativamente o tempo total de avaliação end-to-end em ambos os modelos.

5. Significância e Alegações

O artigo afirma que o CRISP oferece uma solução prática e generalizável para a inferência eficiente de LVLMs. Ao desacoplar a relevância orientada pelo texto do processamento interno do LLM, o CRISP alcança um compromisso superior entre precisão e eficiência em comparação com os métodos existentes. Os autores destacam que esta abordagem é particularmente valiosa para cenários de recursos limitados e implantações sensíveis à latência, permitindo o uso de LVLMs de alto desempenho sem o custo computacional proibitivo de processar sequências completas de tokens visuais. Os resultados sugerem que apenas um número modesto de tokens relevantes ao texto é necessário para preservar evidências críticas, desde que o orçamento restante seja usado para manter uma fundamentação contextual diversa.