🤖 AI

Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin

Este artigo propõe a Predição de Atenção de Camada Intermediária (MAP), um método que identifica dinamicamente as camadas de atenção ideais específicas para cada amostra e as destila em um preditor leve para podar tokens visuais antes do processamento pelo modelo de linguagem, alcançando uma aceleração end-to-end de 3,09x enquanto retém 97,5% do desempenho no LLaVA-NeXT-7B.

Autores originais: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Publicado 2026-08-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ver e falar sobre o mundo ao mesmo tempo. Este é o mundo dos Modelos de Linguagem de Grande Escala Multimodais (MLLMs). Pense nesses modelos como detetives brilhantes que conseguem olhar para uma imagem e responder perguntas sobre ela, como "Qual é a cor da coleira do cachorro?" ou "Por que a pessoa está correndo?". Para fazer isso, o robô não apenas "olha" para a imagem; ele a decompõe em milhares de minúsculos pedaços digitais de um quebra-cabeça chamados tokens visuais. Cada token é um pequeno fragmento de informação sobre uma parte da imagem.

O problema é que esses robôs são incrivelmente famintos. Para ter uma visão realmente boa de uma imagem, eles podem precisar processar milhares desses tokens. É como tentar ler uma enciclopédia inteira para encontrar a resposta para uma pergunta simples sobre o chapéu de um gato. Isso leva muito tempo e energia (poder de computação), tornando o robô lento e caro de operar. Cientistas têm tentado descobrir como tornar esses robôs mais rápidos jogando fora as peças inúteis do quebra-cabeça antes mesmo de começarem a lê-las. Isso é chamado de poda de tokens visuais (visual token pruning). O truque é saber quais peças manter e quais descartar. Se você jogar fora a peça errada, o robô fica confuso. Se mantiver peças demais, ele continua lento. A grande questão tem sido: Como sabemos exatamente quais peças da imagem são mais importantes para a pergunta específica que está sendo feita?

O Problema: Um Tamanho Não Serve para Todos

Os pesquisadores por trás deste artigo, liderados por Yuyao Sun e Tao Deng, descobriram uma falha complicada na forma como tentamos ajudar esses robôs a decidir o que manter.

Anteriormente, os cientistas pensavam que, se olhassem para a "atenção" do robô (uma maneira elegante de dizer "no que o robô está focando") de uma camada específica e intermediária de seu cérebro, poderiam encontrar as peças de imagem mais importantes. Era como dizer: "Ei, robô, apenas olhe para o que você estava pensando no meio do seu processo de pensamento e mantenha essas peças da imagem".

Mas os autores descobriram que essa abordagem de "um tamanho único para todos" está quebrada. Imagine que você está olhando para uma foto de uma praia.

Se alguém perguntar: "Qual é a cor da areia?", o cérebro do robô acende na areia no meio do seu processo de pensamento.
Se alguém perguntar: "Qual é a cor do céu?", o cérebro do robô acende no céu, mas talvez em um estágio de pensamento diferente.

Os pesquisadores mostraram que a "melhor" camada do cérebro para verificar depende inteiramente da pergunta específica. Às vezes a resposta está na camada 10, às vezes na camada 20. Usar uma camada fixa é como tentar usar uma única chave para todas as portas de um prédio; funciona para algumas, mas falha para outras.

Além disso, havia um segundo problema, maior. Para descobrir qual camada era a "melhor" para uma pergunta específica, o robô tinha que processar toda a imagem através de todas aquelas camadas primeiro. É como tentar encontrar a melhor rota para a escola dirigindo todo o caminho até lá primeiro, apenas para ver qual curva foi a melhor. Quando você descobre quais peças manter, já terá desperdiçado todo o tempo e a energia que estava tentando economizar!

A Solução: O Detetive de "Contraste de Pergunta"

Para resolver isso, a equipe propôs um novo método chamado MAP (Middle-layer Attention Prediction - Predição de Atenção de Camada Intermediária). Em vez de fazer o robô realizar o trabalho pesado durante a conversa real, eles ensinaram um assistente minúsculo e superveloz a adivinhar no que o robô estaria focando.

Aqui está como eles treinaram este assistente:

O Truque do "Contraste" (QCTS): Eles criaram uma maneira inteligente de escolher o "professor" certo para cada pergunta. Eles pegaram uma imagem e fizeram duas perguntas ao robô:
- Pergunta A: A pergunta real (ex: "Qual é a cor do barco?").
- Pergunta B: Uma pergunta entediante e genérica (ex: "O que há nesta imagem?").
Eles então compararam a atenção do robô para ambas as perguntas. As camadas onde o foco do robô mudou mais entre as duas perguntas foram as que realmente se importaram com os detalhes específicos do barco. Este método, chamado Question Contrastive Teacher Selection (QCTS), age como um holofote, identificando instantaneamente qual parte do cérebro do robô está mais animada com a pergunta específica.
O Preditor Leve: Uma vez que sabiam qual camada era a "estrela" para uma pergunta específica, eles não mantinham essa camada pesada. Em vez disso, ensinaram um preditor minúsculo e leve a imitar o comportamento dessa camada estrela. Este preditor é tão pequeno e rápido que pode olhar para a imagem e a pergunta antes mesmo do grande robô começar a pensar, e imediatamente dizer: "Mantenha 5% das peças da imagem, jogue o resto fora".

Os Resultados: Rápido, Leve e Inteligente

A equipe testou este novo sistema em vários diferentes cérebros de robôs (MLLMs) e uma ampla variedade de perguntas complicadas. Os resultados foram impressionantes.

Velocidade: Em um de seus modelos de teste (LLaVA-NeXT-7B), o MAP tornou o robô 3,09 vezes mais rápido do início ao fim. É como transformar uma caminhada de 10 minutos em uma corrida de 3 minutos.
Eficiência: Eles conseguiram descartar 94,4% dos tokens visuais (mantendo apenas 5,56% deles) e o robô ainda obteve 97,5% das respostas corretas que teria obtido com a imagem completa.
Seleção Inteligente: Ao contrário de outros métodos que apenas adivinham ou usam uma regra fixa, a regra de "diversidade" do MAP garantiu que, mesmo mantendo poucos tokens, ele não escolhesse apenas peças de aparência semelhante. Ele escolheu peças que eram diferentes entre si, mas ainda relevantes para a pergunta, garantindo que o robô não perdesse nenhum detalhe crucial.

Por Que Isso Importa

Este artigo não apenas sugere uma ideia legal; ele fornece uma ferramenta funcional que resolve um gargalo real. Ao provar que a "melhor" camada muda para cada pergunta e que podemos prevê-la sem fazer o trabalho pesado primeiro, o MAP permite que esses poderosos modelos de IA funcionem muito mais rápido em computadores padrão. É um pouco como dar a um bibliotecário um cartão de índice mágico que lhe diz exatamente qual livro retirar da prateleira antes mesmo de ele entrar na biblioteca, poupando-o de ter que escanear cada livro na parede.

Os autores mostram que, com este método, podemos ter o melhor dos dois mundos: podemos manter a inteligência do robô alta enquanto o tornamos significativamente mais rápido e menos caro de operar. Isso sugere que o futuro da IA não é apenas sobre criar cérebros maiores e mais pesados, mas sobre ensiná-los a serem mais inteligentes sobre o que eles prestam atenção.

Resumo Técnico: Aprendendo a Predizer a Atenção de Camadas Intermediárias em MLLMs para Poda de Tokens Visuais

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram fortes capacidades em tarefas de visão e linguagem, mas sofrem com altos custos computacionais devido ao processamento de inúmeros tokens visuais. Embora a poda de tokens visuais ofereça uma solução para melhorar a eficiência da inferência, os métodos existentes enfrentam duas limitações críticas:

Camadas Fixas Subótimas: Estudos recentes sugerem que a atenção texto-visão de camadas intermediárias do modelo de linguagem guia efetivamente a poda de tokens. No entanto, análなes revelam que a camada específica que fornece a atenção mais responsiva à pergunta varia significativamente entre diferentes amostras. Uma estratégia de camada fixa é, portanto, subótima.
Dilema da Eficiência de Inferência: Extrair a atenção da camada intermediária apropriada requer passar inúmeros tokens visuais por várias camadas do modelo de linguagem antes que a poda possa ocorrer. Isso acarreta uma computação substancial antes que quaisquer tokens sejam removidos, anulando os potenciais ganhos de eficiência. Além disso, materializar explicitamente mapas de atenção durante a inferência pode limitar a compatibilidade com kernels de atenção otimizados (ex: FlashAttention).

Metodologia: Predição de Atenção de Camada Intermediária (MAP)

Para abordar esses problemas, os autores propõem o MAP, um framework que destila a atenção de camada intermediária específica da amostra em um preditor leve que opera antes da primeira camada do modelo de linguagem. O MAP consiste em duas fases:

1. Treinamento Offline

Seleção de Professor por Contraste de Pergunta (QCTS): Em vez de usar uma camada fixa, o MAP seleciona dinamicamente uma camada "professora" para cada amostra de treinamento. Ele compara a distribuição de atenção texto-visão gerada pela pergunta de entrada contra uma pergunta de referência genérica ("O que é mostrado nesta imagem?") na mesma imagem. A camada que exibe a maior divergência de Jensen–Shannon entre essas duas distribuições é selecionada como o professor, pois ela captura melhor as regiões relevantes para a pergunta específica de entrada.
Destilação de Atenção Cross-Modal: Um preditor leve é treinado para reproduzir a distribuição de atenção do professor selecionado. O preditor recebe representações de entrada multimodais (tokens visuais do codificador de visão e tokens de texto da camada de embedding) disponíveis antes do processamento do LLM. Ele utiliza MLPs específicos de modalidade e camadas de projeção para estimar as pontuações de atenção, minimizando a divergência de Kullback-Leibler (KL) entre a distribuição prevista e a distribuição do professor. O MLLM original permanece congelado durante este processo.

2. Poda de Tokens em Tempo de Inferência

Predição e Seleção: Durante a inferência, o preditor estima a distribuição de atenção texto-visão diretamente das características multimodais. Essas pontuações servem como importância do token visual.
Poda Consciente de Diversidade: Para garantir que os tokens retidos não sejam apenas relevantes, mas também complementares, o MAP combina as pontuações de importância previstas com um critério de diversidade. Ele seleciona tokens de forma gananciosa (greedy), começando com os $K_0$ principais por importância, e adiciona iterativamente candidatos que maximizam o resíduo ortogonal em relação ao subespaço atual das embeddings selecionadas.
Execução: A poda ocorre antes da primeira camada do modelo de linguagem. Os tokens selecionados são restaurados à sua ordem original e combinados com os tokens da pergunta, permitindo que o processamento subsequente utilize apenas o conjunto compacto de tokens. Esta abordagem evita a dependência de mapas de atenção do LLM, mantendo a compatibilidade com kernels otimizados.

Principais Contribuições

Análise de Variabilidade de Camada: Os autores demonstram que, embora a atenção texto-visão de camada intermediária seja eficaz para a poda, a camada ideal depende da amostra, tornando estratégias de camada fixa subótimas.
Framework MAP: Eles propõem um método que destila a atenção específica da amostra em um preditor, permitindo a poda eficiente de tokens antes do processamento do LLM sem incorrer no custo de atravessar múltiplas camadas.
Mecanismo QCTS: Eles introduzem a Seleção de Professor por Contraste de Pergunta (QCTS), que identifica a camada mais responsiva à pergunta para cada amostra ao contrastar distribuições de atenção contra uma pergunta de referência, fornecendo supervisão personalizada para o predidor.
Validação Empírica: Experimentos extensos em três backbones de MLLM (LLaVA-1.5-7B, LLaVA-NeXT-7B, Qwen2.5-VL-7B) e dez benchmarks mostram que o MAP alcança um equilíbrio superior entre precisão e eficiência em comparação com métodos de poda existentes.

Resultados Experimentais

O artigo reporta resultados no LLaVA-NeXT-7B e LLaVA-1.5-7B em dez benchmarks (incluindo GQA, MME, VQA-v2, etc.):

Retenção de Desempenho: No LLaVA-NeXT-7B, o MAP retém 97,5% do desempenho do modelo não podado enquanto utiliza apenas 5,56% dos tokens visuais (160 tokens retidos de 2880).
Aceleração (Speedup): Nesta razão de retenção, o MAP alcança um aceleração de 7,44× na fase de prefill do LLM e um aceleração end-to-end de 3,09×.
Comparação: O MAP supera consistentemente métodos de estado da arte (ex: LearnPruner, CDPruner, ZOO-Prune) em várias razões de retenção de tokens. A lacuna de desempenho aumenta conforme a razão de retenção diminui, indicando a robustez do MAP sob compressão agressiva.
Estudos de Ablação:
- Seleção de Professor: O QCTS supera a seleção de camada fixa (ex: Camada 14) e a fusão de múltiplas camadas, confirmando a necessidade de seleção de professor específica por amostra.
- Diversidade: A seleção consciente de diversidade fornece ganhos marginais em orçamentos de tokens altos, mas melhora significamente o desempenho sob poda agressiva (ex: 32 tokens), mitigando a redundância entre tokens de alta pontuação.
- Eficiência: O MAP reduz o uso de cache KV em até 91,39% no LLaVA-NeXT-7B.

Significância

O artigo afirma que o MAP aborda o trade-off fundamental entre eficácia de poda e custo de inferência. Ao predizer o sinal de atenção ideal em vez de computá-lo, o MAP permite a poda precoce de tokens que preserva evidências visuais relevantes à pergunta sem o overhead computacional de atravessar múltiplas camadas do LLM. O método é apresentado como uma solução generalizável que melhora a eficiência dos MLLMs mantendo alta precisão, particularmente em cenários que exigem redução agressiva de tokens.