💻 computer science

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

Este artigo propõe o Trend-aware Pruning, uma estrutura livre de treinamento para Modelos de Linguagem de Grande Escala Multimodais que melhora a eficiência ao modelar a evolução dinâmica da importância dos tokens através das camadas para evitar a perda prematura de pistas visuais críticas, alcançando mais de 77,8% de redução de tokens enquanto mantém um desempenho competitivo.

Autores originais: Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Publicado 2026-07-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a entender o mundo mostrando-lhe imagens e fazendo perguntas. Este campo é chamado de Modelos de Linguagem de Grande Escala Multimodais (MLLMs). Pense nesses modelos como detetives brilhantes que conseguem ler texto e olhar para imagens ao mesmo tempo. Para "ver" uma imagem, o robô a decompõe em milhares de minúsculas peças de quebra-cabeça chamadas "tokens". Cada token é um pequeno fragmento da imagem, como um pedaço de céu azul ou uma roda de um carro. O problema é que, quando você mostra ao robô uma foto de alta resolução, ele fica sobrecarregado com muitas peças. Ele tenta prestar atenção em cada uma delas, o que torna o robô lento, caro para operar e, às vezes, até confuso com todo o ruído.

Para corrigir isso, cientistas tentaram um truque simples: apenas jogar fora as peças que parecem sem importância logo no início. É como um segurança em uma boate que olha para uma multidão e imediatamente expulsa qualquer um que não esteja usando uma camisa de uma cor específica. Mas aqui está a pegadinha: às vezes, a pessoa mais interessante na sala está usando uma camisa sem graça no início, para só depois começar a dançar e se tornar a alma da festa. Se o segurança expulsar essa pessoa cedo demais, a festa será arruinada. Este artigo faz uma grande pergunta: é seguro tomar uma decisão final sobre o que manter baseando-se apenas em um olhar de um milésimo de segundo, ou precisamos observar como as coisas mudam ao longo do tempo?

Os pesquisadores por trás deste artigo, Jie Ma e sua equipe, dizem que o antigo método do "segurança" é muito rígido. Eles propõem uma nova forma de pensar chamada Poda Consciente de Tendências (Trend-aware Pruning). Em vez de apenas olhar para um instantâneo de quais tokens são importantes agora, o método deles atua como um observador paciente que observa os tokens ao longo do tempo para ver suas "tendências". Eles perceberam que alguns tokens são como flores de floração tardia; eles podem parecer quietos e sem importância nas camadas iniciais do cérebro do robô, mas, conforme o robô processa a imagem mais profundamente, esses tokens subitamente tornam-se cruciais para entender a cena.

A equipe construiu um sistema que rastreia o "momento" desses tokens. Imagine um rio onde algumas rochas estão apenas paradas, mas outras estão lentamente derivando em direção ao centro da correnteza. O método antigo ignoraria as rochas à deriva porque elas ainda não estão no centro. O novo método, no entanto, percebe essa deriva. Ele mantém um olho nos tokens que estão mostrando uma "tendência de alta" — o que significa que sua importância está aumentando, mesmo que ainda não sejam a prioridade máxima. Se um token começa a parecer mais interessante conforme o robô se aprofunda, o sistema o "resgata", trazendo-o de volta para a conversa antes que seja tarde demais. Eles também vigiam tokens que estão "fluctuando" (subindo e descendo) ou com "tendência de queda" (desaparecendo), tratando cada grupo de forma diferente, em vez de simplesmente descartá-los todos.

Quando testaram essa ideia em cérebros robóticos populares como LLaVA e Qwen, os resultados foram impressionantes. O novo método não apenas economizou tempo; ele de fato ajudou o robô a ter um desempenho melhor. Em seus experimentos, eles foram capazes de reduzir o número de tokens visuais em mais de 77,8%, deixando apenas cerca de 23 tokens para serem processados na camada final. Apesar de descartar tantos dados, o robô manteve 98,89% de seu desempenho original ao cortar os tokens pela metade, e manteve até mesmo um forte 96,03% de desempenho ao cortar quase 78% dos tokens. Isso é um grande feito porque outros métodos que apenas escolhem os "principais" tokens no início costem perder detalhes importantes quando são tão agressivos.

Os autores sugerem que esta abordagem funciona porque respeita o fato de que compreender uma imagem é uma jornada, não um momento único. Ao permitir que o robô mude de ideia e "reative" tokens que foram inicialmente negligenciados, eles evitam a perda de pistas críticas. Eles descobriram que essa abordagem dinâmica é especialmente boa em tarefas complicadas, como ler texto em imagens (OCR) ou detectar pequenos detalhes, onde métodos estáticos costumam falhar. Embora admitam que seu sistema depende de uma janela fixa de observação e poderia ser melhorado para lidar com sequências ainda mais longas, o trabalho deles mostra que observar a tendência da atenção é uma forma poderosa de tornar esses robôs inteligentes mais rápidos e aguçados sem a necessidade de treiná-los do zero.

Resumo Técnico: Capturando Tendências de Tokens para Poda de Tokens Livre de Treinamento em Grandes Modelos de Linguagem Multimodais

Declaração do Problema

Os Grandes Modelos de Linguagem Multimodais (MLLMs) enfrentam um gargalo computacional significativo devido à complexidade quadrática do mecanismo de atenção ao processar imagens de alta resolução e entradas de múltiplas imagens. Isso resulta em um número excessivo de tokens visuais, criando uma redundância severa que dificulta a inferência eficiente.

Os métodos existentes de poda de tokens livres de treinamento tentam mitigar isso baseando-se em heurísticas estáticas e instantâneas (por exemplo, seleção Top- $k$ baseada em atenção) para filtrar tokens em camadas iniciais. O artigo identifica uma falha crítica nesta abordagem: ela trata a importância do token como uma decisão fixa de disparo único. No entanto, os MLLMs exibem uma natureza hierárquica onde a importância do token evolui dinamicamente através das camadas. Tokens visuais que parecem redundantes ou fracamente ativados em camadas rasas (representando características de baixo nível) podem se tornar críticos para o raciocínio de alto nível em camadas mais profundas. A poda estática descarta irreversivelmente esses tokens de "florescimento tardio" com base em estimativas de camadas rasas, levando a uma perda de pistas semânticas essenciais e à degradação do desempenho, particularmente em tarefas de raciocínio complexo.

Metodologia: Poda Sensível a Tendências (Trend-aware Pruning)

Para abordar o desalinhamento entre a poda estática e a evolução semântica dinâmica, os autores propõem a Poda Sensível a Tendências (Trend-aware Pruning), uma estrutura livre de treinamento que reformula a poda de tokens como um problema de modelagem de trajetória temporal, em vez de uma decisão de instantâneo local. A estrutura consiste em quatro componentes principais:

Coletor de Tokens por Camada:
Em vez de avaliar tokens isoladamente, este módulo agrega estados de atenção históricos através de uma janela de observação deslizante ( $W$ ). Ele mantém um cache de memória de curto prazo dos escores de atenção, permitindo que o sistema rastreie o "momentum" da importância do token, em vez de apenas seu valor atual.
Modelagem de Fluxo de Tokens:
O método calcula um Fluxo de Token ( $F_l$ ) calculando a diferença passo a passo nos escores de atenção dentro da janela de observação. Isso desacopla a direção da mudança de representação do escore de importância de camada única, capturando efetivamente a evolução dinâmica de cada token.
Identificação de Fluxo Adaptativa:
Com base no fluxo de tokens, os tokens são categorizados em três padrões evolutivos:
- Tendência de ascensão (Upward-trending): Tokens com escores de atenção crescentes, indicando acumulação de importância semântica.
- Tendência de declínio (Downward-trending): Tokens com escores decrescentes, sugerindo irrelevância ou mudanças de representação.
- Flutuantes (Fluctuating): Tokens com padrões oscilantes, frequentemente representando pistas relevantes ao contexto que variam entre as camadas.
O sistema emprega uma estratégia de limiar adaptativo consciente da distribuição para selecionar tokens com base nessas tendências, em vez de limiares empíricos fixos.
Ativação de Fluxo e Retenção Dinâmica:
Este é o mecanismo central que permite a poda reversível. Ele combina uma poda estática de Top- $k$ grosseira (para eficiência) com uma ativação sensível à tendência de grão fino. Crucialmente, ele reativa seletivamente tokens que foram inicialmente filtrados pela Top- $k$ estática, mas que exibem tendências semânticas positivas (Ascendente ou Flutuante). Isso garante que tokens essenciais para o raciocínio em camadas profundas sejam preservados, mesmo que tenham sido subvalorizados em camadas anteriores.

Principais Contribuições

Reformulação da Poda: O artigo altera o paradigma de filtragem de tokens de disparo único e estático para um processo dinâmico entre camadas que modela explicitamente a evolução semântica dos tokens visuais.
Estrutura de Poda Sensível a Tendências: Um novo método que guia conjuntamente o descarte de tokens e a reativação seletiva. Introduz um mecanismo para recuperar dinamicamente tokens cuja importância semântica emerge em camadas mais profundas, mitigando a degradação causada pela perda irreversível de pistas visuais.
Eficiência Livre de Treinamento: A abordagem é plug-and-play, não requer treinamento adicional ou ajuste fino, tornando-a aplicável a diversas arquiteturas de MLLM.

Resultados Experimentais

Os autores avaliaram a Poda Sensível a Tendências em múltiplos MLLMs mainstream (série LLaVA e Qwen2.5-VL) através de vários benchmarks (MME, GQA, POPE, SQA, MMBench, etc.).

Compromisso Eficiência-Desempenho: O método alcança uma retenção de desempenho superior enquanto reduz significativamente os custos computacionais. Em uma razão de poda de 50%, ele retém 98,89% do desempenho médio enquanto reduz os FLOPs para 55,10%, superando métodos de estado da arte como FastV, PDrop e SparseVLM.
Poda Agressiva: Sob a configuração mais agressiva (77,8% de poda), o método reduz o número de tokens visuais na camada final para aproximadamente 23 (o menor entre todos os métodos comparados) enquanto mantém um desempenho competitivo (96,03% de retenção média).
Generalização: A abordagem demonstra superioridade consistente em diferentes tamanhos de modelo (0.5B, 7B, 13B) e arquiteturas, incluindo o Qwen2.5-VL, onde supera significativamente a poda Top- $k$ estática em tarefas que exigem detalhes finos (ex: OCRBench, InfoVQA).
Estudos de Ablação: Experimentos confirmam que modelar todas as três tendências (Ascendente, Flutuante e Declínio) é crucial. Especificamente, incorporar tokens com tendência de ascensão melhora significativamente o desempenho em tarefas densas em detalhes, enquanto os tokens Flutuantes e de Declínio fornecem um refinamento adicional.

Significância e Alegações

O artigo alega que a Poda Sensível a Tendências oferece uma solução robusta e reversível para inferência multimodal de alta eficiência. Ao reconhecer que a importância do token não é fixa, mas evolui dinamicamente, o método evita a perda prematura de pistas visuais críticas que os métodos estáticos inevitavelmente descartam.

Os autores enfatizam que sua abordagem destaca a importância de modelar a dinâmica dos tokens entre as camadas. Eles argumentam que a importância de camada única é insuficiente para determinar o valor semântico final de um token visual. Ao elevar a poda de uma decisão local para um problema de trajetória temporal, o método alcança uma decisão de poda mais precisa e estável, permitindo uma redução agressiva de tokens sem sacrificar a completude representacional necessária para tarefas de raciocínio complexo.

O trabalho é apresentado como um passo em direção a estratégias de poda reversíveis e de consistência representacional, oferecendo uma nova perspectiva sobre como lidar com os gargalos computacionais em MLLMs sem a necessidade de retreinamento.