💻 computer science

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

Este artigo propõe uma estratégia de poda de tokens adaptativa de dois estágios, pós-hoc e livre de treinamento, que primeiro elimina quadros redundantes e depois ajusta dinamicamente a retenção de tokens com base em correlações entre quadros, alcançando uma redução de 95% na computação enquanto melhora a precisão da legenda de vídeo em 7% com 10% de retenção de tokens.

Autores originais: Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

Publicado 2026-08-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a entender o mundo. Você dá a ele uma câmera e um cérebro, e pede que ele olhe para um vídeo e diga o que está acontecendo. Este é o mundo dos "Modelos de Visão-Linguagem" (VLMs). Pense nesses modelos como uma equipe: uma parte são os "olhos" (um codificador de visão) que observa imagens e as decompõe em minúsculas peças de quebra-cabeça chamadas "tokens". A outra parte é o "cérebro" (um grande modelo de linguagem) que lê esses tokens e escreve uma história ou responde a uma pergunta.

O problema é que vídeos são enormes. Uma única imagem pode ser decomposta em centenas de peças de quebra-cabeça, e um vídeo é apenas uma pilha de muitas imagens. Se você tentar alimentar o cérebro do robô com um vídeo inteiro, ele ficará sobrecarregado. É como tentar ler um livro de mil páginas em um segundo; o robô desacelera, cansa e não consegue trabalhar em dispositivos pequenos como celulares ou câmeras de segurança. Os cientistas tentaram resolver isso jogando fora algumas peças do quebra-cabeça, mas a maioria de seus métodos é como usar um cortador de biscoitos: eles cortam a mesma quantidade de peças de cada vídeo, seja um vídeo parado e entediante de uma parede ou uma perseguição de carros cheia de ação. Este artigo faz uma pergunta melhor: E se pudéssemos ser mais espertos sobre o que jogamos fora, cortando mais quando as coisas são repetitivas e menos quando são emocionantes?

A História do Cortador de Vídeo Inteligente

Os autores deste artigo, uma equipe da Amazon, perceberam que os métodos atuais para acelerar a IA de vídeo são um pouco desajeitados. Eles tratam cada vídeo da mesma forma, cortando um número fixo de peças do quebra-cabeça (tokens), independentemente do que realmente está acontecendo na tela. Mas os vídeos são especiais; eles têm "redundância temporal", que é uma maneira sofisticada de dizer que, se você tem um vídeo de um gato dormindo, o quadro 10 é quase idêntico ao quadro 11, que é idêntico ao quadro 12. Desperdiçar o poder de processamento do robô com todos esses quadros idênticos é bobagem.

Para resolver isso, a equipe inventou uma estratégia de "Poda de Tokens Visuais Adaptativa em Dois Estágios". Pense nisso como uma equipe de limpeza de dois passos para um quarto bagunçado.

Estágio 1: O Filtro de Quadros
Primeiro, o método olha para o vídeo inteiro e pergunta: "Quais quadros são realmente novos?". Se você tem um vídeo de uma pessoa caminhando, os primeiros quadros podem ser idênticos. O algoritmo age como um editor seletivo, descartando inteiramente os quadros entediantes e repetitivos. Ele mantém apenas os momentos mais interessantes, como um vídeo de melhores momentos. Este é o nível de poda de "quadro" (frame-level).

Estágio 2: O Domador de Tokens
Agora, o robô tem um vídeo mais curto, mas cada quadro restante ainda é feito de milhares de pequenos tokens. É aqui que a mágica acontece. Em vez de cortar um número fixo de tokens (como "sempre manter 5 de cada 10"), o método olha para o conteúdo do vídeo para decidir quanto cortar.

Imagine que os tokens em um quadro são um grupo de pessoas conversando. Se todos estão dizendo exatamente a mesma coisa (alta redundância), você só precisa ouvir uma pessoa para entender o grupo. Mas se todos estão dizendo algo totalmente diferente (alta diversidade), você precisa ouvir a todos. O método do artigo faz exatamente isso: ele analisa a "correlação" entre os tokens. Ele usa um truque matemático chamado "decomposição em autovalores" para medir o quanto os tokens estão se repetindo.

Se o vídeo é estático e repetitivo (como uma pessoa rolando uma bola por uma rampa), a matemática mostra um "decaimento acentuado", o que significa que os tokens são muito semelhantes. O sistema então diz: "Ok, podemos jogar fora muitos desses!" e mantém apenas uma fração minúscula. Mas se o vídeo é caótico e dinâmico (como uma perseguição de carros com muito movimento de câmera), a matemática mostra um "decaimento lento", o que significa que os tokens são todos únicos. O sistema diz: "Espere, precisamos manter quase todos estes!" e corta muito pouco.

Os Resultados: Velocidade sem Tropeços
A equipe testou isso em vários modelos de IA populares, incluindo LLaVA-Video, InternVL3 e Qwen2.5VL. Eles compararam seu método adaptativo inteligente contra outros métodos "sem treinamento" (métodos que não exigem o retreinamento da IA do zero).

Os resultados foram impressionantes. Ao usar sua abordagem de dois estágios, eles conseguiram reduzir a quantidade de matemática que o computador precisava fazer em uma quantidade massiva — até 95% — mantendo a IA inteligente. Na verdade, em um benchmark de legenda de vídeo (onde a IA descreve o que vê), o método deles na verdade melhorou a precisão em 7% quando eles mantiveram apenas 10% dos tokens.

Para colocar em perspectiva: se você tem um vídeo que normalmente levaria uma hora para ser processado por um supercomputador, este método poderia fazê-lo rodar em minutos, e o robô pode até entendê-lo melhor porque está focando nas partes importantes em vez de se perder no ruído.

Por que Isso Importa
O artigo argumenta explicitamente contra a abordagem de "tamanho único" usada pelos métodos anteriores. Eles mostram que usar uma proporção fixa (como sempre manter 30% dos dados) é subótimo porque diferentes vídeos precisam de quantidades diferentes de dados. O método deles é "post-hoc", o que significa que funciona em modelos existentes sem a necessidade de retreiná-los, tornando-o uma atualização "plug-and-play" para a tecnologia atual.

Os autores descobriram que essa estratégia adaptativa funciona consistentemente em diferentes tamanhos de modelos e tipos de vídeos. Eles até testaram diferentes maneiras matemáticas de medir o "decaimento" da informação e descobriram que uma curva exponencial se ajustava melhor aos dados, confirmando que sua maneira de medir a redundância é a mais precisa.

Em resumo, este artigo sugere que não precisamos construir cérebros maiores e mais lentos para entender vídeos. Em vez disso, só precisamos ser mais espertos sobre o que alimentamos a eles. Ao agir como um editor astuto que sabe exatamente quando cortar as partes chatas e quando manter as emocionantes, podemos tornar a IA de vídeo rápida o suficiente para rodar em dispositivos comuns sem perder sua capacidade de ver o mundo claramente.

Resumo Técnico: Poda de Tokens Visuais Adaptativa em Dois Estágios para Inferência Eficiente em Modelos de Linguagem-Vídeo

Declaração do Problema

Os Modelos de Linguagem-Vídeo (VLMs) demonstraram capacidades robustas de compreensão de imagem e vídeo, mas enfrentam uma latência de inferência significativa devido ao custo computacional de processar milhares de tokens visuais. Este problema é particularmente agudo no processamento de vídeo, onde múltiplos frames devem ser analisados simultaneamente. Por exemplo, um clipe de vídeo moderado de 5 minutos pode gerar aproximadamente 11.000 tokens, impondo um overhead quadrático de computação ao decodificador do Modelo de Linguagem de Grande Escala (LLM) que é proibitivo para dispositivos de borda com recursos limitados.

As técnicas existentes de redução de tokens sofrem de duas limitações primárias:

Falta de Consciência Temporal: A maioria dos métodos é projetada para entradas de imagem única e falha em considerar redundâncias temporais entre os frames do vídeo.
Razões de Poda Fixas: As abordagens atuais tipicamente aplicam uma razão de poda uniforme e fixa em todas as entradas. Isso é suboptimal porque o grau de redundância varia significamente entre diferentes vídeos; uma razão estática ou desperdiça computação em conteúdo redundante ou degrada o desempenho ao descartar informações críticas em cenas complexas.

Metodologia

Os autores propõem uma nova estratégia de poda de tokens adaptativa em dois estágios projetada especificamente para entradas de vídeo. Esta abordagem é inteiramente post-hoc, não exigindo treinamento adicional ou ajuste fino (fine-tuning) do VLM subjacente.

1. Pipeline de Poda de Dois Estágios

O método reduz a redundância hierarquicamente:

Estágio 1 (Nível de Frame/Poda Temporal): O sistema primeiro identifica e descarta frames redundantes. Usando um mecanismo de seleção baseado em diversidade, ele retém um subconjunto de frames que capturam o conteúdo visual mais informativo, removendo efetivamente frames visualmente similares que contribuem com pouca informação nova.
Estágio 2 (Nível de Token/Poda Espacial): Dentro dos frames retidos, o sistema realiza a poda de nível de token para eliminar a redundância espacial.

2. Razão de Retenção Adaptativa

Uma inovação central é a determinação dinâmica da razão de retenção de tokens ( $\beta$ ) no segundo estágio baseada no conteúdo específico de cada vídeo. O processo envolve:

Análise de Correlação: O método analisa a estrutura de correlação linear dos embeddings de tokens dentro dos frames retidos.
Decomposição de Autovalores: Ele constrói uma matriz de correlação dos embeddings de tokens e realiza a decomposição de autovalores. Os autovalores resultantes capturam a variância explicada por diferentes componentes.
Estimativa da Taxa de Decaimento: O espectro de autovalores é ajustado com uma função de decaimento exponencial ( $\lambda_n = A e^{-\alpha n}$ $λ_{n} = A e^{- α n}$ ). A taxa de decaimento ( $\alpha$ $α$ ) serve como uma medida quantitativa de redundância:
- Um decaimento acentuado (alto $\alpha$ ) indica alta redundância (poucos autovalores dominantes), sugerindo que menos tokens são necessários.
- Um decaimento suave (baixo $\alpha$ ) indica alta diversidade, sugerindo que mais tokens devem ser retidos.
Cálculo da Razão: A razão de retenção é definida como inversamente proporcional à taxa de decaimento ( $\beta = \kappa / \alpha$ ), onde $\kappa$ é um coeficiente de escala. Isso garante que vídeos com alta redundância sejam podados de forma mais agressiva, enquanto vídeos complexos retêm mais tokens.

Principais Contribuições

Pipeline de Dois Estágios: O design de um processo de poda hierárquico que aborda sequencialmente a redundância temporal (seleção de frames) e a redundância espacial (seleção de tokens), superando a poda de token de estágio único.
Adaptabilidade Dependente do Conteúdo: A introdução de um mecanismo orientado por dados para determinar a razão de poda baseada na correlação de tokens, eliminando a necessidade de razões escolhidas manualmente do tipo "tamanho único".
Eficiência Sem Treinamento: O método alcança economias computacionais significativas e melhorias de precisão sem exigir o treinamento de módulos compressores adicionais ou o ajuste fino do VLM.

Resultados Experimentais

O método foi avaliado no modelo LLaVA-Video (7 bilhões de parâmetros) e estendido para o InternVL3 e Qwen2.5VL através de cinco benchmarks de linguagem-vídeo (VideoDC, VideoChatGPT, NextQA, PerceptionTest, Video-MME).

Ganhos de Desempenho: O método proposto superou consistentemente as linhas de base (baselines) de estado da arte sem treinamento (incluindo PruMerge, FastV, DivPrune e LLaVA-Scissor).
- No benchmark de legendagem VideoDC com 10% de retenção de tokens, o método melhorou a precisão em +7% em comparação com as linhas de base.
- No VideoChatGPT, alcançou uma melhoria de 2–4% em baixas razões de retenção.
Eficiência Computacional: O método reduziu significativamente o overhead computacional. Com 10% de retenção de tokens, alcançou uma redução de ~95,5% nos TFLOPs enquanto mantinha ou melhorava a precisão.
Escalabilidade: A abordagem demonstrou ganhos de desempenho consistentes através de diferentes arquiteturas de VLM e tamanhos de parâmetros (variando de 1B a 8B de parâmetros).
Estudos de Ablação: Experimentos confirmaram que tanto o design de dois estágios quanto a razão de retenção adaptativa contribuem para o desempenho, com o método completo superando variantes que utilizam poda de estágio único ou razões fixas. Além disso, mostrou-se que o modelo de decaimento exponencial para estimar a redundância é superior aos modelos lineares ou quadráticos.

Significância

O artigo afirma que este trabalho aborda um gargalo crítico na implantação de VLMs para aplicações de tempo real e de borda. Ao modelar explicitamente a redundância temporal e adaptar os níveis de poda ao conteúdo específico de cada vídeo, o método alcança um equilíbrio superior entre eficiência e fidelidade semântica. Os autores enfatizam que sua abordagem fornece uma maneira fundamentada de estimar o número necessário de tokens para uma determinada entrada visual, evitando as ineficiências das estratégias de razão fixa e a perda de informação associada às técnicas simples de fusão (merging). Os resultados sugerem que a poda adaptativa e consciente do conteúdo é essencial para escalar modelos de linguagem-vídeo para ambientes práticos e de recursos limitados.