Stateful Token Reduction for Long-Video Hybrid VLMs

O artigo propõe um método de redução progressiva de tokens, do baixo ao alto, com uma pontuação unificada sensível à linguagem para arquiteturas híbridas de VLMs de vídeo longo, alcançando acelerações significativas no pré-preenchimento sem sacrificar a precisão.

O essencial

Imagine que você tem um filme de 2 horas para assistir e precisa explicar o que acontece nele para um amigo. Se você tentar descrever cada segundo, cada movimento de câmera e cada detalhe da roupa de cada personagem, você vai ficar exausto e seu amigo vai ficar entediado antes de chegar ao ponto principal.

É exatamente esse o problema que os computadores enfrentam hoje quando tentam "ver" vídeos longos. Eles recebem milhares de "pedaços" de imagem (chamados de tokens) e tentam processar todos eles de uma vez. Isso deixa o computador lento, caro e, muitas vezes, confuso.

Este artigo da NVIDIA apresenta uma solução inteligente chamada Redução de Tokens com Estado. Vamos descomplicar isso usando algumas analogias do dia a dia:

1. O Problema: A "Festa" de Tokens

Imagine que o vídeo é uma festa gigante com 10.000 pessoas (os tokens). O computador (o VLM) precisa conversar com você (o texto/pergunta) sobre essa festa.

• O jeito antigo: O computador tenta ouvir o que todas as 10.000 pessoas estão dizendo ao mesmo tempo. É barulhento, lento e a maioria das pessoas só está conversando sobre o tempo ou comendo um petisco (informação redundante).
• O jeito novo: O computador decide ouvir apenas as pessoas importantes. Mas, como ele sabe quem é importante?

2. A Descoberta: A "Memória" do Computador

Os pesquisadores descobriram algo interessante sobre como os computadores modernos funcionam. Eles usaram dois tipos de "cérebros" diferentes para testar:

• Cérebro Puro (Transformador): Funciona como uma pessoa que ouve uma frase e esquece a anterior imediatamente. Se você cortar uma parte da frase no começo, a pessoa perde o sentido da frase inteira.
• Cérebro Híbrido (Mamba + Transformador): Funciona como alguém que tem uma memória de curto prazo. Mesmo que você pare de falar sobre um detalhe específico, a pessoa ainda guarda a "essência" do que foi dito em sua mente (o "estado").

A Grande Revelação:
No início do vídeo, o computador não sabe bem o que é importante. A importância das pessoas muda o tempo todo. Se você cortar as pessoas "desinteressantes" logo no começo (agressivamente), você pode cortar alguém que se tornaria crucial 10 minutos depois.

• No Cérebro Puro: Cortar cedo é fatal. A informação some para sempre.
• No Cérebro Híbrido: Cortar cedo é menos perigoso! Mesmo que você pare de ouvir alguém, a "memória" do computador já guardou um resumo do que aquela pessoa disse. É como se você fizesse um resumo mental de uma conversa e depois parasse de ouvir os detalhes, mas ainda soubesse o ponto principal.

3. A Solução: O "Filtro Progressivo"

Baseado nisso, eles criaram uma estratégia chamada Redução Progressiva (do Baixo para o Alto).

Imagine que você está organizando a festa para o computador:

1. No Início (O "Aquecimento"): O computador deixa quase todo mundo entrar na sala. Ele não corta ninguém ainda, porque ainda não sabe quem é o "personagem principal" do vídeo. Ele deixa o computador acumular informações na sua "memória".
2. No Meio (O "Filtro"): Conforme o vídeo avança, o computador começa a identificar quem realmente importa para a sua pergunta.
3. No Fim (A "Seleção Final"): Agora que a memória está cheia e o computador sabe o contexto, ele começa a cortar agressivamente os tokens inúteis. Ele mantém apenas os 25% mais importantes.

4. O Resultado: Velocidade Relâmpago

Com essa técnica, o computador consegue:

• Processar vídeos longos 4 vezes mais rápido. É como se você pudesse assistir a um filme de 2 horas em 30 minutos, mas ainda entendesse perfeitamente a história.
• Manter a precisão. Ao contrário de métodos antigos que cortavam tudo no início e perdiam detalhes, essa abordagem mantém a qualidade da resposta quase igual à de quem assiste a tudo.
• Economizar energia. Menos dados processados significam menos bateria gasta e menos calor gerado pelo computador.

Resumo em uma frase

Em vez de tentar ouvir todo o barulho de uma festa gigante de uma vez, esse novo método deixa o computador ouvir um pouco de tudo no começo para "entender o clima", guarda o resumo na memória e, só depois, foca apenas nas conversas que realmente importam para responder à sua pergunta, tornando tudo muito mais rápido e eficiente.

É como ter um assistente pessoal que sabe exatamente quando prestar atenção aos detalhes e quando confiar no que ele já aprendeu, permitindo que ele leia livros inteiros em segundos sem esquecer o enredo!

Resumo técnico

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) baseados em vídeo estão evoluindo para tarefas de compreensão de vídeos de longo prazo. No entanto, vídeos longos geram um número massivo de tokens visuais (frequentemente >10.000), criando um gargalo computacional severo, especialmente durante a fase de prefilling (processamento inicial do contexto).

Embora métodos anteriores de redução de tokens (poda ou fusão) tenham sido eficazes para arquiteturas puramente baseadas em Transformers, eles enfrentam desafios em arquiteturas híbridas (que intercalam blocos de atenção com blocos de espaço de estado, como o Mamba).

• Limitação das abordagens atuais: A maioria dos métodos foi projetada para Transformers densos e não considera como os blocos de espaço de estado propagam informações.
• O Dilema da Poda Agressiva: Em modelos híbridos, a importância dos tokens muda entre as camadas. Poda agressiva no início da rede (baseada em pontuações de importância instáveis) leva à perda irreversível de informações críticas, degradando a precisão.

2. Metodologia Proposta

Os autores propõem uma abordagem chamada Redução de Tokens com Estado (Stateful Token Reduction), adaptada especificamente para VLMs híbridos (Mamba-Transformer).

A. Análise de Esparsidade e Estabilidade

Os pesquisadores analisaram duas propriedades fundamentais:

1. Esparsidade: Quantos tokens capturam a maior parte da informação relevante para a consulta.
2. Estabilidade da Importância: Se a classificação de importância dos tokens persiste através das camadas da rede.

• Descoberta Chave: Embora a importância seja esparsa dentro de uma única camada, o conjunto de tokens importantes muda entre as camadas (baixa correlação cruzada). Em Transformers, a poda é como "descartar" informações permanentemente. Em modelos híbridos, os blocos Mamba mantêm um estado latente recorrente que acumula informações ao longo do tempo. Isso permite que a redução de tokens funcione mais como uma compressão: mesmo após a remoção de um token, sua contribuição pode persistir no estado oculto do Mamba.

B. Mecanismo de Pontuação Unificada

Para permitir a redução em todos os tipos de camadas, eles desenvolveram um mecanismo de pontuação condicional à consulta (query-conditioned):

• Camadas de Atenção: Usam pesos de atenção padrão (texto-para-visão).
• Camadas Mamba (Espaço de Estado): Derivam um proxy de atenção implícita a partir da atualização recursiva de varredura seletiva (selective-scan). Eles calculam a alinhamento entre os tokens de texto (consulta) e os tokens visuais (chave) ignorando o termo de decaimento temporal para focar na relevância semântica, permitindo pontuar tokens dentro de blocos não baseados em atenção.

C. Agendamento de Redução Progressiva (Low-to-High)

Motivados pela instabilidade da importância nas camadas iniciais e pela robustez do estado de memória do Mamba em camadas profundas, propõem um agendamento progressivo de baixo para alto:

• Camadas Iniciais: Preservam mais tokens (redução leve) para permitir que o estado de memória do Mamba acumule informações suficientes, já que as pontuações de importância ainda são instáveis.
• Camadas Profundas: Aumentam a agressividade da poda, pois o estado já contém informações resumidas e a importância dos tokens torna-se mais estável.
• Isso contrasta com métodos que fazem uma poda única e agressiva no início.

3. Contribuições Principais

1. Análise de Arquitetura Híbrida: Demonstração de que modelos híbridos (Mamba-Transformer) toleram uma redução de tokens muito mais agressiva do que Transformers puros devido ao efeito de memória dos blocos de espaço de estado.
2. Mecanismo de Pontuação para Mamba: Introdução de um método para calcular a importância de tokens baseada em consultas dentro de blocos Mamba, usando um proxy de atenção implícita.
3. Agendamento Progressivo: Uma estratégia de redução que adapta a taxa de retenção de tokens ao longo da profundidade da rede, maximizando a eficiência sem sacrificar a precisão.
4. Implementação em VLMs de Vídeo Longo: Validação em benchmarks de vídeo longo (até 2 horas) com modelos de 12B e 8B parâmetros.

4. Resultados Experimentais

Os experimentos foram realizados no modelo híbrido Nemotron-Nano-V2 VL 12B e comparados com o Qwen3-VL 8B (Transformer puro).

• Desempenho e Precisão:
  • Sob uma configuração agressiva de compressão (retenção de 25% dos tokens visuais), a abordagem híbrida com fine-tuning leve atingiu 69.70 no VideoMME e 54.29 no LVBench.
  • Surpreendentemente, o modelo híbrido com redução superou a linha de base sem redução em vários benchmarks após o fine-tuning, enquanto o modelo Transformer puro sofreu degradação significativa de precisão sob a mesma compressão agressiva.
• Velocidade (Latência):
  • A redução de tokens resultou em acelerações substanciais no Time to First Token (TTFT): 3.8x a 4.2x mais rápido em comparação com a linha de base.
  • A latência do estágio LLM caiu de ~2714 ms para ~1080 ms em entradas de 256 quadros.
• Escalabilidade: O método permite processar vídeos muito mais longos (até 512+ quadros) sem esgotar a memória (OOM), onde a linha de base falha.
• Comparação: O método híbrido com redução superou ou foi competitivo com modelos proprietários e outros métodos de seleção de tokens adaptativos, mesmo usando menos parâmetros.

5. Significado e Impacto

Este trabalho é significativo porque:

• Desbloqueia a Eficiência em Arquiteturas Híbridas: Mostra que as arquiteturas de próxima geração (como Mamba) não apenas oferecem eficiência de inferência, mas também permitem estratégias de compressão de contexto que seriam catastróficas em Transformers tradicionais.
• Viabiliza Vídeo Longo: Torna viável a execução de VLMs em vídeos de longa duração (horas) em hardware limitado, reduzindo drasticamente o custo computacional e energético.
• Mudança de Paradigma: Sugere que a poda de tokens não deve ser tratada apenas como "descarte", mas como "compressão" em arquiteturas com estado, exigindo agendamentos progressivos em vez de decisões estáticas no início da rede.

Em resumo, o artigo apresenta uma solução robusta para o gargalo de inferência em VLMs de vídeo longo, aproveitando as propriedades únicas de memória das arquiteturas híbridas para reduzir tokens sem perder a capacidade de raciocínio de longo prazo.