Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

Título: Pontuação Unificada de Tokens Espaço-Temporais para VLMs de Vídeo Eficientes (STTS)

1. O Problema

Os Modelos Visão-Linguagem (VLMs) baseados em vídeo enfrentam um custo computacional massivo. Processar vídeos exige codificar um grande número de quadros, onde cada quadro é decomposto em centenas de tokens de patches por um Vision Transformer (ViT).

• Custo Quadrático: À medida que o número de quadros aumenta, a sequência de tokens torna-se quadraticamente cara sob o mecanismo de atenção, levando a um alto uso de memória, redução na taxa de transferência (throughput) de treinamento e maior latência de inferência.
• Limitações das Abordagens Existentes:
  • Pré/In-ViT: Métodos que podam tokens apenas dentro do ViT (focados em tarefas unimodais como reconhecimento de ação) não se adaptam bem a tarefas visão-linguagem e ignoram redundâncias temporais entre quadros.
  • Pós-ViT: Métodos que podam tokens após o ViT (antes do LLM) deixam o encoder ViT intacto, mantendo o gargalo computacional inicial. Além disso, muitos exigem mecanismos complexos de seleção condicionados ao texto ou algoritmos de fusão (merging) caros.

2. Metodologia: Spatio-Temporal Token Scoring (STTS)

O STTS é um módulo leve e treinável de ponta a ponta que poda tokens visuais tanto no ViT quanto no LLM, sem necessidade de condicionamento por texto ou fusão complexa de tokens.

Arquitetura e Fluxo:

1. Localização: O módulo é inserido após uma camada específica do ViT (camada $l$, geralmente a 3ª camada).
2. Scorer (Avaliador):
   • Utiliza um Token Pooler (camada de atenção auto) seguido por uma MLP de 3 camadas.
   • Entrada Temporal: Para cada quadro $t$, o scorer recebe as características do quadro atual concatenadas com as do quadro anterior ($t-1$), fornecendo contexto temporal.
   • Saída: Gera uma pontuação de importância para cada bloco de patches.
3. Injeção de Viés (Spatial Scoring):
   • As pontuações são expandidas para a resolução original e injetadas como um viés na matriz de atenção da próxima camada do ViT ($l+1$).
   • Isso permite que o gradiente da tarefa final (LLM) retropropague e ensine o scorer a identificar tokens espacialmente salientes sem condicionamento explícito de texto.
4. Podagem e Empacotamento (Packing):
   • Após a camada $l+1$, os tokens com as pontuações mais baixas (bottom-$k\%$) são removidos.
   • Desafio: A poda é não uniforme (quadros estáticos perdem mais tokens que quadros dinâmicos), criando tensores esparsos.
   • Solução: Um algoritmo de packing (empacotamento) reorganiza os tokens restantes em um tensor denso e compacto, permitindo computação eficiente em batch. É gerada uma máscara de atenção para garantir que tokens de quadros diferentes não interajam indevidamente.
5. Loss Auxiliar (Temporal Scoring):
   • Para garantir que o scorer aprenda redundância temporal, é adicionada uma perda auxiliar baseada na Semelhança Cosseno entre Quadros Vizinhos.
   • O objetivo é minimizar a diferença entre a pontuação prevista e $(1 - \text{Semelhança Cosseno})$. Isso ensina o modelo a atribuir baixa pontuação (e podar) regiões visualmente redundantes entre quadros consecutivos.

3. Principais Contribuições

1. Módulo Unificado de Podagem: Um módulo leve que poda tokens através de todo o pipeline (ViT + LLM) sem alterações arquitetônicas significativas.
2. Mecanismo de Pontuação Dual: Combina a saliência espacial (aprendida implicitamente via gradientes do LLM) e a redundância temporal (regularizada via perda auxiliar de semelhança cosseno).
3. Ganhos Significativos de Eficiência: Capaz de descartar com segurança 50% dos tokens visuais, melhorando a eficiência de treinamento e inferência em até 62% com perda de desempenho mínima.
4. Escalabilidade: A eficiência aumenta com mais quadros amostrados. Além disso, permite o uso de Test-Time Scaling (TTS) para processar contextos temporais mais longos dentro do mesmo orçamento computacional.

4. Resultados Experimentais

Os experimentos foram realizados utilizando a arquitetura Molmo2 (ViT SigLIP + LLM Qwen3-4B) em 13 benchmarks de QA de vídeo (curtos e longos).

• Desempenho:
  • Com 50% de poda, o modelo apresenta uma queda média de desempenho de apenas 0,7% em comparação ao baseline.
  • Em alguns benchmarks (como NextQA e VideoMME), o modelo com 30% de poda até superou o baseline, sugerindo que a poda removeu ruído que distraía o mecanismo de atenção.
  • O desempenho é robusto: mesmo com 50% dos tokens removidos, a densidade de informação restante é suficiente para raciocínio complexo.
• Eficiência Computacional:
  • Treinamento e Inferência: Aceleração de 1,62x em configurações padrão (128 quadros) e até 2,25x em configurações mais intensivas (256 quadros).
  • A economia é maior em sequências longas devido à complexidade quadrática $O(N^2)$ da atenção do Transformer.
• Test-Time Scaling (TTS):
  • Ao aplicar TTS (aumentando o número de quadros de entrada durante a inferência para compensar a poda), o modelo com 50% de poda e 128 quadros superou o baseline (64 quadros sem poda) em 0,5% a 1,0% em benchmarks de vídeo longo. Isso demonstra que o STTS permite trocar redundância espacial por densidade temporal.
• Comparação com Heurísticas:
  • O STTS superou significativamente métodos baseados em heurísticas (como poda baseada apenas em similaridade cosseno) e poda aleatória. O scorer aprendido consegue distinguir entre fundos estáticos (que podem ser podados) e objetos dinâmicos importantes (que devem ser preservados), algo que heurísticas rígidas falham em fazer.

5. Significado e Conclusão

O STTS representa um avanço significativo na eficiência de VLMs de vídeo ao resolver o problema de forma unificada, atacando o gargalo tanto no encoder visual quanto no LLM.

• Simplicidade e Eficácia: Elimina a necessidade de mecanismos complexos de fusão ou condicionamento por texto, sendo totalmente treinável de ponta a ponta.
• Viabilidade para Vídeo Longo: Ao reduzir drasticamente a carga computacional, o STTS torna viável o processamento de vídeos longos e contextos extensos em hardware com restrições de memória, abrindo caminho para sistemas de compreensão de vídeo mais acessíveis e escaláveis.
• Interpretabilidade: O modelo aprende a preservar semanticamente os elementos críticos (como rostos e objetos em movimento) enquanto descarta redundâncias de fundo, validando sua eficácia como um filtro semântico inteligente.

Em resumo, o STTS oferece uma solução elegante para o gargalo de eficiência dos VLMs, permitindo que modelos de vídeo operem com a metade dos tokens visuais sem sacrificar a capacidade de raciocínio, e até melhorando o desempenho em tarefas de vídeo longo através de estratégias de escalonamento no tempo de teste.