Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

Resumo Técnico: Acelerando Modelos de Linguagem de Grande Escala para Vídeo em Streaming via Compressão Hierárquica de Tokens (STC)

1. O Problema: O Gargalo do Streaming de Vídeo

Os Modelos de Linguagem de Grande Escala para Vídeo (VideoLLMs) enfrentam desafios críticos quando aplicados a cenários de Streaming Video Understanding (SVU), como comentários esportivos ao vivo ou óculos de realidade aumentada. O problema central é a latência e o alto custo computacional, causados por dois fatores principais:

• Redundância no Encoder de Visão (ViT): Em vídeos de streaming, os quadros chegam continuamente e costumam ser muito similares entre si (ex: um fundo estático). Processar cada quadro de forma independente através do Vision Transformer (ViT) gera um enorme desperdício de computação.
• Inflação de Tokens no LLM: À medida que o vídeo avança, o número de tokens visuais acumulados cresce, sobrecarregando a fase de pre-filling do LLM (devido à complexidade quadrática da atenção) e aumentando o uso de memória do cache KV.

Além disso, o artigo identifica que métodos de compressão existentes falham no streaming porque dependem de contexto global (ver o vídeo inteiro antes de comprimir) ou de instruções do usuário (saber a pergunta antes de processar os quadros), o que é impossível em um fluxo contínuo e causal.

2. Metodologia: O Framework STC

Para resolver isso, os autores propõem o Streaming Token Compression (STC), um framework plug-and-play que opera de forma hierárquica e causal, otimizando duas etapas distintas:

A. STC-Cacher (Otimização do ViT):
Em vez de realizar um forward pass completo para cada quadro, o STC-Cacher utiliza uma estratégia de computação seletiva baseada em cache:

• Quadros de Referência: Periodicamente, um quadro é processado integralmente e suas representações intermediárias (Key, Value, Attention, MLP) são armazenadas no cache.
• Quadros Não-Referência: Para os quadros subsequentes, o modelo calcula a similaridade de cosseno entre as projeções de Key atuais e as do cache. Apenas os tokens dinâmicos (aqueles com baixa similaridade, ou seja, que contêm informação nova) são recomputados. Os tokens estáticos são reaproveitados diretamente do cache, reduzindo drasticamente a carga computacional do ViT.

B. STC-Pruner (Otimização do LLM):
Para reduzir a sequência de tokens que entra no LLM, o STC-Pruner utiliza uma estratégia de poda por dois âncoras (Dual-Anchor Pruning), que é agnóstica a consultas e ao futuro:

• Âncora de Contexto Temporal (TCA): Representa a média do histórico de tokens passados.
• Âncora de Contexto Espacial (SCA): Representa a média dos tokens do quadro atual.
• Pontuação de Dinâmica: Cada token recebe uma pontuação baseada na sua dissimilaridade em relação a ambas as âncoras. Tokens que são "novos" tanto em relação ao passado quanto em relação ao contexto global do quadro atual são preservados, enquanto tokens redundantes (como partes estáticas do cenário) são descartados.

3. Principais Contribuições

1. Análise Empírica: Identificação de que vídeos de streaming possuem maior redundância temporal que vídeos offline, exigindo métodos de compressão causais.
2. Framework Plug-and-Play: O STC pode ser integrado a modelos existentes (como LLaVA-OV ou ReKV) sem a necessidade de retreinamento.
3. Otimização de Duas Etapas: É o primeiro trabalho a otimizar simultaneamente o custo de codificação do ViT e a latência de pre-filling do LLM em um cenário de streaming.
4. Eficiência e Fidelidade: Consegue reduzir a latência mantendo quase a totalidade da precisão original.

4. Resultados

Os experimentos realizados em diversos benchmarks (OVO-Bench, StreamingBench, EgoSchema, etc.) demonstraram:

• Redução de Latência: No modelo ReKV, o STC reduziu a latência de codificação do ViT em 24,5% e a latência de pre-filling do LLM em 45,3%.
• Preservação de Precisão: O framework manteve até 99% da precisão original em testes de benchmark.
• Superioridade: O STC superou métodos de estado da arte como ToMe, VisionZip e VidCom2, especialmente em tarefas que exigem compreensão temporal e causal.

5. Significância

O trabalho é significativo por fornecer uma solução prática para tornar os VideoLLMs viáveis para aplicações de tempo real. Ao tratar a redundância de forma hierárquica (primeiro no nível de visão, depois no nível de linguagem) e respeitando a causalidade (sem olhar para o futuro), o STC pavimenta o caminho para assistentes de vídeo inteligentes que podem interagir com usuários de forma instantânea e eficiente em termos de hardware.