Resumo Técnico: Escalonamento Linear para VLMs de Vídeo para Compreensão de Vídeos Longos (StateKV)

1. Definição do Problema

Os Modelos de Visão-Linguagem de Vídeo (VLMs) são cada vez mais críticos para aplicações de longo horizonte e streaming, como direção autônoma e robótica incorporada, que exigem a integração de evidências ao longo de minutos ou horas. No entanto, existe um gargalo fundamental: o custo computacional de processar vídeos longos em VLMs padrão cresce quadraticamente ($O(N^2)$) com o número de quadros ($N$). Isso ocorre porque as arquiteturas dominantes dependem da autoatenção espaço-temporal, onde cada quadro atende a todos os tokens de vídeo anteriores.

Estratégias de eficiência existentes tentam mitigar isso através de:

1. Subamostragem de quadros ou tokens: A redução do tamanho da entrada frequentemente degrada o desempenho significativamente, a menos que uma grande fração dos tokens seja retida (ex: ~60%).
2. Compressão do cache KV: A compressão agressiva pode perder pistas temporais e espaciais necessárias para o raciocínio.
3. Heurísticas de janela deslizante/baseadas em recência: Métodos como o ReKV processam quadros sequencialmente usando uma janela fixa de quadros recentes. Embora reduzam a complexidade do preenchimento (prefill) para linear ($O(N)$), eles dependem de suposições ad-hoc de que a informação mais relevante é sempre a mais recente, falhando frequentemente em capturar dependências de longo alcance necessárias para o raciocínio complexo.

O desafio é alcançar o preenchimento de vídeo em tempo linear (custo constante por quadro) sem sacrificar a precisão da autoatenção total ou exigir mudanças arquiteturais e ajuste fino (fine-tuning).

2. Metodologia: StateKV

Os autores introduzem o StateKV, um método de inferência que adapta VLMs pré-treinados e congelados para o preenchimento de vídeo em tempo linear. O insight central é que a atenção de vídeo longo em VLMs pré-treinados é altamente estruturada: embora a maioria das interações ocorra dentro do próprio quadro, as interações temporais de longo alcance se concentram em um pequeno conjunto de tokens "sumidouro temporal" (temporal sink tokens) que evoluem lentamente ao longo do tempo.

Premissas Principidas

O StateKV baseia-se em duas suposições empíricas sobre a atenção em VLMs pré-treinados:

1. Concentração de Atenção Inter-quadro: Para qualquer dado quadro, a maior parte da massa de atenção útil entre quadros está concentrada em um pequeno conjunto de tokens históricos ($K \ll N$), independentemente do comprimento total do vídeo.
2. Evolução Lenta do Estado Temporal: O conjunto desses tokens "sumidouro" evolui lentamente. O estado útil para o quadro $n+1$ pode ser bem aproximado pelo estado do quadro $n$ combinado com os tokens do quadro $n+1$.

Arquitetura e Mecanismo

O StateKV opera através de uma estrutura de dois caches por camada de transformer, mantendo um backbone congelado:

1. Estado Detalhado ($D_n$): Um cache de comprimento total que armazena todos os tokens visuais de cada quadro processado até o momento. Este cache nunca é consultado durante a fase de preenchimento, mas é preservado para a etapa final de decodificação de texto para garantir que nenhuma informação seja perdida durante a geração.
2. Estado Comprimido ($C_n$): Um estado recorrente de capacidade fixa (ex: 1024 tokens), usado apenas durante a fase de preenchimento de vídeo para aproximar as interações entre quadros.

O Processo:

• Preenchimento em Streaming (Streaming Prefill): À medida que os quadros chegam, o modelo os processa incrementalmente. O quadro $n$ atende à concatenação dos tokens do quadro atual e ao Estado Comprimido do quadro $n-1$.
• Seleção Baseada em Importância: Após o processamento do quadro $n$, o Estado Comprimido é atualizado. O modelo calcula as pontuações de atenção (apenas vídeo) para todos os tokens candidatos (o estado comprimido anterior + tokens do quadro atual). Ele seleciona os top-$B$ tokens (onde $B$ é o orçamento fixo) para formar o novo Estado Comprimido $C_n$, descartando entradas de baixa importância.
• Decodificação: Uma vez que todos os quadros foram processados, inicia-se a geração de texto autorregressiva padrão. Crucialmente, a decodificação condiciona-se ao Estado Detalhado ($D_N$), que contém todos os tokens originais do vídeo, garantindo que a fase de geração tenha acesso ao contexto completo.

Este design desacopla a complexidade da codificação de vídeo (linear, $O(N)$) da fidelidade da geração final (contexto total).

3. Principais Contribuições

• Preenchimento em Tempo Linear sem Ajuste Fino: O StateKV permite que VLMs pré-treinados e congelados processem vídeos longos com complexidade computacional linear ($O(N)$) e custo constante por quadro, sem exigir modificações arquiteturais ou retreinamento.
• Aproximação Principada da Atenção Total: Ao contrário dos métodos de janela deslizante que dependem da recência, o StateKV usa um mecanismo baseado em importância para carregar adiante os "sumidouros temporais". Isso fornece uma aproximação mais fundamentada da autoatenção total, capturando dependências de longo alcance que as heurísticas de recência perdem.
• Compromisso Computação-Precisão: Ao reduzir drasticamente os FLOPs necessários para o preenchimento de vídeo, o StateKV permite que os praticantes executem modelos maiores dentro do mesmo orçamento computacional. O artigo demonstra que um modelo maior com StateKV pode superar um modelo menor usando autoatenção total com um custo computacional semelhante ou inferior.
• Validação Empírica: O método é validado em três benchmarks de vídeo longo (VideoMME, MLVU, OVOBench) e sete modelos abrangendo três famílias (InternVL3, Qwen-VL, Eagle2.5) e múltiplas escalas (1B a 8B parâmetros).

4. Resultados

• Precisão vs. Autoatenção Total: Em todos os benchmarks e escalas de modelo, o StateKV permanece próximo ao desempenho da autoatenção total (Full SA). Em média, ele permanece a aproximadamente 1% da precisão da Full SA, superando significativamente os baselines de janela deslizante como o ReKV (que frequentemente ficam atrás por cerca de 10 pontos).
• Superioridade sobre Métodos Baseados em Recência: O StateKV supera consistentemente o ReKV (um método dominante de janela deslizante) em VideoMME, MLVU e OVOBench. Os autores atribuem isso ao fato de que os padrões de atenção de longo alcance em VLMs não são puramente baseados em recência; eles frequentemente dependem de "âncoras" persistentes de quadros distantes que as janelas deslizantes descartam.
• Comportamento de Escalonamento: O desempenho melhora monotonicamente à medida que a capacidade do estado comprimido ($B$) aumenta. Modelos maiores exibem um escalonamento mais forte com o tamanho do cache, muitas vezes igualando a precisão da Full SA em orçamentos elevados.
• Eficiência Computacional:
  • O StateKV reduz drasticamente os FLOPs de preenchimento de vídeo.
  • Análise de Ponto de Equilíbrio (Break-even): Para vídeos suficientemente longos, executar um modelo maior (ex: InternVL3-8B) com StateKV é computacionalmente mais barato do que executar um modelo menor (ex: InternVL3-1B) com Autoatenção Total.
  • Exemplo: O StateKV-8B com um orçamento de cache de 4096 alcança 62,5% de precisão no VideoMME com um custo computacional semelhante ao da Full SA-1B (46,2% de precisão), efetivamente ganhando ~16 pontos de precisão para o mesmo orçamento.

5. Significância e Alegações

O artigo posiciona o StateKV como um passo prático em direção à compreensão de vídeo longo escalável. Sua significância reside em:

• Viabilização de Streaming em Tempo Real: Ao alcançar um custo constante por quadro, o StateKV remove o gargalo quadrático que atualmente impede aplicações de streaming em tempo real para vídeos longos (ex: um carro dirigindo por uma hora torna-se mais difícil de consultar do que um que acabou de começar).
• Redefinição da Fronteira Computacional: O método muda o paradigma de "comprimir para caber" para "comprimir para aproximar". Ele demonstra que a retenção de memória baseada em importância é uma aproximação mais forte da atenção total do que a recência estrita, permitindo melhor precisão em orçamentos de computação fixos.
• Generalização: A abordagem transfere-se consistentemente através de diferentes famílias de modelos e escalas de parâmetros sem exigir ajuste específico do modelo, sugerindo que a estrutura de atenção subjacente (sumidouros temporais) é uma propriedade robusta dos atuais VLMs pré-treinados.

Os autores reconhecem limitações, observando que a validação mecanística é atualmente limitada a modelos existentes e entradas testadas. Eles sugerem que trabalhos futuros explorem se esses padrões de atenção se mantêm em backbones e regimes de vídeo mais amplos. No entanto, dentro do escopo testado, o StateKV oferece uma solução robusta e livre de treinamento para o problema do escalonamento de vídeo longo.