Resumo Técnico: ProtoKV

Declaração do Problema

A Compreensão de Vídeo em Fluxo (Streaming Video Understanding - SVU) exige que sistemas processem fluxos contínuos de vídeo e respondam a consultas assíncronas em tempo real sob rigorosas restrições de memória de GPU e latência. Um desafio crítico neste cenário é a consulta atrasada (delayed query): pistas visuais decisivas podem aparecer brevemente e cedo em um fluxo, mas a consulta chega significativamente mais tarde, após muitos quadros subsequentes terem sido processados.

Sob memória limitada, abordagens padrão enfrentam um dilema:

1. Janela Deslizante (SWA): Retém apenas tokens recentes, garantindo memória constante, mas perdendo irremediavelmente a evidência assim que ela sai da janela.
2. Retenção/Compressão de Tokens: Tenta manter um subconjunto de tokens históricos. No entanto, à medida que o atraso ($\Delta$) entre a evidência e a consulta cresce, esses métodos sofrem de "pressão de atualização pós-evidência". Pistas decisivas são frequentemente descartadas ou diluídas porque o sistema deve tomar decisões de retenção agnósticas à consulta sem saber quais tokens futuros serão relevantes. Uma vez que uma instância específica de um token é descartada, sua pista detalhada associada é perdida.

O artigo argumenta que representar o histórico distante como um conjunto de instâncias de tokens retidos é frágil sob longos atrasos. Em vez disso, o sistema precisa de um mecanismo que preserve a evidência de eventos passados em vez das instâncias de tokens específicas, permitindo uma degradação suave conforme o atraso aumenta.

Metodologia: ProtoKV

O ProtoKV é um mecanismo de memória de pegada constante projetado para LLMs de vídeo em fluxo, que muda a representação do histórico distante da retenção de tokens para uma abordagem de estado-resumo (summary-state) usando um estado online de dois níveis:

1. Arquitetura de Dois Níveis

• Janela Próxima (Exata): Um buffer circular ($B_{near}$) que armazena os pares Chave-Valor (KV) exatos para os $W$ quadros mais recentes. Isso preserva evidências temporais locais e detalhadas sem aproximação.
• Memória Distante (Estado-Resumo): Um banco de protótipos de capacidade fixa ($B_{far}$) de tamanho $K_{max}$ que agrega o histórico evicto e mais antigo. Em vez de armazenar instâncias de tokens, ele armazena protótipos centrados em objetos.

2. Mecanismo de Atualização Online

Conforme o fluxo de vídeo progride, os tokens são evictos da janela próxima e absorvidos na memória distante através de uma atribuição consciente de continuidade:

• Atribuição: Os tokens evictos são atribuídos a um protótipo $k$ minimizando uma função de custo online que combina:
  • Similaridade no espaço de chaves (agrupando tokens com chaves semelhantes).
  • Continuidade espacial (impondo associação consistente com o rastreamento usando coordenadas espaciais).
  • Controle de obsolescência (desencorajando a atribuição a protótipos que não foram atualizados recentemente).
• Atualização do Protótipo: Uma vez atribuído, o protótipo é atualizado como um estado-resumo persistente:
  • Centros: Os centros de chave e valor ($c_k, p_k$) são atualizados via Média Móvel Exponencial (EMA).
  • Massa: Um contador ($n_k$) rastreia o número de tokens absorvidos.
  • Estatísticas de Resíduo: Para evitar a perda de pistas distintas através de uma simples média, o ProtoKV mantém histogramas baseados em Quantização de Produto (PQ) dos resíduos ($r_K = K - c_k$, $r_V = V - p_k$). Isso captura a diversidade intra-protótipo sem armazenar códigos de tokens individuais.
  • Manutenção: O banco passa por manutenção leve, incluindo decaimento de massa para protótipos ociosos, fusão de protótipos redundantes e reciclagem de slots vazios.

3. Interface de Consulta: Síntese de Pseudo-Tokens

No momento da consulta, o ProtoKV expõe a memória distante ao mecanismo de atenção padrão sem alterações arquiteturais:

• Pseudo-Tokens: Cada protótipo é sintetizado em $S$ pseudo-tokens KV. Eles são construídos combinando o centro do protótipo com padrões de resíduo representativos decodificados dos histogramas de PQ armazenados.
• Viés de Consciência de Massa: Para considerar a multiplicidade de tokens resumidos por um protótipo, um viés de log-massa ($b_k = \log n_k$) é adicionado aos logits de atenção. Isso garante que os protótipos que representam mais evidências exerçam uma influência proporcionalmente mais forte.
• Contexto Fixo: O contexto final consiste nos tokens exatos da janela próxima mais os pseudo-tokens limitados ($L_{context} = W + K_{max} \cdot S$), garantindo latência e uso de memória constantes no tempo de consulta, independentemente do comprimento do fluxo.

Principais Contribuições

1. Mecanismo de Memória Distante: Introdução de um banco de protótipos de capacidade fixa e espaço-temporalmente consistente, aumentado com estatísticas de resíduo para resumir o histórico distante, afastando-se da retenção de instâncias de tokens.
2. Síntese de Pseudo-Tokens: Um método livre de treinamento para sintetizar pseudo-tokens KV limitados com ponderação de consciência de massa, permitindo que a atenção padrão acesse evidências de histórico distante sob uma pegada constante de tempo de consulta.
3. Protocolo de Consulta Retrospectiva: Um protocolo de filtragem de consulta retrospectiva para avaliar a robustez da SVU contra o aumento de atrasos de consulta mantendo a verdade fundamental invariante.

Resultados Experimentais

O ProtoKV foi avaliado em quatro benchmarks de vídeo em fluxo (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) usando backbones LLaVA-OV-7B e Qwen2.5-VL-7B.

• Desempenho: Sob orçamentos de memória equivalentes, o ProtoKV supera as linhas de base de janela deslizante e métodos de retenção de tokens (ex: InfiniPot-V). Ele alcança até 12,5 pontos percentuais a mais de precisão do que as linhas de base de retenção de tokens em regimes de longo atraso.
• Robustez ao Atraso: Embora todos os métodos degradem conforme o atraso da consulta ($\Delta$) aumenta, o ProtoKV exibe curvas de degradação significativamente mais planas. A lacuna de desempenho aumenta conforme $\Delta$ cresce, demonstrando que a abordagem de estado-resumo preserva melhor as pistas decisivas sob pressão de atualização pós-evidência sustentada.
• Eficiência: O ProtoKV mantém um Tempo de Primeiro Token (TTFT) competitivo e menor latência end-to-end em comparação com as linhas de base de offloading/recuperação (ex: ReKV), que sofrem com o overhead de recuperação.
• Desempenho Offline: Quando aplicado a benchmarks de compreensão de vídeo offline (VideoMME, MLVU), o ProtoKV permanece competitivo com métodos de compressão de última geração, sugerindo sua utilidade além dos cenários de streaming.

Significância e Alegações

O artigo afirma que o ProtoKV aborda uma limitação fundamental na compreensão de vídeo em fluxo: a fragilidade das estratégias de retenção de tokens sob longos atrasos. Ao mudar da retenção de instâncias de tokens específicas para a manutenção de um estado-resumo do histórico distante, o ProtoKV permite que pistas esparsas e decisivas sobrevivam a muitas atualizações subsequentes sem serem sobrescritas ou diluídas.

Os autores enfatem que este design é adaptado para consultas atrasadas, onde as respostas dependem de ocorrências de eventos passados em vez de conteúdo visual instantâneo. Os resultados sugerem que, para sistemas interativos que exigem manutenção sempre ativa e agnóstica à consulta com pegadas fixas em dispositivo, representar o histórico distante como um estado-resumo compacto e centrado em objetos é um ponto de operação mais eficaz do que janelas deslizantes ou seleção de tokens. O trabalho destaca o valor da memória de estado-resumo para sistemas de streaming estáveis sob pressão de atualização sustentada.