CoStream: Codec-Guided Resource-Efficient System for Video Streaming Analytics

Título: CoStream: Um Sistema Eficiente em Recursos para Análise de Vídeo em Streaming Guiado por Codecs

1. O Problema

A análise de vídeo em streaming, impulsionada por modelos de linguagem e visão (VLMs), tornou-se essencial para aplicações como vigilância, controle de tráfego e automação industrial. No entanto, a implantação contínua desses modelos enfrenta barreiras críticas de escalabilidade:

• Custo Computacional Exorbitante: A infraestrutura de vídeo global (ex: mais de 1,1 bilhão de câmeras) supera em larga escala a capacidade de GPUs disponíveis (em algumas cidades, há 8 a 25 vezes mais câmeras do que GPUs).
• Redundância Espacial e Temporal: Os pipelines atuais processam janelas de vídeo deslizantes (sliding windows) que se sobrepõem significativamente. Isso resulta na recriação repetida de contextos visuais idênticos tanto no codificador de visão (ViT) quanto no pré-preenchimento do LLM.
• Ineficiência dos Sistemas Atuais: Soluções anteriores focam em otimizar apenas o ViT ou o LLM isoladamente. Muitas dependem de perfis offline caros ou treinamento adicional, o que as torna inadequadas para streams dinâmicos em tempo real e não exploram o potencial de otimização end-to-end.
• Subutilização de Metadados: Os codecs de vídeo (como H.264/H.265) já extraem metadados ricos (vetores de movimento, resíduos, tipos de quadro) para compressão, mas os sistemas de VLM ignoram esses sinais, decodificando quadros completos e processando tudo como se fosse novo.

2. Metodologia: A Abordagem do CoStream

O CoStream é um sistema que utiliza metadados de codecs de vídeo como um sinal de tempo de execução de baixo custo para otimizar todo o pipeline de inferência (transmissão, decodificação, processamento visual e pré-preenchimento do LLM) sem necessidade de treinamento offline.

O sistema opera através de três mecanismos principais:

A. Processamento de Codec Acelerado por Hardware (Single-Pass Decoding)

• Em vez de decodificar repetidamente os mesmos quadros para cada janela deslizante, o CoStream decodifica o fluxo de bits comprimido em uma única passagem.
• Extrai metadados comprimidos (vetores de movimento e resíduos) diretamente do domínio comprimido, evitando o custo de calcular fluxo óptico ou analisar pixels decodificados.
• Realiza pré-processamento (redimensionamento, conversão de espaço de cor) diretamente na GPU, eliminando transferências desnecessárias CPU-GPU.

B. Poda de Tokens Guiada por Vetores de Movimento (Token Pruning)

• Conceito: Utiliza os vetores de movimento (MVs) e resíduos do codec para identificar regiões estáticas ou previsíveis no vídeo.
• Mecanismo: Antes que os dados entrem no ViT, o sistema cria uma máscara espacial. Patches (blocos de imagem) com vetores de movimento próximos de zero e baixos resíduos são considerados redundantes e podados (ignorados).
• Vantagem: Reduz drasticamente o número de tokens visuais que precisam ser codificados pelo ViT, economizando computação antes mesmo da inferência do modelo começar.

C. Atualização Seletiva de Cache Key-Value (Selective KVC Refresh)

• Conceito: Reconhece que, embora as janelas deslizantes compartilhem conteúdo visual sobreposto, o contexto semântico muda à medida que a janela avança. Reutilizar o cache KV (Key-Value) de forma cega causa "deriva semântica" e perda de precisão.
• Mecanismo: O sistema identifica quais tokens são "âncoras" (geralmente derivadas de quadros I, que são estáveis e servem como referência) e quais são sensíveis a mudanças.
  • Reutilização: Tokens de quadros P (preditivos) sobrepostos são reutilizados, mas com correção de posição (usando RoPE - Rotary Positional Embedding) para alinhar com a nova janela.
  • Atualização (Refresh): Apenas os tokens críticos (âncoras de quadros I e regiões de alta dinâmica) são recalculados no pré-preenchimento do LLM.
• Resultado: Elimina a necessidade de recalcular todo o contexto visual repetido, mantendo a fidelidade semântica.

3. Contribuições Principais

1. Otimização Holística End-to-End: É o primeiro sistema a unificar a otimização da transmissão, decodificação, processamento visual (ViT) e inferência de linguagem (LLM) utilizando um único conjunto de metadados extraídos do codec.
2. Sinalização em Tempo Real sem Treinamento: Diferente de métodos anteriores que exigem perfis offline ou treinamento para aprender políticas de reutilização, o CoStream opera totalmente online, adaptando-se dinamicamente ao conteúdo do vídeo sem overhead de treinamento.
3. Arquitetura de Baixo Overhead: A lógica de decisão (mapeamento de vetores de movimento para poda de tokens e seleção de cache) é leve, introduzindo apenas ~50ms de overhead, o que é insignificante comparado aos ganhos de latência.
4. Implementação Prática: O sistema foi construído sobre o framework de produção vLLM e utiliza hardware de decodificação de vídeo padrão (NVIDIA NVDEC), demonstrando viabilidade em infraestrutura existente.

4. Resultados Experimentais

Os testes foram realizados em dois VLMs de ponta (InternVL3-14B e Qwen3-VL-32B) usando o conjunto de dados UCF-Crime (detecção de anomalias em vídeo).

• Aumento de Throughput (Vazão): O CoStream alcançou um aumento de até 3x no throughput (ou redução de latência de até 3x) em comparação com pipelines não otimizados e baselines de última geração (como Déjà Vu e VLCache).
• Redução de Computação GPU: Houve uma redução de até 87% no uso de FLOPs (operações de ponto flutuante) da GPU.
• Precisão (Accuracy): A perda de precisão foi mínima. O sistema manteve uma queda no F1-score de apenas 0% a 8% em relação às baselines, dependendo do modelo e da configuração.
  • No Qwen3-VL, a precisão foi mantida quase intacta (0% de queda).
  • No InternVL3, a queda foi de 0.08 pontos no F1-score.
• Eficiência em Diferentes Níveis de Movimento: O sistema foi eficaz tanto em vídeos de baixa movimentação (onde a poda de tokens é mais agressiva) quanto em vídeos de alta movimentação (onde a atualização seletiva de cache compensa a menor poda).

5. Significado e Impacto

O CoStream representa um avanço significativo na viabilidade da análise de vídeo em larga escala baseada em IA.

• Viabilidade Econômica: Ao reduzir a demanda de GPU em até 87%, o sistema torna economicamente viável a análise de vídeo em tempo real para milhares de câmeras simultâneas, algo que seria proibitivo com abordagens atuais.
• Paradigma de "Compressed-Domain AI": O trabalho estabelece um novo paradigma onde a inteligência artificial não apenas consome dados decodificados, mas aproveita ativamente a estrutura de compressão dos dados para otimizar o processamento.
• Escalabilidade: Permite que cidades inteligentes e sistemas industriais escalem suas capacidades de vigilância e análise sem a necessidade de um aumento linear e massivo na infraestrutura de hardware.

Em resumo, o CoStream demonstra que a colaboração entre a camada de compressão de vídeo (codec) e a camada de inferência de modelos de linguagem é a chave para superar os gargalos de recursos na próxima geração de sistemas de visão computacional.