Resumo Técnico: Aproveitando Vídeo em Streaming no Mundo Real

1. Formulação do Problema

Os atuais Modelos de Visão-Linguagem (VLMs) alcançaram um sucesso significativo em tarefas de compreensão de vídeo offline (ex: perguntas e respostas de vídeo, localização temporal), onde o modelo processa um clipe completo e pré-gravado para gerar uma resposta de disparo único (one-shot). No entanto, uma classe crescente de aplicações do mundo real — como assistentes de videochamada, comentários ao vivo, vigilância online e robôs incorporados — opera em fluxos de vídeo ilimitados (unbounded streams).

Nesses cenários "no mundo real" (in-the-wild), as suposições fundamentais do processamento offline são violadas:

• Restrição Causal: O modelo deve responder baseando-se apenas em quadros observados anteriormente, sem acesso ao conteúdo futuro.
• Comprimento Ilimitado: Os fluxos podem durar horas, tornando impossível reter todos os tokens visuais na memória.
• Restrições de Latência: As respostas devem ser geradas em tempo real (latência inferior a um segundo) para permanecerem sincronizadas com os quadros recebidos.
• Interação Proativa: O sistema deve decidir quando falar e quando permanecer em silêncio, em vez de gerar saída para cada quadro ou esperar por uma consulta do usuário.

Métodos existentes normalmente abordam apenas um ou dois desses requisitos (ex: compressão de memória ou otimização de latência) de forma isolada, carecendo de um framework unificado que suporte simultaneamente a interação proativa, a memória de longo horizonte e a inferência em tempo real. Além disso, os benchmarks existentes frequentemente reduzem a avaliação a consultas de turno único e estilo offline, falhando em avaliar comportamentos essentes de streaming, como recuperar evidências distantes ou manter a coerência entre turnos.

2. Metodologia

Os autores propõem um stack unificado consistindo em três componentes: um conjunto de dados/objetivo de treinamento, um framework de inferência (Harness) e um benchmark de avaliação.

2.1 Treinamento de VLM Nativo para Streaming (Backbone)

Para adaptar os VLMs à interação em streaming, os autores introduzem o Streaming-Train-248K, um conjunto de dados de alta qualidade com alinhamento quadro-texto por segundo.

• Construção de Dados: O conjunto de dados agrega 248K amostras de diversas fontes (ex: EpicKitchens, Ego4D, LiveWhisperX), cobrindo cenários de vida cotidiana, trabalho e atividades ao ar livre. Cada segmento de um segundo é pareado com uma resposta explícita ou um token de silêncio, etiquetado com carimbos de tempo (timestamps).
• Taxonomia de Tarefas: As tarefas são categorizadas em Narração (emitindo descrições apenas para eventos salientes) e Perguntas e Respostas (categorizadas por invariância/variância da resposta e tempo da evidência: retroativa, presente e futura).
• Objetivo de Treinamento: Para lidar com o severo desequilíbrio de classes onde os tokens de silêncio superam vastamente os tokens de resposta, é empregada uma função de perda ponderada. As continuações de silêncio são penalizadas ($w_{repeated\_silence} < 1$), enquanto a transição do silêncio para a resposta é valorizada ($w_{response} > 1$). Isso incentiva o modelo a aprender quando interromper o silêncio de forma eficaz.
• Tokens Especiais: O modelo é treinado para emitir dois tokens de controle: </response> (para responder ou narrar) e </silence> (para permanecer em silêncio), permitindo a tomada de decisão proativa por segundo.

2.2 StreamingHarness (Infraestrutura de Implantação)

O StreamingHarness é um framework de inferência plug-and-play projetado para equipar qualquer VLM com capacidades de streaming. Ele aborda as restrições de memória e latência através de três mecanismos:

1. Gerenciamento de Memória de Três Níveis:
   • Curto Prazo: Retém tokens visuais brutos para os segundos mais recentes $T_s$ (ex: 200s).
   • Médio Prazo: Comprime blocos passados de curto prazo em resumos textuais $T_m$ (segundos).
   • Longo Prazo: Consolida agressivamente os resumos de médio prazo em blocos $T_l$, limitados a um número fixo de blocos com expulsão FIFO.
   • Resultado: Suporta até 12 horas de contexto sem crescimento ilimitado de memória.
2. Cache KV Consciente de Prefixo (Prefix-Aware):
   • Projetado para compatibilidade com motores de inferência eficientes como o vLLM.
   • O sistema realiza um preenchimento (prefill) único da "Memória Textual" (histórico comprimido) no início de cada bloco.
   • Os passos subsequentes reutilizam os estados de Chave-Valor (KV) em cache da memória e dos turnos anteriores, computando apenas o novo quadro e a resposta. Isso permite latência inferior a um segundo, mesmo sobre contextos longos.
3. Gatilho de Resposta Baseado em Eventos:
   • O harness invoca o backbone a cada segundo.
   • O modelo julga se a evidência atual (quadro atual + contexto) justifica uma resposta. Se não houver conteúdo informativo novo disponível, ele emite </silence>; caso contrário, gera uma resposta fundamentada.

2.3 Streaming-Eval (Benchmark)

Para medir as capacidades de streaming real, os autores introduzem o Streaming-Eval, um benchmark que cobre 138 vídeos em 15 categorias (ex: Esportes, Culinária, Notícias).

• Eixos de Avaliação:
  • Interação de Streaming: Avalia comportamentos Proativos (quando falar), Pontuais (tempo) e Contextuais (coerência entre turnos).
  • Compreensão de Streaming: Avalia o raciocínio sobre evidências Retroativas (passado), Presentes (presente) e Futuras (futuro em relação à consulta) evidências.
• Métricas:
  • Narração: Avaliada via taxa de vitória (win-rate) contra juízes humanos/LLM comparando ritmo, tom e consistência com o ASR (reconhecimento de fala) de referência.
  • Perguntas e Respostas: Utiliza o SW-F1 (Streaming Weighted F1), uma métrica que penaliza conjuntamente respostas incorretas e tempos de resposta errados (emitir respostas quando o silêncio é necessário ou perder a janela da resposta). Ela atribui pesos maiores para Verdadeiros Positivos e Falsos Negativos para priorizar a correção enquanto desencoraja comportamentos de "sempre responder".

3. Principais Contribuições

1. Streaming-Train-248K: Um conjunto de dados de larga escala com alinhamento por segundo e um objetivo de treinamento sob medida para criar VLMs nativos de streaming capazes de interação proativa.
2. StreamingHarness: Um sistema plug-and-play que fornece retenção de memória de 12 horas, latência inferior a um segundo e interação proativa (tomada de decisão por segundo) compatível com vLLM.
3. Streaming-Eval: Um benchmark abrangente e um conjunto de métricas (SW-F1) projetado para avaliar modelos em tarefas reais de streaming, indo além dos paradigmas offline de turno único.
4. Desempenho de Estado da Arte: O stack proposto (VLM nativo de streaming de 8B + StreamingHarness) alcança resultados superiores em comparação com modelos fechados fortes (ex: Claude Opus 4.6, GPT 5.4, Gemini 3.1 Pro) tanto em tarefas de narração quanto de QA.

4. Resultados Experimentais

• Narração: O modelo nativo de streaming de 8B equipado com o StreamingHarness alcançou uma taxa de vitória média de 61,4% contra quatro baselines de código fechado. Ele superou significativamente os baselines na produção de comentários naturais, no estilo de transmissão ao vivo, evitando a "narração excessiva" e as alucinações comuns em modelos adaptados de offline.
• Perguntas e Respostas: Nas tarefas de QA do Streaming-Eval, o sistema proposto obteve ganhos substanciais em tarefas Retroativas (recuperação de evidências distantes) e Futuras (adiamento da resposta até que a evidência apareça). Os scores SW-F1 foram significativamente maiores do que todos os baselines, demonstrando a eficácia do sistema de memória e do treinamento proativo.
• Eficiência: Em um teste de transmissão esportiva de 2 horas, o StreamingHarness completo manteve o Tempo para o Primeiro Token (TTFT) e a latência ponta-a-ponta consistentemente abaixo de 1 segundo (o limiar de tempo real). Em contraste, abordagens de janela deslizante estabilizaram em ~4 segundos, e métodos de atenção total excederam os limites de contexto em poucos minutos. O cache KV consciente de prefixo foi crítico para reduzir a latência de ~4s para <1s.
• Ablação:
  • O ajuste do peso de repetição de silêncio ($w_{repeated\_silence}$) mostrou que um valor de 0,8 forneceu o melhor equilíbrio, evitando que o modelo se comprometesse demais com o silêncio, mas também evitando respostas prematuras.
  • Adicionar o StreamingHarness a modelos offline melhorou significativamente seu desempenho em tarefas Retroativas, confirmando o valor do framework como um aprimoramento de propósito geral.

5. Significância

O artigo argumenta que a transição da compreensão de vídeo offline para a inteligência de streaming implantável requer uma abordagem holística que aborde simultaneamente a capacidade do modelo, a infraestrutura e a avaliação. Ao abrir o código do dataset, do harness e do benchmark, os autores visam acelerar o progresso da comunidade na construção de VLMs que possam operar efetivamente em ambientes de tempo real e ilimitados. O trabalho demonstra que, com o objetivo de treinamento e a arquitetura de inferência corretos, mesmo modelos menores (8B) podem superar sistemas massivos de código fechado em cenários de streaming, mantendo estritos limites de latência.