Resumo Técnico: SelectStream

Definição do Problema

A compreensão de vídeo em streaming exige que Modelos de Linguagem-Visão (VLMs) respondam a consultas em qualquer momento durante uma transmissão de vídeo contínua, utilizando apenas o prefixo observado, sujeito a orçamentos fixos de memória, contexto e computação. Embora trabalhos recentes tenham tentado resolver isso adicionando bancos de memória externos, módulos de recuperação ou compressão de tokens visuais, esses métodos frequentemente dependem da premissa de que uma "memória mais rica" leva automaticamente a uma melhor compreensão.

Os autores argumentam que a injeção indiscriminada de histórico pode diluir a percepção da cena atual, um fenômeno onde evidências relevantes são misturadas com conteúdo irrelevante, enfraquecendo a capacidade de raciocínio do modelo. Por outro lado, baselines simples de janela recente (que descartam evidências antigas) falham quando informações críticas residem fora do contexto imediato. O desafio central não é se usar memória, mas sim como alocar seletivamente essa memória: decidir quando escrever uma nova evidência, o que preservar quando a capacidade está cheia, como recuperar evidências para uma consulta específica e quanto contexto histórico expor durante a geração sem aumentar a janela de contexto com o comprimento do stream.

Metodologia: SelectStream

O SelectStream é um framework de memória latente seletiva que formula a memória de streaming como uma alocação de evidência latente online com orçamento definido. Ele opera sobre um backbone de VLM congelado e gerencia o histórico por meio de um grafo de evidência latente dinâmico ($G_t = (M_t, E_t)$), em vez de reproduzir frames brutos ou converter o histórico em resumos de texto. O sistema é governado por três mecanismos coordenados:

1. Janelamento Adaptativo Baseado em Surpresa (SAW) – Quando Escrever

O SAW determina quando fechar um segmento de vídeo e escrevê-lo na memória. Em vez de intervalos fixos, ele atribui entradas de memória grosseiras para intervalos estáveis e resolução mais fina próximo a transições surpreendentes.

• Mecanismo: Calcula um escore de surpresa ($s_t$) baseado em mudanças de atenção (divergência JS de mapas de atenção) e mudanças de características (distância de cosseno de embeddings projetados).
• Gatilhos: Um segmento é fechado quando atinge um comprimento mínimo ($L_{min}$) e uma das três condições é atendida: um pico de surpresa ($\bar{s}_t > \theta_{high}$), a energia de surpresa acumulada excede um orçamento ($B_s$), ou o comprimento máximo do segmento ($L_{max}$) é atingido.

2. Memória Visual Latente (LVM) – O Que Preservar

O LVM gerencia um grafo de memória de capacidade fixa onde embeddings visuais projetados são armazenados como nós latentes.

• Escrita: Quando um segmento é fechado, seu embedding é comparado aos nós ativos. Se for semanticamente similar e possuir baixa surpresa, ele atualiza um nó existente via um mecanismo de atualização com portão (gated update) (evitando a substituição direta de um histórico útil). Caso contrário, um novo nó é criado.
• Consolidação: Quando o orçamento de memória ($N$) é excedido, o sistema realiza uma consolidação de preservação de prioridade. Ele funde o par de nós com a menor penalidade, o que equilibra redundância semântica (similaridade) contra fatores de prioridade (surpresa, frequência de acesso e recência). Isso garante que evidências surpreendentes ou frequentemente acessadas sejam preservadas.

3. Raciocínio de Atenção de Grafo Condicionado à Consulta (GAR) – Como Ler

Quando uma consulta chega, o modelo recupera um subgrafo compacto em vez de raciocinar sobre todo o histórico.

• Roteamento: A consulta é codificada e usada para pontuar os nós ativos. Um subgrafo é roteado a partir de sementes top-$k$ através de arestas temporais e semânticas, limitado por um orçamento de subgrafo ($B$).
• Raciocínio: Uma Rede de Atenção de Grafo (GAR) refina os estados dos nós agregando contexto temporal e semântico de seus vizinhos.
• Injeção: Os top-$M$ nós refinados são calibrados e injetados como tokens de evidência latente no decoder do VLM congelado. Isso permite que o VLM acesse evidências históricas sem aumentar o comprimento do contexto proporcionalmente à duração do stream.

Principais Contribuições

1. Formulação: O artigo formula a lembrança seletiva em vídeo de streaming como um problema de alocação de evidência latente online com orçamento, abordando explicitamente o equilíbrio entre manter a percepção da cena atual e acessar o histórico de longo alcance.
2. Arquitetura (SelectStream): Uma arquitetura de memória latente dinâmica que escreve embeddings visuais projetados em um grafo de capacidade fixa. Utiliza janelamento impulsionado por surpresa para escrita adaptativa, consolidação baseada em prioridade para preservação e raciocínio de grafo condicionado à consulta para recuperação.
3. Interface: Um design que injeta tokens de evidência latente calibrados em um VLM congelado, evitando a reprodução de frames brutos ou sumarização de texto, mantendo assim um custo de inferência limitado, independentemente do comprimento do stream.

Resultados Experimentais

O SelectStream foi avaliado em benchmarks de vídeo offline e de streaming usando os backbones Qwen2.5-VL-7B e Qwen3-VL-8B.

• Benchmarks de Streaming:
  • StreamingBench: Alcançou 82,67% de precisão (Qwen3-VL-8B), superando fortes baselines de janela recente (ex: Qwen3-VL-8B + 4f com 80,59%) e métodos anteriores de memória de streaming.
  • OVO-Bench: Alcançou 67,03% de precisão geral. Notavelmente, melhorou significativamente os escores de Rastreamento Retrospectivo (Backward Tracing - BT) (de 54,00% para 62,20% no Qwen3-VL-8B), demonstrando uma capacidade superior de utilizar o contexto visual prévio enquanto mantém uma alta Percepção Visual em Tempo Real (Real-Time Visual Perception) de 82,76%.
• Benchmarks Offline:
  • No VideoMME, MLVU e MVBench, o SelectStream alcançou uma precisão média de 74,4% (Qwen3-VL-8B), mostrando que o método preserva as capacidades gerais de compreensão de vídeo e não sacrifica o desempenho offline pela eficiência de streaming.
• Eficiência:
  • O modelo mantém uma latência de consulta (TTFT) e uso de memória GPU quase constantes conforme o número de frames processados aumenta, pois o estado de memória ativa é limitado por $N$ e a recuperação é limitada por $B$ e $M$.

Significância e Alegações

O artigo afirma que o SelectStream aborda o problema da "diluição de evidência" inerente à injeção indiscriminada de memória. Ao manter a observação atual diretamente visível para o VLM congelado e expor informações históricas apenas através de um orçamento de evidência compacto e condicionado à consulta, o modelo atinge um equilíbrio superior entre memória de longo alcance e percepção da cena atual.

Os autores posicionam o SelectStream como uma direção escalável para a compreensão de vídeo em streaming sob restrições de recursos fixos. Os resultados sugerem que a memória latente seletiva oferece benefícios que vão além de simplesmente reter os frames mais recentes, permitindo um raciocínio robusto dependente de histórico sem o overhead computacional de janelas de contexto crescentes. O framework foi projetado para ser uma camada de memória geral para backbones de linguagem-vídeo congelados, separando o gerenciamento de memória online da geração em tempo de consulta.