Resumo Técnico: Memória Visual Adaptativa Consciente Semântica para Compreensão de Vídeo em Streaming

Definição do Problema

O artigo aborda a Resposta a Perguntas sobre Vídeo em Streaming Online (StreamingVQA), uma tarefa onde um modelo deve processar um fluxo de vídeo contínuo e ilimitado e responder a consultas em linguagem natural em tempo real, à medida que chegam. Diferentemente de cenários offline onde o vídeo completo está disponível, o streaming impõe três restrições críticas:

1. Sem Acesso ao Futuro: O modelo só pode acessar quadros até o timestamp atual $T$.
2. Codificação Agnóstica à Consulta: A construção da memória deve ocorrer sem conhecimento da consulta específica, pois as consultas chegam de forma imprevisível.
3. Memória Limitada: A pegada total de memória deve permanecer constante, independentemente do comprimento do vídeo.

Métodos existentes lutam com essas restrições. A maioria depende de heurísticas de similaridade visual para compressão de tokens, o que falha em capturar a importância semântica, ou adicionam mecanismos de recuperação no nível do cache KV após a compressão ser finalizada. Essa separação torna difícil coordenar a retenção e a recuperação, levando frequentemente à perda de informações semanticamente críticas, mas visualmente redundantes.

Metodologia: SAVEMem

Os autores propõem o SAVEMem, um framework de duas etapas sem treinamento que desacopla a geração de memória agnóstica à consulta da recuperação consciente à consulta. O sistema opera sob um orçamento de memória constante $B$ e utiliza um "banco de perguntas pseudo" fixo para injetar priores semânticos sem exigir ajuste fino do modelo.

Etapa 1: Geração de Memória Semântica (Agnóstica à Consulta)

Nesta etapa, o modelo constrói uma memória de streaming de três níveis ($M_{curto}$, $M_{médio}$, $M_{longo}$) online à medida que os quadros chegam.

• Priori Semântica: Em vez de confiar apenas na similaridade visual, o SAVEMem pontua cada token visual $v$ contra um banco fixo de perguntas pseudo $Q$ (cobrindo objetos, ações, cenas, etc.) usando um mecanismo de interação tardia MaxSim: $s(v) = \max_{q \in Q} \cos(v, q)$. Isso fornece uma estimativa agnóstica à consulta da saliência semântica.
• Hierarquia de Três Níveis com Esquecimento Seletivo:
  • Curto prazo ($M_{curto}$): Um buffer FIFO que preserva os quadros mais recentes com fidelidade total para ancorar o contexto atual.
  • Médio prazo ($M_{médio}$): Quando $M_{curto}$ enche, o quadro mais antigo sofre Poda Semântica Temporal. Tokens são removidos se forem bem representados por vizinhos temporais, a menos que tenham pontuações semânticas altas ($s(v)$) ou estejam em limites de cena.
  • Longo prazo ($M_{longo}$): Quando $M_{médio}$ transborda, os quadros movem-se para aqui via Seleção Semântica Espacial. Isso trata a cobertura espacial como uma restrição rígida, classificando tokens por suas pontuações semânticas para reter um subconjunto disperso, mas semanticamente ordenado.
  • Aplicação de Orçamento Global: Uma etapa de Esquecimento Seletivo garante que a contagem total de tokens nunca exceda $B$. Se excedida, os tokens com menor pontuação em $M_{longo}$ são expulsos.

Etapa 2: Recuperação Adaptativa de Memória (Consciente à Consulta)

Ao receber uma consulta do usuário $q$ no tempo $T$, o sistema recupera quadros relevantes da memória congelada.

• Portão de Recência Condicionado por Âncora: O sistema verifica primeiro se a consulta visa o passado imediato. Ele calcula a afinidade entre $q$ e a âncora de curto prazo ($M_{curto}$). Se essa afinidade for alta (relativa a uma média móvel), o sistema retorna $M_{curto}$ diretamente, contornando os níveis mais antigos. Este portão adapta-se por consulta com base na distribuição de afinidade específica do vídeo.
• Interação Tardia Consciente à Consulta: Se a consulta exigir contexto histórico, o sistema calcula uma pontuação de interação tardia estilo ColBERT entre a consulta e os tokens em $M_{médio} \cup M_{longo}$. A pontuação para um quadro é a média das máximas similaridades de cosseno entre seus tokens e os tokens da consulta.
• Recuperação Adaptativa: Os quadros são classificados por esta pontuação. O número de quadros recuperados ($K$) adapta-se à dispersão da pontuação: pontuações agrupadas estreitamente (evidência difusa) resultam na recuperação de mais quadros, enquanto pontuações bem separadas acionam filtragem agressiva. O conjunto final inclui sempre $M_{curto}$ mais os quadros históricos melhor classificados.

Contribuições Principais

1. Framework de Duas Etapas: Uma arquitetura sem treinamento que separa a compressão consciente semântica da recuperação consciente à consulta, permitindo que as duas etapas sejam coordenadas via um mecanismo de pontuação compartilhado (MaxSim) sem treinamento conjunto.
2. Compressão Consciente Semântica: A introdução de um banco de perguntas pseudo para guiar a retenção de longo prazo baseada na saliência semântica e não apenas na similaridade visual, garantindo que tokens informativos sejam preservados mesmo se forem visualmente redundantes.
3. Escopo de Recuperação Adaptativo: Um portão de recência condicionado por âncora que ajusta dinamicamente o escopo de recuperação (curto prazo vs. longo prazo) com base se a consulta visa o presente ou o passado distante.
4. Eficiência: O método alcança crescimento de tokens sublinear e uso de memória de pico de GPU quase plano em relação ao comprimento do vídeo, transformando o processamento de vídeos longos em um problema limitado por orçamento.

Resultados Experimentais

O SAVEMem foi avaliado no OVO-Bench, StreamingBench e ODV-Bench usando o backbone Qwen2.5-VL (3B e 7B parâmetros) sem qualquer treinamento.

• OVO-Bench:
  • No backbone Qwen2.5-VL-7B, o SAVEMem melhorou a pontuação geral de 52,27 para 62,69, superando métodos recentes sem treinamento (por exemplo, FluxMem, HERMES) e abordagens competitivas baseadas em treinamento (por exemplo, ViSpeak).
  • Ganhos significativos foram observados em Percepção Visual em Tempo Real (+10,41 pontos) e Rastreamento Reverso (+10,41 pontos).
  • O método mostrou força particular em tarefas que exigem detalhes visuais finos (OCR, STU, ACR) e detecção de alucinações.
• StreamingBench & ODV-Bench:
  • Melhorias consistentes foram observadas em ambos os backbones. No modelo 7B, a pontuação Estática do ODV-Bench melhorou em 8,7 pontos (de 48,3 para 57,0).
• Eficiência:
  • Em 128 quadros, o SAVEMem reduziu o uso de memória de pico de GPU em 48% em comparação com o backbone (18,5 GB vs. 35,8 GB), mantendo crescimento de tokens sublinear.

Significado e Alegações

O artigo alega que desacoplar a compressão semântica agnóstica à consulta da recuperação adaptativa consciente à consulta é uma direção prática para escalar a compreensão de vídeo em streaming sem a necessidade de treinamento. Ao injetar sinais semânticos na fase de compressão e adaptar o escopo de recuperação por consulta, o SAVEMem aborda o "compromisso percepção-memória" inerente ao streaming. Os autores enfatizam que sua abordagem permite que modelos lidem com fluxos ilimitados em GPUs comerciais, impondo um orçamento de memória constante enquanto retêm informações semanticamente críticas.

Os autores reconhecem limitações, observando que o método é inerentemente sensível ao compromisso entre recuperação seletiva e cobertura total para tarefas que exigem varredura temporal exaustiva (por exemplo, contagem). Eles também notam que o banco de perguntas pseudo é atualmente genérico e não adaptado a domínios, e que o design sem treinamento impede a otimização conjunta das duas etapas.