Resumo Técnico: StreamOV

Declaração do Problema

O artigo aborda o desafio emergente da compreensão de vídeo omni-streaming, um cenário onde os modelos devem processar sinais áudio-visuais sincronizados em tempo real à medida que chegam, em vez de acessar um vídeo completo offline. Os modelos omni-modais mais avançados atuais são projetados para inferência offline, criando duas incompatibilidades fundamentais em cenários de streaming:

1. Gerenciamento de Memória: Os métodos existentes carecem de mecanismos robustos para gerenciar contextos áudio-visuais em crescimento contínuo ao longo de horizontes longos sem exceder orçamentos computacionais.
2. Interação Proativa: Modelos offline não podem determinar autonomamente quando responder. Eles ou geram respostas para cada consulta (ignorando a necessidade de silêncio) ou dependem de mecanismos ineficientes, como tokens explícitos de <silêncio> (que perturbam distribuições de geração pré-treinadas) ou roteadores externos (que carecem de capacidades profundas de raciocínio multimodal).

Além disso, o campo carece de um benchmark abrangente capaz de avaliar interações áudio-visuais contínuas, multi-turno e online que incluam acionamento proativo de respostas e silêncio intencional.

Metodologia: Framework StreamOV

Os autores propõem o StreamOV, um framework construído sobre um Modelo de Linguagem de Grande Escala Omni-modal (MLLM) projetado para raciocínio online eficiente com memória limitada e acionamento proativo de respostas.

1. Memória Guiada por Evidência Multimodal

Para lidar com o fluxo infinito sob um orçamento de memória fixo, o StreamOV introduz um mecanismo de atualização de Memória de Curto e Longo Prazo impulsionado por uma estratégia de construção de evidências de dupla perspectiva:

• Dinâmicas Agnósticas à Consulta: Captura dinâmicas intrínsecas do fluxo usando mudança visual ($S_v$), saliência de áudio ($S_a$) e co-rajadas áudio-visuais ($S_{cob}$).
• Semânticas Conscientes da Consulta: Mede a relevância entre a consulta atual e o fluxo usando codificadores pré-treinados para pontuações semânticas visual ($S_{qv}$) e de áudio ($S_{qa}$). Um mecanismo de gate refina a relevância de áudio para priorizar segmentos com áudio fisicamente saliente ou eventos sincronizados.
• Roteamento de Evidências: O sistema constrói três tipos de evidências desacopladas: apenas visual, apenas áudio e alinhadas áudio-visuais.
• Atualização de Memória:
  • Memória de Curto Prazo ($M^S_t$): Retém observações densas da janela temporal atual.
  • Memória de Longo Prazo ($M^L_t$): Mantém um conjunto esparsos, de orçamento fixo, de observações informativas selecionadas de todo o histórico com base nas pontuações de evidência.
  • O estado final da memória é a união desses buffers, serializados cronologicamente e alimentados no MLLM congelado.

2. Acionador de Resposta Impulsionado por Estado Oculto

Em vez de depender de roteadores externos ou gerar tokens não semânticos de <silêncio>, o StreamOV emprega um mecanismo de MLLM-como-acionador:

• Mecanismo: O modelo sondea os estados ocultos dos primeiros passos de decodificação (especificamente o estado após o preenchimento prévio, $h_{t,0}$) para prever se deve Responder ou Aguardar.
• Implementação: Um módulo de Gatilho de Atenção Cruzada leve agrega esses estados ocultos para produzir logits de gatilho binários.
• Vantagem: Esta abordagem aproveita a prontidão cognitiva intrínseca do MLLM codificada em seus estados ocultos, evitando a perturbação de distribuições pré-treinadas e as limitações de raciocínio de pequenos modelos auxiliares.

Contribuições Principais

1. SOVBench: O primeiro benchmark abrangente para avaliação omni-modal online, multi-turno. Ele consiste em dois componentes:
   • SOVBench-O: Avalia a compreensão áudio-visual contínua através dos paradigmas Tempo Real, Recordação e Interação Proativa (incluindo proatividade cognitiva onde o modelo deve inferir intenção).
   • SOVBench-T: Um benchmark de classificação binária especificamente para Acionamento de Resposta, testando a capacidade de um modelo de responder quando a evidência está presente e permanecer em silêncio quando ela está ausente.
2. Framework StreamOV: Uma arquitetura inovadora que integra roteamento de evidências multimodais, memória de curto e longo prazo e um gatilho impulsionado por estado oculto para habilitar raciocínio em streaming eficiente.
3. Validação Empírica: Extensos experimentos demonstrando que o StreamOV alcança desempenho de última geração em benchmarks de streaming, offline e apenas visuais.

Resultados Experimentais

Os autores avaliaram o StreamOV (baseado no Qwen3-Omni-30B-A3B com um backbone congelado e um gatilho de 18,9 milhões de parâmetros) contra várias linhas de base, incluindo modelos Qwen offline, modelos de streaming online (por exemplo, ROMA, Flash-VStream) e modelos de código fechado (Gemini).

• Desempenho no SOVBench: O StreamOV alcançou 81,6% de precisão média no SOVBench-O (Contexto Áudio-Visual) e 83,8% no SOVBench-O (Contexto Áudio-Visual & Contexto de QA), superando a forte linha de base offline Qwen3-Omni-30B (73,7% e 79,9%, respectivamente).
• Acionamento Proativo: No SOVBench-T, o StreamOV alcançou uma pontuação F1 de 90,5, superando significativamente a linha de base Qwen3-Omni com gatilho (81,4) e outros modelos online.
• StreamingBench: O StreamOV melhorou o desempenho em +7,6% sobre o Qwen3-Omni e em +22,5% sobre o ROMA no subconjunto de QA Áudio-Visual.
• Benchmarks Offline: O StreamOV demonstrou desempenho competitivo ou superior em benchmarks offline como Video-Holmes e Daily-Omni, indicando que sua eficácia se estende além de cenários puramente de streaming.
• Estudos de Ablação: Os resultados confirmaram que os componentes Consciente da Consulta, Agnóstico à Consulta e Memória de Longo Prazo são todos essenciais, com o módulo de Memória de Longo Prazo fornecendo o aumento de desempenho mais significativo.

Significado e Alegações

O artigo afirma que o StreamOV preenche a lacuna entre a compreensão omni-modal offline e os requisitos de interações de streaming do mundo real. Ao introduzir um mecanismo para acionamento proativo de respostas sem roteadores externos ou tokens de silêncio, e ao estabelecer o SOVBench como padrão para avaliar raciocínio áudio-visual contínuo e multi-turno, o trabalho fornece um passo fundamental em direção a modelos que podem "ouvir e assistir" continuamente, decidindo quando falar com base na suficiência de evidências. Os autores enfatizam que seu método alcança resultados de última geração enquanto mantém memória limitada e eficiência computacional, tornando-o adequado para aplicações de streaming de longo horizonte.