Resumo Técnico: Observar, Lembrar, Raciocinar: Compreensão de Vídeo com Visão Humana via MLLMs

1. Definição do Problema

O campo da compreensão de vídeo está passando por uma mudança de paradigma impulsionada pelos Modelos de Linguagem de Grande Escala Multimodais (MLLMs). Enquanto os primeiros modelos de vídeo focavam em clipes curtos e tarefas de percepção isoladas, a pesquisa atual está se movendo em direção à compreensão de longo horizonte, onde as entradas variam de minutos a horas. Essa mudança introduz uma tensão fundamental entre redundância (vídeos longos contêm muitos quadros repetitivos) e escassez de evidência (evidências decisivas são frequentemente breves, distantes ou dispersas).

As abordagens existentes frequentemente tratam as tarefas de vídeo como benchmarks isolados, falhando em abordar os requisitos sistêmicos de cenários do mundo real, como filmes, transmissões esportivas e procedimentos médicos. Esses cenários exigem modelos que possam:

• Selecionar momentos úteis de forma seletiva sob orçamentos computacionais limitados.
• Preservar informações salientes além de janelas de contexto finitas.
• Realizar o raciocínio fiel ao conectar respostas a evidências espaço-temporais explícitas.
• Lidar com sinais multimodais assíncronos (visuais, áudio, texto).

As pesquisas atuais carecem de um framework unificado que integre percepção, memória e raciocínio para sistemas de MLLM de vídeo longo, focando frequentemente apenas em tarefas, técnicas ou paradigmas de treinamento específicos.

2. Metodologia: A Taxonomia da "Visão Humana"

Este artigo propõe um framework unificado para analisar sistemas de compreensão de vídeo baseados em uma perspectiva de visão humana, decompondo o processo em três habilidades funcionais principais: Observar, Lembrar e Raciocinar.

2.1 Formulação Unificada

Os autores formalizam um sistema de compreensão de vídeo $F_{VU}$ como uma sequência de módulos funcionais:

1. Observar ($F_{watch}$): Extrai evidências perceptivas relevantes para a tarefa ($Z$) de fluxos multimodais ($V, A, T$) condicionadas a uma consulta ($q$). Isso envolve fundamentação espaço-temporal, seleção de quadros consciente da consulta e alinhamento cross-modal.
2. Lembrar ($F_{remember}$): Atualiza o estado de memória ($m_t$) ao longo do tempo, acumulando evidências úteis e filtrando a redundância. Isso faz a ponte entre o contexto de curto prazo e a memória de longo prazo ($M$).
3. Raciocinar ($F_{reason}$): Opera sobre a evidência perceptiva e a memória para produzir um traço de raciocínio ($R$), que pode incluir passos textuais, carimbos de tempo (timestamps) fundamentados ou ações de uso de ferramentas.
4. Saída ($F_{out}$): Gera a predição final ($O$) com base no estado integrado.

O sistema é tipicamente realizado dentro de um MLLM autorregressivo, treinado via Ajuste Fino Supervisionado (SFT) ou técnicas de Aprendizado por Reforço (RL) como a Otimização de Política Relativa de Grupo (GRPO).

2.2 Taxonomia de Métodos

O levantamento organiza métodos representativos de acordo com estas três habilidades funcionais:

• Observar (Percepção):

  • Granularidade fina: Foca na fundamentação espaço-temporal precisa (ex: TimeChat, LITA) e rastreamento de objetos.
  • Abrangente: Cobre legendagem de vídeo completo, legendagem densa de vídeo e descrições ao nível de região.
  • Áudio-Visual: Integra sinais auditivos para percepção omnimodal (ex: Qwen2.5-Omni, LLaMA-Omni).
  • Eficiente: Aborda a redundância via seleção de quadros, compressão de tokens e mecanismos de atenção esparsa (ex: AKS, Video-XL-2).

• Lembrar (Memória):

  • Memória Offline: Dividida em Agêntica (LLMs invocam ferramentas autonomamente para construir/recuperar memória, ex: VideoAgent) e Não-Agêntica (pipelines determinísticos usando compressão e armazenamento estruturado, ex: MovieChat, LongVU).
  • Memória de Streaming: Lida com fluxos de vídeo ilimitados via janelas deslizantes, otimização de cache KV e bancos de memória hierárquicos (ex: Flash-VStream, StreamMem).

• Raciocinar (Inferência):

  • Raciocínio apenas de Texto: Modelos geram traços de pensamento intermediários puramente em linguagem. As abordagens incluem Agênticas (planejamento iterativo e uso de ferramentas, ex: DoraemonGPT) e Não-Agênticas (pós-treinamento com RL ou supervisão de CoT, ex: Video-R1).
  • Raciocinar com Vídeos: Modelos intercalam o raciocínio com fundamentação visual explícita (ex: rever, dar zoom, caixas delimitadoras). Isso inclui abordagens Agênticas (usando ferramentas para inspecionar evidências, ex: VITAL) e abordas Não-Agênticas (gerando saídas estruturadas com timestamps/caixas, ex: Open-o3-Video).

3. Principais Contribuições

O artigo apresenta três contribuições primárias para o campo:

1. Taxonomia de Visão Humana: Introduz um framework coerente "Observar–Lembrar–Raciocinar" que conecta diversos métodos de MLLM de vídeo, esclarecendo seus papéis funcionais em vez de agrupá-los por tarefas isoladas.
2. Cobertura Abrangente: Fornece uma revisão ampla de técnicas chave na era dos MLLMs, cobrindo especificamente compreensão de vídeo longo, fundamentação de granularidade fina, modelagem de memória, sistemas agênticos, processamento de streaming e raciocínio fundamentado.
3. Resumo Sistemático de Recursos: Consolida conjuntos de dados de treinamento, benchmarks de avaliação e aplicações de domínio específico (egocêntrico, esportes, instrucional, médico, narrativo), oferecendo orientação prática para o desenvolvimento e avaliação de modelos.

4. Resultados e Descobertas

O artigo não apresenta novos resultados experimentais, mas sintetiza o estado da arte através de sua taxonomia. As principais descobertas incluem:

• Mudança de Paradigma: O campo está se movendo da simples compressão de entrada e geração de respostas para memória estruturada, sistemas de streaming e raciocínio baseado em evidências.
• Eficácia do RL: O aprendizado por reforço (particularmente GRPO e otimização de preferência) provou ser eficaz para melhorar a fundamentação temporal, reduzir alucinações e incentivar traços de raciocínio fiéis.
• Desafios de Memória: Embora os métodos de memória offline estejam amadurecendo, a memória de streaming continua sendo um desafio crítico para lidar com entradas ilimitadas com latência e orçamentos de memória constantes.
• Fidelidade do Raciocínio: Abordagens de "raciocinar com vídeos" (intercalando evidência visual com raciocínio) mostram desempenho superior na redução de alucinações em comparação ao raciocínio apenas de texto, embora muitas vezes incorram em custos computacionais mais altos.
• Especificidade de Domínio: Diferentes domínios impõem restrições únicas. Por exemplo, vídeos médicos exigem contexto procedimental global e evidência anatômica local, enquanto vídeos esportivos demandam localização temporal precisa de ações rápidas.

5. Significância e Direções Futuras

O artigo argumenta que a perspectiva de "visão humana" é essencial para entender os papéis funcionais dos métodos e explicar por que percepção, memória e raciocínio devem trabalhar juntos. Ele identifica vários problemas abertos e direções futuras:

• Raciocínio Espacial: Preencher a lacuna entre rastreamento de nível de objeto e compreensão de cena em 3D.
• Fundamentação de Múltiplos Vídeos: Ir além de entradas de clipes únicos para lidar com compilações de destaques e recuperação de múltiplos segmentos.
• Compreensão de Escala de Horas: Desenvolver sistemas de memória estruturados e multinível que possam lidar com momentos raros e decisivos ao longo de horas sem perder dependências de longo alcance.
• Raciocínio Eficiente e Verificável: Equilibrar o custo computacional com a fidelidade, tratando o raciocínio como uma busca de evidências com orçamento definido.
• Vídeo Egocêntrico de Streaming: Criar memória de streaming estatal e orientada a objetivos para assistentes proativos e agentes incorporados (embodied agents).

Os autores concluem que o futuro da inteligência de vídeo reside em sistemas escaláveis, conscientes de memória e fundamentados em evidências, com um esforço contínuo para rastrear trabalhos relacionados através de seu repositório curado.