Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

Resumo Técnico: Percepção Ativa em Vídeo (VAP)

Declaração do Problema
Os Grandes Modelos Visuais-Linguísticos (VLMs) avançaram em tarefas multimodais como a resposta a perguntas sobre vídeos (QA), mas enfrentam obstáculos significativos quando aplicados a vídeos de longa duração. Os autores identificam dois desafios principais:

1. Eficácia dos Quadros: A inferência padrão frequentemente depende de amostragem uniforme (por exemplo, 1 quadro por segundo). Essa abordagem é subótima porque trata todas as regiões do vídeo igualmente, potencialmente selecionando quadros irrelevantes enquanto perde segmentos densos em informação e relevantes para a tarefa. Resultados empíricos mostram que o desempenho frequentemente estabiliza ou até se degrada à medida que o número de quadros amostrados uniformemente aumenta.
2. Eficiência dos Quadros: Processar vídeos longos gera um número proibitivo de tokens (quase quatro milhões para uma única hora), dificultando a implantação prática de VLMs em cenários do mundo real, como direção autônoma ou monitoramento de pacientes.

Soluções existentes frequentemente dependem de raciocínio baseado em agentes iterativos, legendagem de vídeo ou estruturas de dados complexas (por exemplo, grafos ou árvores), o que introduz alta latência, depende da qualidade de modelos intermediários de legendagem ou requer recursos computacionais extensivos.

Metodologia: Percepção Ativa em Vídeo (VAP)
O artigo apresenta a Percepção Ativa em Vídeo (VAP), um método sem treinamento, executado no momento da inferência, projetado para aprimorar tanto a eficácia quanto a eficiência da seleção de quadros para QA em vídeos de longa duração. Inspirado pela teoria da percepção ativa — que postula que agentes inteligentes adquirem dados que diferem de suas expectativas para maximizar o ganho de informação —, o VAP reformula a seleção de quadros-chave como um processo de aquisição de dados guiado por conhecimento prévio do mundo.

O método opera em três etapas principais sem ajuste fino do VLM:

1. Geração de Conhecimento Prévio do Mundo:

   • O VAP utiliza um modelo de geração de vídeo leve e pré-treinado condicionado a texto (especificamente o CogVideoX) para representar conhecimento visual prévio.
   • O sistema recebe um pequeno subconjunto de quadros iniciais amostrados uniformemente (por exemplo, 32 quadros), juntamente com a pergunta do usuário e possíveis respostas, como sinais condicionais.
   • Usando um VAE Causal 3D e um módulo de interpolação de quadros (RIFE), o modelo gera representações latentes da dinâmica inteira do vídeo, prevendo como o vídeo é esperado se desenvolver com base no contexto inicial e na consulta.

2. Aquisição de Dados (Seleção de Quadros):

   • O sistema codifica todos os quadros de vídeo reais no mesmo espaço latente usando o mesmo codificador VAE 3D.
   • Em seguida, compara as representações latentes dos quadros reais com os quadros gerados (esperados).
   • A seleção baseia-se na divergência: quadros onde a dinâmica real do vídeo difere mais significativamente das previsões do modelo de geração são considerados "surpreendentes" e, portanto, mais informativos.
   • O método seleciona os $n$ quadros (por exemplo, 32) com a menor similaridade cosseno em relação às suas contrapartes geradas.

3. Inferência do VLM:

   • Os quadros-chave selecionados são alimentados em um VLM de ponta (por exemplo, GPT-4o, Gemini 1.5 Pro, LLaVA-OV) juntamente com a pergunta e as respostas para realizar a inferência final.
   • Esse processo é agnóstico ao VLM específico utilizado e opera em uma única rodada de seleção, evitando loops iterativos.

Principais Contribuições

• Estrutura sem Treinamento: O VAP não requer ajuste fino de grandes VLMs, tornando-o imediatamente aplicável a modelos existentes.
• Mecanismo de Seleção Inovador: Diferentemente de métodos anteriores que dependem de legendas ou agentes iterativos, o VAP aproveita um modelo generativo para criar um "prior" e seleciona quadros com base na discrepância entre expectativa e realidade.
• Abordagem Unificada: Simplifica o processo de seleção para uma única rodada de comparação, eliminando a necessidade de estruturas de dados complexas ou múltiplas chamadas de LLM.
• Eficiência: Reduz drasticamente a contagem de tokens necessária para a inferência, selecionando apenas os quadros mais relevantes.

Resultados Experimentais
Os autores avaliaram o VAP em cinco conjuntos de dados de referência: EgoSchema, NExT-QA, ActivityNet-QA, IntentQA e CLEVRER.

• Desempenho: O VAP alcançou resultados zero-shot state-of-the-art em todos os conjuntos de dados. Por exemplo, atingiu 68,1% no EgoSchema, 81,4% no NExT-QA e 40,5% no CLEVRER.
• Capacidades de Raciocínio: O VAP demonstrou desempenho superior em tarefas que exigem raciocínio temporal e causal (por exemplo, perguntas explicativas e contrafactuais no CLEVRER), superando baselines como VideoTree e VideoAgent.
• Ganhos de Eficiência:
  • O VAP alcançou esses resultados usando significativamente menos quadros do que as baselines padrão. Por exemplo, no EgoSchema, utilizou 32 quadros em comparação com os 180 quadros padrão (1 fps), resultando em uma melhoria de 5,6× na eficiência de quadros.
  • Em comparações de latência (iso-compute e iso-accuracy), o VAP alcançou acurácia melhor ou comparável com menor latência do que a amostragem padrão do GPT-4o mini.
• Robustez: Experimentos mostraram que o método é robusto ao conjunto específico de quadros iniciais usado para geração e que aumentar o número de quadros selecionados além de 32 produz retornos decrescentes.

Significado e Alegações
O artigo afirma que o VAP demonstra a eficácia empírica de aproveitar os princípios da percepção ativa para melhorar a compreensão de vídeos de longa duração. Ao usar um modelo generativo para codificar conhecimento prévio do mundo e selecionar quadros que divergem dessas expectativas, o método identifica com sucesso momentos pivô (como colisões ou ações específicas) que são cruciais para responder a perguntas complexas.

Os autores destacam que essa abordagem oferece uma estratégia de aquisição de dados mais inteligente para a inferência de VLMs, equilibrando alto desempenho com eficiência computacional. Eles concluem que integrar conhecimento prévio de modelos de difusão é um caminho viável para aprimorar a eficácia e a eficiência dos quadros na QA de vídeos de longa duração, particularmente para tarefas pesadas em raciocínio. O trabalho sugere que avanços futuros em modelos de geração de vídeo poderiam empoderar ainda mais os VLMs com capacidades de raciocínio espaço-temporal mais fortes sobre vídeos muito longos.