LE-NeuS: Latency-Efficient Neuro-Symbolic Video Understanding via Adaptive Temporal Verification

O artigo apresenta o LE-NeuS, um framework neuro-simbólico eficiente em latência para compreensão de vídeos longos que reduz drasticamente o tempo de inferência em comparação com métodos existentes, mantendo ganhos de precisão através de amostragem adaptativa guiada por CLIP e detecção de proposições em lote.

O essencial

Imagine que você tem um filme de 60 minutos e precisa responder a uma pergunta muito específica sobre o que aconteceu no meio dele. Por exemplo: "Depois que o homem descascou os galhos da árvore, para que ele os usou?"

Fazer isso com Inteligência Artificial é como tentar encontrar uma agulha num palheiro, mas o "palheiro" é um vídeo gigante e a "agulha" é um momento específico de ação.

Aqui está a explicação do papel LE-NeuS usando uma linguagem simples e analogias do dia a dia:

O Problema: O Detetive Exausto

Antes desta nova tecnologia, existia um método chamado NeuS-QA. Pense nele como um detetive muito inteligente, mas extremamente lento e metódico.

• Como ele trabalhava: Para responder à pergunta, o detetive olhava cada único quadro do filme, um por um, e perguntava a si mesmo: "Isso é um homem descascando uma árvore? Não. Isso é? Não."
• O resultado: Ele era super preciso (encontrava a resposta certa), mas levava 90 vezes mais tempo do que um método comum. Era como se ele lesse cada letra de um livro de 1.000 páginas para encontrar uma palavra específica. Para vídeos longos, isso levava 16 minutos só para pensar! Ninguém tem paciência para isso.

A Solução: LE-NeuS (O Detetive Inteligente e Rápido)

Os autores criaram o LE-NeuS. Eles mantiveram a inteligência do detetive (que usa lógica formal para garantir que a resposta é correta), mas deram a ele três superpoderes para não ficar cansado:

1. O Filtro de "Semelhança" (A Peneira Mágica)

Em vez de olhar cada quadro, o LE-NeuS usa uma ferramenta chamada CLIP (que é como um "olho" treinado para entender imagens e texto).

• A Analogia: Imagine que você tem um vídeo de um homem na floresta. A maioria dos quadros mostra apenas árvores, céu ou o chão (o "ruído"). O LE-NeuS usa o CLIP para pular instantaneamente todos os quadros que são "chatos" ou repetitivos.
• O Truque: Ele só para para olhar os quadros onde algo mudando acontece. Se o homem está descascando a árvore, o sistema percebe que os quadros anteriores e seguintes são muito parecidos e decide: "Ok, não preciso olhar cada um desses, vou pular para o próximo momento interessante". Isso reduz a quantidade de trabalho em mais de 90%.

2. O Trabalho em Equipe (O "Batch" ou Lote)

No método antigo, o detetive fazia uma pergunta de cada vez para a máquina: "Isso é um galho? (Espera a resposta)... Isso é um machado? (Espera a resposta)...".

• A Analogia: O LE-NeuS é como um chefe de cozinha que não pede um prato de cada vez. Ele pega uma bandeja com 10 ingredientes diferentes e pergunta ao cozinheiro: "O que é isso? E isso? E aquilo?" todos ao mesmo tempo.
• O Resultado: A máquina de vídeo (GPU) trabalha muito mais rápido porque processa várias perguntas de uma só vez, em vez de esperar uma por uma.

3. A Busca por "Pedaços" (Não o Filme Inteiro)

Muitas vezes, a resposta não está em um bloco contínuo de 10 minutos, mas em dois momentos separados: o homem descascando a árvore (minuto 5) e usando a madeira (minuto 45).

• A Analogia: O método antigo tentava assistir a todo o filme do minuto 5 ao 45 sem parar. O LE-NeuS é como alguém que pula direto para os dois momentos chave, assiste a eles com atenção total e ignora o resto. Ele foca apenas nos "pedaços de interesse".

O Resultado Final: Mágica!

Com essas três mudanças, o LE-NeuS conseguiu:

1. Velocidade: Reduzir o tempo de resposta de 16 minutos para cerca de 42 segundos. É como transformar uma viagem de trem lenta em um voo de helicóptero.
2. Precisão: Curiosamente, ao focar apenas no que importa e ignorar o "lixo" visual, o sistema ficou ainda mais inteligente do que antes, acertando mais perguntas difíceis.

Resumo em uma frase

O LE-NeuS é como transformar um detetive que lê cada letra de um livro inteiro em um detetive que usa um scanner rápido para encontrar apenas as páginas importantes, ler tudo de uma vez só e entregar a resposta em segundos, sem perder a precisão.

Isso é crucial para o futuro, pois permite que assistentes de IA funcionem em tempo real em celulares ou câmeras de segurança, em vez de demorar horas para responder a uma pergunta simples.

Resumo técnico

Resumo Técnico: LE-NeuS

1. O Problema

A compreensão de vídeos longos para Resposta a Perguntas (LVQA - Long-Form Video Question Answering) exige a integração de três capacidades: fundamentação semântica, raciocínio temporal e inferência composicional.

• Abordagens Atuais: Métodos baseados puramente em Modelos de Linguagem e Visão (VLMs) lutam com raciocínio de longo horizonte devido a janelas de contexto fixas que forçam a subamostragem agressiva de quadros, perdendo transições temporais cruciais.
• Soluções Neuro-Simbólicas (Estado da Arte): A abordagem NeuS-QA introduziu o uso de lógica temporal e verificação formal de modelos para melhorar a precisão, traduzindo consultas em especificações lógicas e verificando segmentos de vídeo que satisfazem essas condições.
• O Gargalo: Embora a precisão seja superior, os métodos neuro-simbólicos existentes sofrem de uma latência proibitiva. O NeuS-QA é até 90 vezes mais lento que o prompting padrão de VLMs. Isso ocorre porque a construção do autômato (modelo de verificação) requer a detecção sequencial e densa de proposições em quase todos os quadros do vídeo, tornando a implantação em dispositivos de borda ou aplicações sensíveis à latência inviável.

2. Metodologia (LE-NeuS)

O LE-NeuS (Latency-Efficient Neuro-Symbolic) é um framework projetado para preservar os benefícios de precisão do raciocínio guiado por lógica temporal, mas reduzindo drasticamente o custo computacional. A abordagem reestrutura o pipeline em três otimizações principais:

A. Amostragem Adaptativa Guiada por CLIP (Duas Etapas)
Em vez de processar todos os quadros uniformemente, o LE-NeuS explora a redundância visual e a esparsidade semântica dos vídeos longos:

1. Filtragem de Relevância Semântica (Etapa 1): Utiliza embeddings do CLIP (ViT-B/32) para projetar quadros e proposições textuais em um espaço latente comum. Quadros com baixa similaridade com as proposições da consulta são descartados. Apenas quadros acima de um limiar de relevância são mantidos e expandidos temporalmente para preservar o contexto.
2. Eliminação de Redundância Visual (Etapa 2): Dentro dos quadros candidatos, uma segunda passagem compara quadros consecutivos. Quadros visualmente muito similares (redundantes) são descartados, mantendo apenas "quadros-chave" distintos.

• Resultado: O número de quadros submetidos ao VLM pesado é reduzido drasticamente, enquanto as fronteiras temporais críticas são preservadas.

B. Detecção de Proposições em Lote (Batched Proposition Detection)
O NeuS-QA original realiza inferências sequenciais (um par "janela de quadro + proposição" por vez), subutilizando o GPU.

• O LE-NeuS agrupa múltiplas proposições para o mesmo contexto visual em um único lote (batch).
• Como a entrada visual é constante para o lote, o codificador visual é executado uma única vez e os resultados são reutilizados para todas as consultas de texto simultâneas.
• Isso maximiza a utilização do throughput do GPU, amortizando os custos fixos de inferência.

C. Recuperação de Múltiplos Segmentos de Interesse (Multi-Segment FoI)
Diferente de métodos anteriores que buscam apenas o maior segmento contínuo satisfatório, o LE-NeuS recupera uma lista de segmentos disjuntos onde a especificação lógica é válida.

• Isso permite que o VLM final foque apenas nas evidências de alta densidade, ignorando os "vazios" temporais entre eventos, aumentando a probabilidade de amostrar quadros relevantes dentro do orçamento de contexto fixo do modelo.

3. Contribuições Principais

1. Framework LE-NeuS: A primeira solução neuro-simbólica para LVQA que otimiza especificamente a latência sem sacrificar a garantia formal de raciocínio.
2. Análise Teórica de Latência: Derivação de limites superiores de latência como função do comprimento do vídeo, complexidade das proposições e densidade de amostragem, estabelecendo condições matemáticas para a eficiência.
3. Otimizações Principais: Introdução de uma pipeline de amostragem adaptativa hierárquica e inferência em lote para proposições, resolvendo o gargalo de construção de autômato.
4. Desempenho em Borda: Redução da latência de ~90x (em relação ao VLM base) para ~10x, tornando a abordagem viável para cenários mais práticos.

4. Resultados Experimentais

Os experimentos foram realizados nos benchmarks LongVideoBench, Video-MME e MLVU, utilizando GPUs NVIDIA H100.

• Precisão:

  • No LongVideoBench, o LE-NeuS alcançou uma precisão global de 67,10% (usando InternVL2.5-8B), superando o NeuS-QA (61,89%) em 5,21% e os melhores métodos estruturados (como VideoTree) em mais de 16%.
  • Em consultas temporais complexas, a melhoria de precisão foi de aproximadamente 10% em relação às abordagens baseadas apenas em VLM.
  • No Video-MME (categoria de Raciocínio Temporal), alcançou 67,24%, uma melhoria de 12,07% sobre o NeuS-QA.

• Eficiência e Latência:

  • Redução de Latência: O tempo de inferência médio caiu de ~550 segundos (NeuS-QA) para ~42 segundos (LE-NeuS).
  • Speedup Global: Aceleração de 12,53x em relação ao baseline neuro-simbólico.
  • Uso de Quadros: Para vídeos de 60 minutos, o LE-NeuS processou apenas 281 quadros altamente relevantes, contra 1.427 quadros no NeuS-QA.
  • Estudo de Ablação: A combinação de Batching e Amostragem Adaptativa foi responsável pela maior parte da redução de latência, enquanto a estratégia de Múltiplos Segmentos recuperou a precisão perdida pela poda agressiva de quadros.

5. Significado e Impacto

O LE-NeuS representa um avanço crucial na viabilidade de sistemas neuro-simbólicos para vídeo.

• Viabilidade Prática: Ao reduzir a latência de ordens de magnitude, o método torna possível a aplicação de raciocínio temporal formal em cenários que exigem respostas rápidas, como sistemas autônomos, monitoramento de borda e assistentes visuais.
• Equilíbrio Precisão-Latência: Demonstra que não é necessário abandonar a verificação formal para ganhar velocidade; otimizações inteligentes na amostragem e no paralelismo podem manter as garantias lógicas enquanto reduzem o custo computacional.
• Escalabilidade: A análise teórica e os resultados empíricos sugerem que a compreensão neuro-simbólica de vídeo pode escalar para vídeos de longa duração (até 1 hora) sem se tornar computacionalmente proibitiva.

Em suma, o LE-NeuS preenche a lacuna entre a alta precisão do raciocínio lógico formal e as restrições de tempo real, estabelecendo um novo padrão para a compreensão de vídeos longos.