ENTER: Event Based Interpretable Reasoning for VideoQA

1. O Problema

O VideoQA (Resposta a Perguntas sobre Vídeo) é uma tarefa complexa que exige a identificação de objetos, ações e eventos, bem como a compreensão de suas relações temporais e causais ao longo do tempo. Embora os modelos existentes de ponta (State-of-the-Art) tenham alto desempenho, eles geralmente sofrem de duas limitações principais:

• Abordagens "Top-Down" (Modulares): Geram planos de raciocínio baseados apenas na pergunta, ignorando informações visuais de baixo nível durante a geração do plano. Isso torna o sistema frágil; se o plano inicial não capturar pistas visuais cruciais, o sistema não consegue corrigir o erro.
• Abordagens "Bottom-Up": Processam diretamente os dados visuais (quadros) para gerar respostas. Embora sejam robustas e contextuais, elas operam como "caixas-pretas", carecendo de interpretabilidade e transparência no processo de decisão.

O desafio central é criar um sistema que seja simultaneamente altamente interpretável (explicável) e robusto (capaz de utilizar informações visuais contextuais para lidar com falhas iniciais).

2. Metodologia: ENTER

O ENTER (Event Based Interpretable Reasoning) propõe uma abordagem intermediária que combina a interpretabilidade do raciocínio modular com a consciência contextual dos métodos bottom-up. O núcleo do sistema é a representação de vídeos através de Grafos de Eventos e a geração de código executável.

O pipeline do ENTER funciona em três etapas principais:

A. Geração de Grafos de Eventos (Event Graphs)

Em vez de processar quadros brutos ou apenas legendas soltas, o vídeo é convertido em uma representação gráfica estruturada:

1. Legendas Estruturadas: Um Modelo de Linguagem Visual (VLM) gera descrições detalhadas do vídeo, focando na coerência de entidades e relações (temporais, causais e hierárquicas).
2. Construção do Grafo: Um LLM extrai eventos (nós) e suas relações (arestas) das legendas.
   • Nós: Representam eventos (ex: "homem correndo").
   • Arestas: Capturam relações temporais ("depois de"), causais ("causou") e hierárquicas ("contém").
   • Referência Consistente: O sistema garante que entidades sejam nomeadas consistentemente ao longo do vídeo para evitar erros de contagem ou referência.

B. Geração e Execução de Código

Para responder a uma pergunta:

1. O grafo de eventos e a pergunta são inseridos em um LLM (Reasoner).
2. O LLM gera código Python que atua como um plano de raciocínio. Este código utiliza uma API definida para navegar no grafo (ex: find_node, get_temporal_before, get_caused_by).
3. O código é executado por um interpretador Python. O resultado da execução fornece informações estruturadas que são usadas para selecionar a resposta final.
   • Vantagem: Isso torna o processo de raciocínio transparente e verificável, pois o "pensamento" do modelo é o próprio código executado.

C. Atualização Hierárquica Iterativa (Self-Correction)

Se o grafo inicial ou o código gerado não tiverem informações suficientes para responder à pergunta, o ENTER executa um processo de auto-correção em camadas, priorizando o custo computacional:

1. Grafo Mais Denso: Tenta reprocessar as legendas existentes para extrair mais detalhes do grafo atual.
2. Legendas Mais Densas: Se o grafo ainda for insuficiente, o sistema solicita ao VLM que gere novas legendas mais detalhadas sobre o vídeo, focando nas informações faltantes.
3. Incorporação Multimodal: Como último recurso (caso as legendas ainda não sejam suficientes), o sistema recupera clipes de vídeo relevantes e cria arestas multimodais no grafo, permitindo que um modelo visão-linguagem responda diretamente a essas partes específicas.

3. Contribuições Principais

• Interpretabilidade via Código: Diferente de modelos de caixa-preta, o ENTER gera código Python executável que demonstra explicitamente como a resposta foi derivada do grafo de eventos.
• Representação Intermediária (Grafos de Eventos): Propõe que grafos de eventos são superiores a grafos de cena (scene graphs) para tarefas de VideoQA, pois capturam explicitamente relações de alto nível (causa, tempo, hierarquia) essenciais para o raciocínio lógico.
• Robustez através de Atualização Iterativa: O mecanismo de atualização hierárquica permite que o sistema corrija falhas iniciais de percepção ou legendagem, recuperando informações visuais apenas quando necessário, equilibrando eficiência e precisão.
• Integração Multimodal Seletiva: O sistema só recorre a dados visuais brutos (multimodal) quando a representação textual do grafo falha, otimizando o uso de recursos computacionais.

4. Resultados Experimentais

O ENTER foi avaliado em quatro conjuntos de dados principais: NExT-QA, IntentQA, NExT-GQA e STAR.

• Desempenho Geral: O método superou a maioria das abordagens top-down e modulares existentes. Em NExT-QA, superou o melhor método modular anterior (MoReVQA) em 16,6% em perguntas causais.
• Competitividade com Bottom-Up: O ENTER alcançou desempenho competitivo (e em alguns casos superior) em relação a métodos bottom-up que não são interpretáveis, como o VideoTree.
• Grounding (Ancoragem): No conjunto NExT-GQA, que exige que o modelo forneça evidências temporais (timestamps), o ENTER obteve resultados SOTA (State-of-the-Art), superando os concorrentes em métricas de intersecção sobre união (IoU).
• Robustez ao Reasoner: O sistema manteve alto desempenho mesmo quando o LLM "reasoner" foi trocado por modelos de código aberto (como Llama 3), demonstrando que a arquitetura do ENTER é menos dependente da qualidade específica do modelo de linguagem em comparação com outros métodos.
• Interpretabilidade: Estudos qualitativos mostraram que, quando o ENTER responde corretamente, a cadeia de raciocínio (código) é válida e compreensível em mais de 88% dos casos.

5. Significado e Impacto

O ENTER representa um avanço significativo na área de VideoQA ao resolver o dilema entre desempenho e explicabilidade.

• Confiança e Depuração: Por ser baseado em código e grafos estruturados, é possível diagnosticar exatamente onde o sistema falhou (ex: "falta de conhecimento", "referência inconsistente" ou "informação perdida"), permitindo correções direcionadas.
• Aplicações de Alto Risco: A transparência do processo de decisão torna o sistema adequado para cenários onde a supervisão humana e a explicabilidade são críticas (ex: análise médica, forense ou segurança).
• Eficiência Cognitiva: A abordagem demonstra que é possível obter raciocínio complexo e robusto sem depender exclusivamente de processamento visual massivo em cada etapa, utilizando representações estruturadas intermediárias para guiar a busca por informações.

Em resumo, o ENTER estabelece um novo paradigma para VideoQA, onde a transparência não é um compromisso com a precisão, mas sim um componente fundamental que melhora a robustez e a confiabilidade do sistema.