NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding

Título: NARRATIVETRACK: Avaliando o Raciocínio Centrado em Entidades para a Compreensão de Narrativas

1. Problema e Motivação

Os Modelos de Linguagem Multimodal (MLLMs) avançaram significativamente na razão visão-linguagem, mas sua capacidade de compreender narrativas temporais em vídeos permanece subexplorada.

• Limitação Atual: A maioria dos benchmarks existentes foca em reconhecimento local (objetos/ações em frames únicos) ou resumos globais de alto nível. Eles frequentemente podem ser resolvidos com pistas visuais estáticas ou priores linguísticos, sem exigir um raciocínio temporal genuíno.
• A Lacuna: A compreensão narrativa exige que o modelo mantenha representações coerentes de quem está fazendo o quê, quando e onde, através de transições de cena e lacunas temporais. Os modelos atuais falham em rastrear a persistência, mudança de estado e desambiguação de entidades ao longo do tempo.
• O Desafio: Existe um trade-off fundamental: modelos de propósito geral têm forte ancoragem perceptiva (reconhecem bem o estático), mas falham na continuidade temporal; modelos especializados em vídeo capturam o contexto temporal, mas frequentemente alucinam detalhes visuais ou perdem a precisão perceptiva.

2. Metodologia

O NARRATIVETRACK é o primeiro benchmark projetado para avaliar a compreensão narrativa através de um raciocínio centrado em entidades e de baixo para cima.

A. Pipeline Automatizado de Extração de Entidades
Para superar a dependência de anotações manuais (custosas e inconsistentes), os autores desenvolveram um pipeline totalmente automatizado que extrai representações de entidades temporalmente fundamentadas diretamente de vídeos brutos:

1. Detecção de Entidades: Uso de um ensemble de modelos de detecção (Detectron2 e Owlv2) com consenso espacial para garantir cobertura completa e não redundante.
2. Rastreamento (Tracking): Identificação de personagens principais através de clustering de embeddings de Re-ID (OSNet) e refinamento com reconhecimento facial e votação majoritária entre múltiplos MLLMs para garantir consistência de identidade.
3. Reconhecimento Contextual: Uso do modelo Gemini-2.5-Pro para inferir atributos dinâmicos para cada trajetória de entidade: Ação, Traje (Outfit) e Cena.

B. Compositional Reasoning Progression (CRP)
O benchmark estrutura a avaliação em três dimensões progressivas de complexidade (CRP), testando capacidades distintas:

1. Existência da Entidade (Entity Existence): Avalia a continuidade temporal básica. O modelo deve rastrear se uma entidade aparece, desaparece e reaparece corretamente.
2. Mudanças na Entidade (Entity Changes): Avalia a integração de continuidade temporal e ancoragem perceptiva. Subdivide-se em:
   • Mudanças de Ação (evolução temporal de eventos).
   • Mudanças de Traje (transições visuais finas).
   • Mudanças de Cena (contexto espacial).
3. Ambiguidade da Entidade (Entity Ambiguity): Introduz entidades visualmente similares para testar a desambiguação perceptiva fina sob dinâmica temporal. O modelo deve distinguir o alvo de outros indivíduos com aparência similar.

C. Geração de Perguntas e Respostas (QA)

• As perguntas são geradas programaticamente a partir dos metadados estruturados do pipeline.
• Formatos: Binário, Múltipla Escolha e Ordenação (cronológica).
• Distratores: Incluem "Distratores Reais" (outras entidades no mesmo vídeo) e "Distratores Sintéticos" (entidades de vídeos diferentes) para testar robustez contra alucinações.
• Viés Temporal: As perguntas cobrem raciocínio "forward" (início $\to$ fim), "backward" (fim $\to$ início) e "agnóstico" (ponto médio $\to$ início/fim).

3. Principais Contribuições

1. Novo Benchmark (NARRATIVETRACK): Um conjunto de dados escalável com 1.006 pares de perguntas e respostas derivados de 406 clipes de vídeo, focado exclusivamente em rastreamento de entidades humanas e suas evoluções.
2. Pipeline de Anotação Automatizado: Uma metodologia robusta para criar anotações ricas e temporalmente alinhadas sem supervisão humana direta, permitindo a construção de benchmarks de longa duração.
3. Framework de Diagnóstico (CRP): A introdução da Progressão de Raciocínio Compositivo permite diagnosticar exatamente onde os modelos falham (se é falta de continuidade temporal, ancoragem perceptiva fraca ou confusão entre entidades).
4. Descoberta de Trade-offs Fundamentais: Evidência empírica de que a compreensão narrativa emerge apenas da integração de raciocínio temporal e precisão perceptiva, algo que os modelos atuais não conseguem fazer simultaneamente.

4. Resultados Experimentais

Os autores avaliaram 12 modelos open-source (gerais e especializados em vídeo) e 1 modelo proprietário (GPT-4o).

• Desempenho Geral: O GPT-4o obteve a melhor precisão média (72,27%), mas ainda com limitações significativas. Modelos open-source tiveram desempenho inferior (ex: Qwen-2.5-VL-32B: 56,90% vs. Video-LLaMA2-72B: 49,70%).
• Trade-off Percepção vs. Tempo:
  • MLLMs de Propósito Geral: Excelentes em ancoragem perceptiva (reconhecer roupas, ações estáticas), mas falham em manter consistência temporal (muitas vezes acham que entidades desaparecidas ainda estão presentes).
  • MLLMs Especializados em Vídeo: Capturam melhor a continuidade temporal, mas sofrem com alucinações visuais e falham em desambiguar entidades com aparência similar.
• Viés Direcional Temporal: Todos os modelos apresentaram um viés forte para raciocínio "forward" (início para fim). O desempenho cai drasticamente em raciocínio "backward" (fim para início) e "agnóstico", sugerindo que os modelos codizam relações temporais de forma unidirecional (herdado da arquitetura de LLMs), sem capacidade de "retrair" a narrativa.
• Impacto da Densidade de Frames: Aumentar o número de frames de entrada (ex: de 20 para 128) não melhora o desempenho e, em alguns casos, piora. Isso indica que o gargalo não é a quantidade de dados temporais, mas a capacidade do modelo de integrar e manter a coerência da entidade entre esses frames.
• Falhas Qualitativas: Os modelos frequentemente superestimam a continuidade (acham que uma entidade que apareceu brevemente no início está presente o tempo todo) e confundem identidades em cenários de ambiguidade.

5. Significado e Conclusão

O NARRATIVETRACK demonstra que a compreensão narrativa profunda é uma capacidade composicional que ainda está fora do alcance dos MLLMs atuais.

• Diagnóstico: O estudo revela que escalar o tamanho do modelo ou aumentar a densidade de frames não resolve o problema de rastreamento de entidades.
• Direção Futura: Para avançar, são necessárias inovações arquitetônicas que integrem explicitamente a modelagem temporal bidirecional e objetivos de treinamento centrados em entidades, permitindo que os modelos não apenas "vejam" o vídeo, mas construam e mantenham um modelo mental coerente da história e dos seus atores ao longo do tempo.

Em resumo, o trabalho estabelece um novo padrão para avaliar a inteligência temporal em IA, mostrando que, embora os modelos sejam bons em "ver", eles ainda são fracos em "entender a história" que se desenrola no tempo.