SagaQA: A Multi-hop Reasoning Benchmark for Long-form Narrative Understanding in TV Series

Resumo Técnico do SAGAQA: Um Benchmark de Raciocínio Multi-hop para Compreensão de Narrativas de Longa Duração em Séries de TV

Definição do Problema
Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram capacidades significativas de percepção visual de curto prazo e raciocínio causal dentro de clipes de vídeo breves. No entanto, existe uma disparidade crítica entre essas capacidades de contexto curto e a capacidade de compreensão narrativa de longo prazo. Os benchmarks existentes focam tipicamente em clipes adjacentes, compreensão de baixo nível ou narrativas de arquivo único, muitas vezes dependendo de estratégias de recuperação que isolam quadros-chave. Essas abordagens falham em abordar a complexidade de séries de TV de longa duração, onde a compreensão exige conectar eventos díspares, arcos de personagens e pistas multimodais através de janelas temporais estendidas (por exemplo, 20 horas de vídeo). Há uma carência de benchmarks que exijam o raciocínio "big-hop" para sintetizar informações de episódios completamente diferentes dentro de uma cadeia narrativa coerente.

Metodologia
Para abordar essa lacuna, os autores introduzem o SAGAQA, um benchmark projetado especificamente para o raciocínio narrativo multi-hop sobre séries de TV de longa duração.

• Construção do Dataset: O SAGAQA consiste em 200 pares de pergunta-resposta (QA) derivados da novela As the World Turns (2007–2010). Cada pergunta visa uma janela de 20 episódios consecutivos (aprox. 20 horas de vídeo). O pipeline de geração do dataset utiliza o dataset SummScreen3D, empregando um processo iterativo onde um LLM (Gemini 2.5 Flash) gera pares de QA sintéticos baseados em resumos de episódios.
• Restrições Principais: O dataset impõe três critérios rigorosos:
  1. Multi-Episódio: As respostas não podem ser derivadas de um único episódio.
  2. Multi-Hop: As perguntas exigem uma série de etapas de raciocínio dependentes (média de 4,2 hops) para conectar informações através de diferentes episódios.
  3. Multi-Modal: As respostas exigem a análise de elementos visuais e diálogos; o diálogo sozinho é insuficiente.
• Estrutura de Avaliação: Os autores avaliam estratégias de planejamento de vídeo existentes e novas, categorizando-as em três classes:
  • Planejadores Paralelos (Parallel Planners): Decompõem uma pergunta composta em subperguntas independentes executadas simultaneamente.
  • Planejadores Sequenciais (Sequential Planners): Respondem a perguntas através de uma sequência passo a passo, refinando as consultas com base em saídas anteriores.
  • Planejadores Híbridos (Hybrid Planners): Uma abordagem inovadora que combina ambas as estratégias. O agente seleciona ações (ex: BREAKDOWN ou MOVE_ON), mas executa múltiplas consultas independentes em paralelo durante a fase de BREAKDOWN, visando equilibrar a exploração ampla com o raciocínio profundo.
• Implementação: Os experimentos utilizam o framework VideoRAG para recuperação, com o planejamento e a geração de respostas sendo gerenciados por LLMs como Qwen3-30B-Instruct e Mistral-Small-3.1-24B.

Resultados Principais
A avaliação no SAGAQA revela características de desempenho distintas entre as estratégias de planejamento:

• Superioridade Híbrida: Planejadores híbridos superam consistentemente os planejadores puramente paralelos ou sequenciais, particularmente em métricas de Fundamentação de Episódio (Precisão, Recall, F1). A abordagem Híbrida alcança um F1 score de 41,02 (comparado a ~32-34 para os outros), indicando uma capacidade superior de identificar o conjunto correto de episódios necessários para responder a uma pergunta.
• Trade-off Exploração-Explotação: Os resultados destacam um trade-off sistemático. Planejadores paralelos oferecem cobertura ampla, mas carecem da profundidade para cadeias causais complexas. Planejadores sequenciais são excelentes no refinamento, mas sofrem de "deriva de raciocínio" (reasoning drift), frequentemente ficando presos em loops repetitivos ou falhando em explorar caminhos narrativos alternativos. Planejadores híbridos mitigam essas limitações usando execução paralela para exploração e lógica sequencial para gerenciamento de dependências.
• Necessidade Multimodal: Substituir o VideoRAG pelo TextRAG (usando apenas legendas) resulta em uma queda significativa nas métricas de fundamentação de episódio, confirmando que a informação visual é essencial para responder às perguntas do SAGAQA.
• Gargalo de Síntese: Embora os planejadores híbridos melhorem a precisão da recuperação, as métricas abstrativas (ROUGE, METEOR) permanecem relativamente estagnadas em todos os métodos. Isso sugere que o principal gargalo não está na recuperação de segmentos de vídeo relevantes, mas em sintetizar e agregar efetivamente essa evidência em uma resposta coerente e de alta qualidade.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Benchmark SAGAQA: Introduz um novo dataset que preenche a lacuna entre a percepção visual de curto prazo e a compreensão narrativa de episódios completos, desafiando modelos a raciocinar sobre janelas de 20 horas com dependências multi-hop.
2. Análise Estratégica: Analisa sistematicamente as estratégias de planejamento de vídeo, distinguindo formalmente entre planejadores Paralelos, Sequenciais e Híbridos, e demonstrando a eficácia das abordagens híbridas no raciocínio de longa duração.
3. Insights sobre Limitações: O estudo fornece evidências de que, embora os mecanismos de recuperação estejam melhorando, os modelos atuais lutam com a síntese subsequente de evidências através de narrativas estendidas. Sugere que pesquisas futuras devem ir além do raciocínio de trajetória única em direção a estratégias de exploração estruturadas e híbridas (ex: Tree-of-Thought ou planejamento baseado em grafos) para lidar com conteúdo de vídeo complexo e de longa duração.

Os autores mantêm uma postura modesta quanto à generalização, observando que o dataset é construído exclusivamente sobre novelas, que possuem estruturas narrativas específicas (ex: forte continuidade, personagens recorrentes) que podem não se generalizar para outros domínios como documentários ou vídeos instrucionais. Além disso, embora 20 horas seja considerado longa duração, o benchmark ainda não testa a memória ultra-longa que abrange todo o ciclo de vida de uma série de TV.