CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering

Resumo Técnico do CaST-Bench

Declaração do Problema
Os Modelos Visão-Linguagem (VLMs) avançaram significativamente na compreensão de vídeo, mas ainda lutam com o raciocínio causal. Os benchmarks existentes focam principalmente em perguntas descritivas (por exemplo, "qual é a cor da bolsa?") ou localização espaço-temporal direta. Raramente exigem que os modelos identifiquem uma cadeia de evidências interligadas para explicar por que um evento ocorreu. Além disso, os conjuntos de dados atuais frequentemente carecem de evidências detalhadas e fundamentadas (carimbos de tempo específicos e caixas delimitadoras) necessários para avaliar rigorosamente se o raciocínio de um modelo baseia-se em causalidade visual genuína ou em correlações espúrias (confundidores). Essa lacuna limita o desenvolvimento de VLMs transparentes e confiáveis capazes de análise causal profunda.

Metodologia
Para abordar isso, os autores apresentam o CaST-Bench (Benchmark de Raciocínio Espaço-Temporal Fundamentado em Cadeia Causal) e uma suíte de avaliação correspondente.

1. Construção do Conjunto de Dados (Pipeline Colaborativo Humano-IA):

   • Seleção de Vídeo: Os autores selecionaram 1.015 vídeos complexos e naturalistas do conjunto de dados SegmentAnything-Video (SAV), filtrando cenas com múltiplos atores interagindo para garantir ambiguidade espacial e complexidade causal.
   • Descrição de Instância: Um pipeline gera descrições espaço-temporais densas ao nível de instância. VLMs geram primeiro descrições para instâncias rastreadas, que são então validadas e revisadas por especialistas humanos para garantir precisão temporal e eliminar alucinações. Isso resultou em 10.728 descrições dinâmicas de instância de alta qualidade.
   • Geração de QA e Cadeia Causal: Um VLM de última geração atua como um "pensador causal", gerando pares estruturados de Pergunta-Resposta (QA) acoplados a cadeias causais explícitas. As perguntas são categorizadas em quatro tipos: Explicação Causal, Raciocínio Contrafactual, Antecipação Preditiva e Descrição Inferencial.
   • Geração de Distratores: Para evitar que os modelos dependam de vieses linguísticos, o pipeline gera três tipos de distratores: baseados em texto (plausíveis, mas incorretos baseados apenas na linguagem), baseados em vídeo (instâncias visuais causalmente irrelevantes) e opções "quase-acerto" (variações sutis da resposta correta).
   • Filtragem: Um processo rigoroso de filtragem em três etapas garante a qualidade: (1) filtragem apenas de texto para remover perguntas solucionáveis sem vídeo; (2) filtragem baseada em máscara, onde as regiões de evidência causal são escurecidas para verificar que a pergunta não pode ser respondida sem a evidência espaço-temporal específica; e (3) revisão humana. Apenas ~40% dos pares iniciais sobrevivem, resultando em 2.066 pares QA de alta qualidade.

2. Suíte de Avaliação:
   Os autores propõem um quadro de avaliação abrangente que avalia não apenas a correção da resposta, mas a qualidade do processo de raciocínio:

   • Métricas de Cadeia Causal Fundamentada:
     • tIoU Correspondente à Instância (IM-tIoU): Mede o alinhamento temporal entre os intervalos de evidência previstos e os intervalos de evidência reais.
     • vIoU Correspondente à Instância (IM-vIoU): Mede o alinhamento espaço-temporal conjunto (sobreposição temporal × IoU espacial das caixas delimitadoras).
   • Métricas de Fielidade da Resposta:
     • Taxa de Resposta Fiel (F): A taxa de respostas corretas apoiadas por evidências bem fundamentadas.
     • Taxa de Resposta Espúria (S): A taxa de respostas corretas derivadas de fundamentação pobre ou irrelevante.
   • Avaliação de Resposta Aberta: Um quadro de avaliação com LLM como juiz avalia a consistência lógica, a cobertura de evidências e a qualidade geral da justificação.

Principais Contribuições

• Definição de Tarefa: O artigo define uma nova tarefa: Raciocínio Espaço-Temporal Fundamentado em Cadeia Causal, exigindo que os modelos busquem e localizem ativamente uma cadeia de causa (evidência anterior) e efeito (evidência de resultado) para responder a perguntas.
• Benchmark (CaST-Bench): O primeiro benchmark que fornece cadeias causais espaço-temporais detalhadas (carimbos de tempo e caixas delimitadoras) para 2.066 perguntas em 1.015 vídeos, cobrindo diversos cenários do mundo real.
• Suíte de Avaliação: Um conjunto novo de métricas (IM-tIoU, IM-vIoU, Taxas Fiel/Espúria) projetado para avaliar a transparência e a fundamentação do raciocínio causal, distinguindo entre respostas corretas derivadas de evidências versus aquelas derivadas de vieses.

Resultados Experimentais
Os autores avaliaram 15 VLMs representativos (incluindo modelos proprietários como Gemini-2.5-Pro e GPT-5, e modelos de código aberto como Qwen3-VL e InternVL) contra baselines humanas.

• Lacuna de Desempenho: Os VLMs atuais lutam significativamente. Anotadores humanos alcançam 91,89% de precisão, enquanto o melhor modelo proprietário (Gemini-2.5-Pro) pontua 50,34%, e o melhor modelo de código aberto (Qwen3-VL-4B) pontua 45,30%.
• Falha de Fundamentação: Apesar de uma precisão moderada de resposta, os modelos performam mal na fundamentação. As pontuações IM-vIoU são extremamente baixas (por exemplo, 2,46% para o Gemini-2.5-Pro), indicando que os modelos raramente identificam a evidência visual correta.
• Fielidade versus Espúriedade: Uma alta "Taxa de Resposta Espúria" (30–45%) indica que muitas respostas corretas são palpites afortunados ou baseados em pistas irrelevantes, em vez de cadeias causais.
• Estudos de Ablação: Fornecer cadeias causais reais melhora a precisão em 20–25 pontos, destacando que o gargalo é a construção de cadeias causais precisas, e não apenas o raciocínio em si. Variantes "pensantes" dos modelos não superam consistentemente as variantes "instruídas", sugerindo que traços de raciocínio textual explícito não melhoram automaticamente a fundamentação visual.

Significado e Alegações
O artigo alega que o CaST-Bench aborda uma lacuna crítica na compreensão de vídeo, deslocando o foco da percepção de nível superficial para o raciocínio causal profundo e fundamentado. Os autores argumentam que:

1. Transparência: A imposição de fundamentação de evidência visual torna os VLMs mais transparentes e confiáveis, permitindo que os usuários distingam entre compreensão genuína e dependência de correlações espúrias.
2. Valor Diagnóstico: O benchmark serve como uma ferramenta diagnóstica rigorosa, revelando que os modelos atuais falham principalmente porque não conseguem construir cadeias causais precisas e fundamentadas, e não por falta de capacidade geral de raciocínio.
3. Direção Futura: Os resultados sugerem que melhorar os VLMs futuros requer um foco específico na capacidade de localizar, alinhar e encadear evidências espaço-temporais, em vez de simplesmente escalar o tamanho do modelo ou adicionar módulos genéricos de "pensamento".

Os autores mantêm um tom modesto, reconhecendo limitações como a escalabilidade de seu pipeline humano-IA e vieses potenciais herdados do conjunto de dados SAV de origem, ao mesmo tempo em que enfatizam que o benchmark fornece uma base necessária para o desenvolvimento de sistemas de IA multimodal mais robustos e interpretáveis.