Structured Causal Video Reasoning via Multi-Objective Alignment

1. O Problema

Os atuais Grandes Modelos de Linguagem e Visão (LVLMs) aplicados a vídeos frequentemente falham em tarefas complexas de compreensão temporal e causal. O problema central identificado pelos autores é a dependência de raciocínio não estruturado (semelhante ao Chain-of-Thought padrão em texto), que apresenta as seguintes limitações:

• Redundância e Ruído: Em vídeos, o raciocínio não estruturado tende a gerar narrativas verbosas e não lineares, onde pistas visuais críticas são afogadas em tokens irrelevantes.
• Fragilidade Causal: A causalidade temporal é frequentemente mal modelada, levando a modelos que recuperam quadros isolados em vez de analisar relações de causa e efeito entre eventos.
• Ineficiência no Treinamento por Reforço (RL): Ao tentar otimizar modelos para tarefas de vídeo usando RL (como GRPO - Group Relative Policy Optimization), surgem conflitos entre objetivos concorrentes: a necessidade de extrair fatos estruturados densos versus a restrição de comprimento de tokens (eficiência). Otimizadores padrão falham em equilibrar esses trade-offs, resultando em instabilidade no treinamento e gradientes ambíguos.

2. Metodologia

Os autores propõem uma abordagem "Structure-First" (Estrutura Primeiro), que introduz uma representação compacta de eventos antes do processo de raciocínio propriamente dito. A metodologia é dividida em quatro componentes principais:

A. Representação: Fatos de Eventos Estruturados (Structured Event Facts)

Antes de responder a uma pergunta, o modelo é forçado a gerar um esquema denso contendo:

• Fatos: Tempo, pessoa, ação humana, cena, objeto, câmera e uma legenda causal do evento.
• Pensamento (Thinking): Um processo de raciocínio estritamente restrito por esses fatos, dividido em três etapas:
  1. Busca Global e Localização: Identificar janelas de tempo relevantes nos fatos extraídos.
  2. Verificação Causal: Validar a localização analisando eventos antecedentes e consequentes para garantir coerência temporal.
  3. Alinhamento Final: Garantir que o intervalo inferido esteja contido na sequência de atividades observada.

B. Pipeline de Treinamento de 4 Estágios

Para ensinar o modelo a operar nesse paradigma, foi desenvolvido um pipeline progressivo:

1. Treinamento de Fatos (Stage 1): O modelo aprende a extrair descrições factuais precisas e estruturadas do vídeo.
2. Aquecimento de Formato (Stage 1.5): O modelo aprende a aderir à estrutura de tags XML (<facts>, <thinking>, <answering>) sem ainda realizar raciocínio complexo, evitando alucinações estruturais.
3. Aquecimento de Pensamento (Stage 2): O modelo é treinado para realizar raciocínio causal baseado nos fatos extraídos, respondendo a perguntas de QA.
4. Pós-treinamento por RL (Stage 3): Alinhamento final usando uma nova técnica de otimização multi-objetivo.

C. Algoritmo P-FAB (Pareto-Frontier guided Advantage Balancing)

Para resolver o conflito de objetivos no estágio de RL (completude estrutural vs. eficiência de tokens), os autores propõem o P-FAB.

• Problema: O GRPO padrão calcula vantagens baseadas em recompensas agregadas, o que pode mascarar conflitos entre objetivos individuais.
• Solução: O P-FAB trata cada componente de recompensa como um objetivo independente. Utilizando o algoritmo Multiple Gradient Descent (MGDA), ele calcula pesos dinâmicos que buscam a Frente de Pareto. Isso permite equilibrar os objetivos sem precisar definir pesos manuais fixos, garantindo que objetivos críticos e raros não sejam suprimidos por objetivos mais fáceis de otimizar.

D. Dados: CausalFact-60K

Foi criado um novo dataset de 60.000 amostras (CausalFact-60K) contendo vídeos filtrados de benchmarks existentes (como ActivityNet e Charades), com anotações de fatos estruturados e trilhas de raciocínio causal geradas por modelos de ponta (Qwen3-VL e Gemini), validadas por humanos.

3. Principais Contribuições

1. Identificação de Limitações: Evidenciou que o Chain-of-Thought não estruturado é inadequado para vídeos devido à redundância espacial-temporal e à falta de ancoragem causal.
2. Novo Paradigma de Dados: Introdução do dataset CausalFact-60K e do formato Structured Event Facts, que serve como um pré-requisito explícito para o raciocínio.
3. Algoritmo de Otimização: Desenvolvimento do P-FAB, um algoritmo de RL que resolve conflitos multi-objetivos dinamicamente através da Frente de Pareto, superando as limitações do GRPO padrão em cenários de vídeo.
4. Modelo Factum-4B: Um modelo de 4 bilhões de parâmetros que, apesar de ser menor que muitos concorrentes, alcança desempenho de ponta (SOTA) em tarefas de compreensão de vídeo.

4. Resultados

O modelo Factum-4B foi avaliado em benchmarks rigorosos de Temporal Grounding (localização temporal) e compreensão geral de vídeo:

• Temporal Grounding: No dataset ActivityNet-Captions, o Factum-4B alcançou 48.4% (R1@0.5) e 28.1% (R1@0.7), superando significativamente modelos de 7B (como Time-R1-7B) e modelos proprietários, operando com uma taxa de quadros mais baixa (1 fps vs 2 fps de outros).
• Compreensão Geral: No VideoMME, alcançou 64.7% de precisão, e no NExT-GQA, 73.6%, superando o modelo base "Thinking" em cerca de 7 pontos absolutos.
• Ablação: Experimentos mostraram que remover os "Fatos" ou o "Pensamento" estruturado causa colapso severo no desempenho, e o uso do P-FAB supera consistentemente o GRPO padrão, especialmente em grupos de amostras maiores (G=8).

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Ponte Cognitiva: Alinha a arquitetura de IA com a cognição humana, que primeiro constrói um esboço mental estruturado de entidades e ações antes de raciocinar abstratamente.
• Eficiência e Precisão: Demonstra que a estruturação explícita de evidências (Fatos) melhora a interpretabilidade e a precisão temporal, reduzindo alucinações e desvios de raciocínio.
• Otimização Multi-Objetivo: O P-FAB oferece uma solução teórica e prática para o problema de equilibrar múltiplas métricas de qualidade em RL para LLMs, um desafio comum que muitas vezes é ignorado ou resolvido de forma heurística.
• Acesso Aberto: O modelo Factum-4B e o dataset CausalFact-60K são recursos abertos que permitem avanços na comunidade de pesquisa em vídeo-LLMs, provando que modelos menores podem superar sistemas maiores se o processo de raciocínio for bem estruturado.

Em resumo, o artigo propõe que a chave para o raciocínio robusto em vídeo não é apenas "pensar mais" (mais tokens), mas "pensar melhor" através de uma estrutura causal explícita e otimizada matematicamente.