Resumo Técnico: Aprendizado de Sensibilidade Espaço-Temporal em LLMs de Vídeo via Aprendizado por Reforço Contrafactual

1. Declaração do Problema

Modelos de Linguagem de Vídeo de Grande Escala (Video LLMs) alcançaram desempenho robusto em benchmarks padrão, porém estudos recentes indicam que alta precisão frequentemente decorre de "atalhos" em vez de compreensão espaço-temporal genuína. Os modelos frequentemente dependem de pistas estáticas (por exemplo, características de quadros únicos) ou priores linguísticos para responder a perguntas, falhando em rastrear como os eventos se desenrolam ao longo do tempo. Essa questão é exacerbada durante o pós-treinamento por Aprendizado por Reforço (RL). Métodos padrão de RL, como GRPO, tipicamente empregam recompensas baseadas apenas na correção. Se um modelo consegue responder corretamente a uma pergunta usando um atalho estático, ele recebe uma recompensa alta sem nunca aprender a processar conteúdo dinâmico de vídeo. Consequentemente, o RL baseado apenas na correção pode reforçar essas políticas de atalho, melhorando as pontuações em benchmarks enquanto potencialmente enfraquece a sensibilidade do modelo a evidências dinâmicas.

Tentativas existentes de abordar isso, como o uso de vídeos perturbados (por exemplo, quadros embaralhados ou reversões temporais) para moldar recompensas, frequentemente tratam o vídeo perturbado apenas como um sinal diagnóstico para o ramo original. Elas não treinam ativamente a política sobre a entrada contrafactual em si, limitando sua capacidade de impor raciocínio espaço-temporal consistente.

2. Metodologia: Otimização de Política Relacional Contrafactual (CRPO)

Os autores propõem a Otimização de Política Relacional Contrafactual (CRPO), um framework de RL de dois ramos projetado para melhorar a sensibilidade espaço-temporal. A ideia central é que um modelo deve responder de forma previsível a mundos visuais contrafactuais controlados: se a evidência visual muda enquanto a pergunta permanece fixa, a resposta deve mudar para perguntas dinâmicas (equivariância) e permanecer a mesma para perguntas estáticas (invariância).

2.1 Arquitetura de Dois Ramos

A CRPO estende o framework padrão GRPO mantendo dois ramos paralelos para cada prompt de treinamento:

1. Ramo Original: Processa o vídeo original $X$ e a pergunta $Q$.
2. Ramo Contrafactual: Processa um vídeo transformado $X_T$ e a mesma pergunta $Q$.

Um Roteador de Tarefas (implementado como um modelo de raciocínio apenas de texto) classifica a pergunta em um de quatro tipos — Espacial, Temporal, Espaço-Temporal ou Estático — com base em testes de transformação hipotéticos (por exemplo, "Se invertermos o mundo horizontalmente, a resposta mudaria?"). Com base nessa classificação, uma transformação específica $T$ é aplicada:

• Espacial/Temporal/Espaço-Temporal: Inversão horizontal ou reversão temporal.
• Estático: Uma transformação ainda é aplicada, mas o sinal de recompensa incentiva a invariância da resposta.

2.2 Recompensa Relacional Contrafactual (CRR)

A inovação chave é a Recompensa Relacional Contrafactual (CRR), que conecta os dois ramos. Diferentemente de métodos anteriores que usam perturbações apenas para moldagem de recompensa no ramo original, a CRPO atualiza a política usando gradientes de ambos os ramos.

A função de recompensa combina:

• Recompensa de Correção ($R_{correct}$): Recompensa padrão de precisão para o ramo original.
• Recompensa Comportamental ($R_{behave}$): Aplicada ao ramo contrafactual. Ela recompensa o modelo se a resposta mudar para tarefas dinâmicas ($o^T \neq o^*$) e permanecer correta para tarefas estáticas ($o^T = o^*$).
• Termo Relacional Inter-Ramo ($R_{CRR}$):
  • Para o ramo original, $R_{CRR}$ recompensa a política se as respostas do ramo contrafactual exibirem o comportamento esperado (mudando para dinâmicas, permanecendo iguais para estáticas), condicionado à resposta original estar correta.
  • Para o ramo contrafactual, $R_{CRR}$ recompensa a política se o ramo original estiver correto, condicionado à resposta contrafactual exibir o comportamento esperado.

Isso cria uma estrutura de recompensa mútua simétrica. A maior recompensa é alcançada apenas quando o modelo responde corretamente ao vídeo original e demonstra o comportamento relacional correto no vídeo contrafactual. Isso torna difícil para políticas de atalho (que dariam a mesma resposta independentemente da transformação do vídeo) maximizar consistentemente as recompensas em ambos os ramos.

2.3 Otimização e Opção Nula

A CRPO utiliza uma estratégia de normalização híbrida para vantagens, calculando o desvio padrão conjuntamente sobre ambos os ramos (2G valores) para garantir treinamento estável. Para lidar com casos em que a resposta correta para um vídeo contrafactual não está presente nas opções originais de múltipla escolha (por exemplo, um vídeo invertido implica uma direção diferente), uma opção "Nenhuma das anteriores" (Opção Nula) é anexada. Selecionar essa opção para uma tarefa dinâmica conta como uma mudança de resposta válida, acionando a recompensa de equivariância sem exigir rótulos de verdade fundamental contrafactual explícitos.

3. Contribuições Principais

1. Framework CRPO: Uma extensão simples de RL de dois ramos que usa Recompensas Relacionais Contrafactuais para impor sensibilidade espaço-temporal. Treina em ambos os ramos original e contrafactual, desencorajando a dependência de atalhos sem necessidade de anotações espaço-temporais custosas ou rótulos contrafactuais.
2. DyBench: Um novo benchmark contrafactual pareado consistindo em 3.014 vídeos (1.507 pares) cobrindo três subtarefas: Dinâmicas Reversíveis (por exemplo, desabrochar vs. fechar), Direção de Movimento e Sequência de Eventos.
3. Métrica de Avaliação Rigorosa: A introdução da Precisão Pareada (P-Acc), que conta um par como correto apenas se ambos os vídeos original e contrafactual forem respondidos corretamente. Essa métrica impede que modelos inflacionem pontuações usando atalhos de resposta fixa.

4. Resultados Experimentais

Experimentos foram conduzidos nos backbones Qwen3-VL-4B e Qwen3-VL-8B, comparando CRPO contra GRPO padrão, T-GRPO e ArrowRL.

• Sensibilidade Espaço-Temporal: CRPO supera significativamente todas as linhas de base em benchmarks sensíveis a espaço-tempo. No Qwen3-VL-8B, CRPO melhora a P-Acc do DyBench em +7,7 e a I-Acc do TimeBlind em +8,2 sobre o modelo base. Os ganhos em métricas pareadas (P-Acc) são desproporcionalmente maiores do que na precisão padrão, indicando uma redução genuína na dependência de atalhos.
• Desempenho Geral: CRPO mantém desempenho competitivo em benchmarks gerais de compreensão de vídeo (VideoMME, MVBench), demonstrando que impor sensibilidade espaço-temporal não degrada capacidades gerais.
• Estudos de Ablação:
  • Remover a recompensa CRR inter-ramo ou o próprio ramo contrafactual causa quedas significativas na P-Acc, confirmando que o sinal relacional e a otimização de dois ramos são essenciais.
  • Os ganhos da CRPO não podem ser atribuídos simplesmente ao aumento de dados ou computação (rollouts duplicados), pois controles com dados/rollouts duplicados falharam em igualar o desempenho da CRPO em métricas pareadas.
• Dinâmicas de Treinamento: CRPO mostra convergência inicial mais lenta em recompensas de correção comparado às linhas de base, sugerindo que suprime o aprendizado precoce de atalhos. No entanto, converge para uma precisão final similar enquanto mantém uma fração menor de grupos de vantagem zero, indicando sinais de aprendizado mais ricos.

5. Significado e Alegações

O artigo alega que CRPO oferece um sinal de treinamento direto para sensibilidade espaço-temporal que é difícil de satisfazer para atalhos estáticos. Ao recompensar explicitamente a relação entre respostas a vídeos factuais e contrafactuais, CRPO força o modelo a fundamentar seu raciocínio no conteúdo dinâmico do vídeo em vez de priores estáticos.

Os autores posicionam o DyBench e a métrica de Precisão Pareada como uma ferramenta de diagnóstico necessária para distinguir compreensão espaço-temporal genuína de sucesso baseado em atalhos. Eles concluem que, embora CRPO melhore o desempenho em tarefas dinâmicas, isso é feito sem sacrificar a compreensão geral de vídeo, oferecendo um passo em direção a Video LLMs mais sensíveis a como os estados visuais mudam ao longo do tempo. O trabalho reconhece limitações, como a restrição a transformações geométricas/temporais simples e o foco em vídeos curtos, deixando contrafactuais semânticos mais complexos para pesquisas futuras.