Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models

1. O Problema

Os Modelos de Visão e Linguagem (VLMs) modernos demonstraram avanços notáveis em tarefas multimodais, como legendagem e recuperação de vídeo. No entanto, existe uma lacuna fundamental: a capacidade desses modelos de compreender a seta do tempo (Arrow of Time - AoT).

• Hipótese Central: Os humanos possuem "vieses indutivos" implícitos (baseados em gravidade, entropia e causalidade) que permitem identificar instantaneamente se um vídeo está sendo reproduzido para frente ou para trás, especialmente em processos irreversíveis.
• A Questão: Os VLMs possuem essa compreensão física e causal implícita, ou dependem apenas de correlações visuais-estatísticas? O artigo investiga se os modelos conseguem detectar violações de leis físicas quando a ordem temporal de um vídeo é invertida.

2. Metodologia

Os autores introduzem o AoT-PsyPhyBENCH, um benchmark validado psicofisicamente para avaliar a direção temporal em vídeos.

• Base de Dados: O benchmark é derivado de um estudo psicofísico anterior (Hanyu et al., 2023) que utilizou 360 clipes de 3 segundos do dataset Moments in Time.
• Seleção de Dados (AoT-PsyPhyBENCH):
  • Foram mantidos apenas os clipes onde os humanos demonstraram consenso claro sobre a irreversibilidade (categorias: Proceed, Fall, Diffusion, Division, Put).
  • A categoria de movimento recíproco/cíclico (Reciprocal) foi excluída, pois é ambígua para humanos em ambas as direções.
  • O resultado final consiste em 424 vídeos (212 clipes originais + suas reversões).
• Modelos Avaliados: Uma avaliação abrangente de modelos proprietários (GPT-4o, GPT-4.1, o3, o4-mini, GPT-5, Gemini-2.5-Pro) e de pesos abertos (Qwen2-VL, Qwen2.5-VL, Cosmos-Reason1, QVQ-72B).
• Configurações Experimentais:
  • Zero-shot: Instruções diretas para classificar como "F" (Forward) ou "B" (Backward).
  • Few-shot: Uso de exemplos demonstrativos para in-context learning.
  • Ablação de Esforço de Raciocínio: Variação do nível de "pensamento" (low/medium/high) em modelos de raciocínio e uso de Chain-of-Thought (CoT) manual em modelos não-raciocinadores.
  • Fine-Tuning Supervisionado (SFT): Treinamento de modelos Qwen com dados rotulados de direção temporal.
  • Ablação de FPS: Teste de diferentes taxas de quadros (2 a 30 FPS) para verificar se a falta de informação temporal é a causa do erro.

3. Contribuições Principais

1. Avaliação Sistemática: Primeira avaliação abrangente de VLMs modernos em tarefas de julgamento da seta do tempo baseadas em fundamentos psicofísicos, cobrindo zero-shot, few-shot, CoT e SFT.
2. Benchmark Validado (AoT-PsyPhyBENCH): Um conjunto de dados de baixa ambiguidade que permite comparação direta e confiável entre o desempenho humano e o dos modelos, eliminando casos onde humanos também falham (movimentos cíclicos).
3. Recursos Abertos: Liberação do código, dados e scripts de avaliação para fomentar pesquisas em raciocínio físico e temporal.

4. Resultados Chave

Os resultados revelam uma lacuna significativa entre humanos e máquinas:

• Desempenho Geral: A maioria dos VLMs performa próximo ao acaso (50% de acurácia). O melhor modelo (GPT-4.1) atingiu 60,1% de acurácia, enquanto os humanos atingiram 89,2% (uma diferença de ~29 pontos percentuais).
• Viés de Rótulo (Label Prediction Bias): A maioria dos modelos exibe um forte viés para classificar vídeos como "Forward" (para frente), mesmo quando são reversos.
  • Exemplo: O GPT-4o classificou 87% dos clipes como "Forward".
  • O modelo Cosmos-Reason1 mostrou um viés inverso (para trás), possivelmente devido ao seu treinamento específico com clipes reversos.
• Falha do Raciocínio Explícito:
  • Aumentar o esforço de raciocínio (em modelos proprietários) ou forçar Chain-of-Thought (CoT) não melhorou o desempenho.
  • Em muitos casos, o raciocínio extra amplificou o viés, fazendo com que o modelo "justificasse" erroneamente que um vídeo reverso era normal porque identificou o evento, mas falhou em detectar a violação física da ordem temporal.
• Fine-Tuning (SFT): O ajuste fino supervisionado mitigou o viés extremo (melhorou a recall da classe "Backward"), mas não trouxe competência real na tarefa; a acurácia permaneceu próxima do acaso (~50%), sugerindo que o SFT padrão não resolve a falta de compreensão física.
• FPS: Aumentar a taxa de quadros de 2 para 30 FPS trouxe apenas uma melhoria marginal (de 57,3% para 60,6%), indicando que o problema não é a falta de informação temporal, mas a incapacidade de interpretá-la fisicamente.

5. Significado e Conclusão

O estudo conclui que os VLMs atuais, apesar de capturarem correlações visuais-semanticas ricas, carecem dos vieses indutivos necessários para a continuidade temporal e compreensão causal.

• Falta de Compreensão Física: Os modelos não internalizam princípios como gravidade, entropia e causalidade de forma inata ou aprendida efetivamente apenas com dados visuais e texto.
• Limitação Atual: A arquitetura atual e os métodos de treinamento (incluindo raciocínio passo a passo e SFT) são insuficientes para ensinar a "seta do tempo" a sistemas multimodais.
• Implicação Futura: Para que os VLMs atinjam uma compreensão física genuína, é necessário ir além do reconhecimento de padrões estatísticos e desenvolver abordagens que incorporem explicitamente a física e a causalidade no processo de aprendizado.

Em resumo, o artigo demonstra que, embora os modelos possam "ver" o que está acontecendo (ex: uma bola caindo), eles não conseguem "entender" a direção do tempo em que o evento ocorre, falhando em tarefas que são intuitivas e quase instantâneas para os seres humanos.