Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models

1. El Problema

Aunque los Modelos Visuales-Lingüísticos (VLM) modernos han logrado avances notables en tareas multimodales como la descripción de videos y la búsqueda, su comprensión de la información temporal en videos sigue siendo débil y poco evaluada.

El problema central es si estos modelos poseen las suposiciones físicas y causales implícitas (sesgos inductivos) que los humanos utilizan para interpretar el mundo. Específicamente, los autores investigan si los VLMs pueden inferir la Flecha del Tiempo (AoT): la noción de que los eventos se desarrollan irreversiblemente del pasado al futuro, restringidos por la gravedad, la entropía y la causalidad.

Actualmente, no existe un estándar riguroso para evaluar esto. Muchos benchmarks existentes simplemente invierten videos sin validar si la tarea es realmente difícil para los humanos, lo que genera casos de prueba ambiguos o engañosos.

2. Metodología: AoT-PsyPhyBENCH

Para abordar esta brecha, los autores introducen AoT-PsyPhyBENCH, un marco de evaluación validado psicofísicamente.

• Origen de los Datos: El benchmark se basa en un estudio psicofísico previo (Hanyu et al., 2023) que utilizó 360 clips de video de 3 segundos de actividades cotidianas.
• Selección de Muestras: De los datos originales, se filtraron los clips para eliminar movimientos cíclicos o recíprocos (que son bidireccionales y confusos). Se retuvieron solo 212 clips (424 videos contando las versiones invertidas) de 5 categorías de procesos irreversibles donde los humanos tienen un consenso claro:
  1. Proceed: Locomoción hacia adelante.
  2. Fall: Caída libre (gravedad).
  3. Diffusion: Difusión/explosión (entropía).
  4. Division: División de material (causalidad manual).
  5. Put: Adición/construcción de material (causalidad manual).
• Tarea: El modelo debe determinar si un video se reproduce hacia adelante (Forward) o hacia atrás (Backward).
• Configuraciones de Evaluación: Se probaron múltiples modelos (VLMs de peso abierto y propietarios, con y sin capacidades de razonamiento) bajo cuatro configuraciones:
  1. Zero-shot: Sin ejemplos previos.
  2. Few-shot: Con 2 o 4 ejemplos de demostración.
  3. Ablación de Esfuerzo de Razonamiento: Variando la profundidad del razonamiento (Chain-of-Thought o parámetros de "esfuerzo" en modelos propietarios).
  4. Fine-Tuning Supervisado (SFT): Entrenamiento con datos etiquetados de dirección temporal.

3. Contribuciones Clave

1. Evaluación Sistemática: Primera evaluación exhaustiva de VLMs modernos en una tarea de juicio de flecha del tiempo basada en psicofísica, abarcando modelos zero-shot, few-shot, de razonamiento y fine-tuned.
2. Benchmark Validado: Creación de AoT-PsyPhyBENCH, que elimina la ambigüedad al excluir movimientos cíclicos y permite una comparación directa y fiable entre el rendimiento humano y el de la IA.
3. Recursos Abiertos: Liberación del código, datos y scripts de evaluación para fomentar la investigación en razonamiento físico y temporal.

4. Resultados Principales

Los resultados revelan una brecha fundamental entre humanos y modelos:

• Rendimiento General: La mayoría de los modelos (tanto abiertos como propietarios) operan cerca del azar (~50-60% de precisión), muy por debajo del rendimiento humano (89.2%). Incluso el mejor modelo (GPT-4.1) tiene una brecha de ~29 puntos porcentuales.
• Sesgo de Predicción (Forward Bias): La mayoría de los modelos muestran un fuerte sesgo hacia predecir "Forward". Por ejemplo, GPT-4o predijo el 87% de los clips como Forward, fallando catastróficamente en detectar videos invertidos (F1 para "Backward" < 5%).
• Fallo del Razonamiento:
  • Aumentar el "esfuerzo de razonamiento" o usar Chain-of-Thought (CoT) no mejora el rendimiento; de hecho, a menudo lo empeora o amplifica el sesgo hacia "Forward".
  • Los modelos pueden identificar el evento (ej. "una explosión") pero fallan al reconocer que la secuencia temporal viola las leyes físicas (ej. el agua convergiendo en un punto en lugar de expandirse).
• Fine-Tuning (SFT): Entrenar modelos con datos de dirección temporal (hasta 5,000 ejemplos) mitigó ligeramente el sesgo de predicción, pero no mejoró la precisión general, que se estancó cerca del 50%. Esto sugiere que el problema no es la falta de datos, sino la falta de inductores físicos en la arquitectura.
• Análisis por Categoría: Los modelos luchan especialmente con procesos gobernados por la gravedad (Fall) y la entropía (Diffusion), donde la violación de las leyes físicas es más evidente para los humanos.

5. Significado y Conclusión

El estudio demuestra que los VLMs actuales carecen de los sesgos inductivos necesarios para la continuidad temporal y la comprensión causal. A pesar de capturar correlaciones visuales y semánticas ricas, no internalizan las leyes físicas que hacen que el tiempo sea irreversible.

• Implicación: La mejora en tareas de razonamiento temporal no se logrará simplemente con más datos, prompts más elaborados o fine-tuning estándar. Se requiere un cambio fundamental en la arquitectura o el entrenamiento para incorporar la comprensión física del mundo.
• Relevancia: AoT-PsyPhyBENCH sirve como una herramienta diagnóstica crítica para medir el progreso real hacia sistemas de IA que poseen una comprensión física genuina, más allá del reconocimiento de patrones estadísticos.

En resumen, los modelos actuales "ven" el video, pero no "entienden" el tiempo ni la física subyacente, fallando incluso en tareas que los humanos resuelven casi instantáneamente.