Frozen Forecasting: A Unified Evaluation

1. El Problema

La capacidad de predecir eventos futuros es fundamental para sistemas de propósito general que deben planificar o actuar en el mundo. Sin embargo, evaluar la precisión de estas predicciones es extremadamente difícil debido a la incertidumbre inherente del futuro: múltiples resultados plausibles pueden surgir de un mismo pasado.

Los desafíos principales identificados son:

• Estocasticidad: El futuro no es determinista; un modelo debe capturar la diversidad de resultados posibles, no solo un único punto final.
• Traectorias continuas: La predicción no es un evento puntual, sino el modelado de una evolución temporal continua.
• Niveles de abstracción: El futuro se manifiesta a diferentes niveles semánticos, desde píxeles de bajo nivel hasta tracks de objetos de alto nivel.

La mayoría de las evaluaciones actuales de modelos de visión se centran en tareas de percepción (pasado/presente) y no evalúan adecuadamente la capacidad de estos modelos para predecir el futuro bajo incertidumbre.

2. Metodología

Los autores proponen un marco de evaluación unificado para evaluar la capacidad de pronóstico de modelos de visión "congelados" (frozen) sin necesidad de reentrenar sus pesos principales. El enfoque se basa en dos etapas principales:

A. Arquitectura del Sistema

1. Modelos Base Congelados: Se utilizan modelos de visión preentrenados (tanto de imágenes como de video) que permanecen congelados durante todo el proceso.
2. Cabezas de Lectura (Readout Heads): Se entrena una cabeza de atención ligera para cada tarea específica (píxeles, profundidad, tracks de puntos, cajas delimitadoras). Estas cabezas decodifican las representaciones congeladas en salidas de la tarea, pero solo se entrenan con frames observados (pasado).
3. Modelo de Difusión Latente: Se entrena un modelo de difusión condicional que opera directamente en el espacio de representación latente del modelo de visión congelado.
   • Entrada: Codificaciones latentes de $t=4$ frames pasados.
   • Salida: Predice las trayectorias latentes para los siguientes $T=12$ frames.
   • Ventaja: Al operar en el espacio latente, el modelo es agnóstico a la arquitectura del backbone y permite comparar modelos de percepción y síntesis bajo el mismo marco.

B. Métricas de Evaluación

Dado que el futuro es estocástico, el marco utiliza métricas que evalúan tanto la realidad como la diversidad de las predicciones:

• Métricas por Ejemplo: Se toman múltiples muestras (10) del modelo de difusión y se calculan estadísticas (media, mínimo, máximo) de métricas específicas de la tarea (PSNR para píxeles, Error Relativo Absoluto Medio para profundidad, Distancia Jaccard para puntos, IoU para cajas).
• Distancia de Fréchet (FD): Una métrica a nivel de conjunto de datos que compara la distribución de las trayectorias pronosticadas con la distribución de los datos reales (ground truth). Esto es crucial para evaluar si el modelo captura la variabilidad del futuro.
• Varianza: Se mide la varianza temporal de las trayectorias para asegurar que el modelo no prediga siempre trayectorias estáticas (que podrían ser realistas pero carentes de diversidad).

3. Contribuciones Clave

1. Marco Unificado de Evaluación: Primer framework que permite comparar modelos de visión congelados en tareas de pronóstico a través de múltiples niveles de abstracción (píxeles, profundidad, movimiento, objetos) utilizando un módulo de predicción estandarizado (difusión).
2. Enfoque en Espacio Latente: Propone realizar la predicción en el espacio de representaciones latentes de modelos preentrenados en lugar de en el espacio de píxeles, lo que simplifica la tarea al eliminar detalles no semánticos difíciles de predecir.
3. Benchmarking a Gran Escala: Evalúan 9 modelos de visión diversos (incluyendo DINOv2, SigLIP, VideoMAE, WALT, etc.) en 4 tareas de pronóstico, estableciendo líneas base sólidas para futuras investigaciones.
4. Análisis de la Estocasticidad: Demuestran que los modelos deterministas (regresión) fallan en capturar la varianza del futuro, mientras que los modelos de difusión superan significativamente a los baselines deterministas en métricas sensibles a la distribución.

4. Resultados Principales

• Correlación con la Percepción: Existe una fuerte correlación entre el rendimiento en percepción y el de pronóstico, pero esta relación se rompe en los modelos más avanzados. El mejor modelo para una tarea de percepción no necesariamente es el mejor para pronosticar esa misma tarea.
• Modelos de Síntesis vs. Enmascaramiento: Los modelos de síntesis de video (como WALT), entrenados para generar futuros, superan o igualan a los modelos entrenados con objetivos de enmascaramiento (como VideoMAE) en tareas de bajo nivel (píxeles, profundidad). Sin embargo, en tareas de alto nivel (tracks de puntos, cajas), el rendimiento es mixto.
• Supervisión de Lenguaje: La supervisión mediante lenguaje (modelos visión-lenguaje como SigLIP o VideoPrism) no mejora consistentemente la capacidad de pronóstico.
• Video vs. Imagen: Los modelos preentrenados exclusivamente en video superan consistentemente a los modelos preentrenados solo en imágenes (como DINOv2 o SigLIP) en tareas de pronóstico. Esto resalta la importancia crítica del contexto temporal en el aprendizaje de representaciones generalizables.
  • Excepción: DINOv2 tuvo un buen rendimiento en predicción de profundidad, posiblemente debido a la baja dinámica del conjunto de datos de profundidad utilizado (ScanNet).
• Limitaciones de Varianza: Aunque los modelos logran buenos resultados en métricas de realidad (FD), la mayoría lucha por igualar la varianza de los datos reales, sugiriendo que tienden a predecir trayectorias menos diversas de las que ocurren en la realidad.

5. Significado e Impacto

Este trabajo cambia el paradigma de evaluación de modelos de visión, pasando de preguntar "¿qué ve el modelo?" a "¿qué puede anticipar el modelo?".

• Validación de Representaciones: Demuestra que las representaciones visuales aprendidas para la percepción pueden ser reutilizadas efectivamente para la predicción futura, pero que la capacidad de síntesis de video es superior para capturar la dinámica temporal.
• Guía para Futuros Modelos: Sugiere que para construir agentes autónomos capaces de planificar, es necesario entrenar modelos con objetivos de predicción temporal y no solo con objetivos de reconstrucción estática o enmascaramiento.
• Herramienta de Evaluación: Proporciona un estándar para medir la "inteligencia predictiva" de modelos congelados, lo cual es vital para el desarrollo de sistemas de IA general que deben interactuar con entornos dinámicos.

En resumen, el artículo establece que la capacidad de predecir el futuro es una propiedad emergente distinta de la percepción pura, que requiere explícitamente el modelado de la incertidumbre y el contexto temporal, y que los modelos de síntesis de video actuales son actualmente los mejores candidatos para esta tarea.