Resumen Técnico: La Predicción Latente de Video Aprende Mejores Modelos del Mundo

Declaración del Problema

Los modelos de video auto-supervisados se posicionan cada vez más como "modelos del mundo", sistemas capaces de aprender la dinámica del mundo físico a partir de la observación. Sin embargo, su evaluación sigue estando mayoritariamente confinada a una única puntuación de precisión top-1 en benchmarks de clasificación downstream limpios. Esta métrica es insuficiente para comprender el potencial de un modelo como un modelo del mundo desplegado, ya que no captura propiedades críticas como la estabilidad bajo ruido de sensores, la tolerancia a entradas faltantes, la discriminación fina entre acciones visualmente similares y un sentido interno del orden temporal. Además, falta una evaluación comparable a nivel de objetivos de preentrenamiento, dejando una brecha en la comprensión de cómo diferentes paradigmas auto-supervisados moldean las propiedades estructurales de las representaciones de video.

Metodología

Los autores presentan un estudio sistemático y controlado que compara cuatro modelos fundacionales de vanguardia en video con capacidad ViT-L emparejada (~300 millones de parámetros):

1. V-JEPA 2.1 y V-JEPA 2: Representan el paradigma de predicción latente (Arquitectura Predictiva de Incrustación Conjunta).
2. VideoPrism: Representa la predicción enmascarada más contrastiva.
3. VideoMAEv2: Representa la reconstrucción de píxeles (autoencoders enmascarados).

Para aislar el efecto del objetivo de preentrenamiento, el estudio mantiene fijos tres ejes: capacidad de la arquitectura base, datos/protocolo de evaluación y una sonda atenta ligera ajustada por codificador. La evaluación utiliza el conjunto de datos Something-Something v2 (SSv2), elegido por su rica estructura de clases de interacciones humano-objeto de granularidad fina.

El estudio evalúa estos modelos a través de cinco ejes de robustez:

1. Discriminabilidad de Características: Separabilidad de las representaciones a través de clases de acciones estratificadas semánticamente (verbo diferente, mismo verbo, fingir-vs-real).
2. Robustez ante Corrupción: Precisión de clasificación bajo seis corrupciones de ImageNet-C (desenfoque de movimiento, nieve, pixelación, ruido de impulsos, brillo, transformación elástica) en tres niveles de severidad.
3. Discriminación de Acción de Granularidad Fina: Rendimiento en un subconjunto de "fingir" donde las acciones simulan interacciones físicas sin contacto real.
4. Robustez ante Oclusión: Rendimiento bajo tres paradigmas de oclusión espacio-temporal (Bloque Móvil, Eliminación Temporal, Eliminación de Parches Espacio-Temporales).
5. Robustez Temporal: Sensibilidad a la alteración del orden y la dirección del tiempo, midiendo específicamente la capacidad de codificar la "flecha del tiempo" mediante la inversión del video.

Adicionalmente, el estudio compara las representaciones congeladas de V-JEPA 2 frente a líneas base totalmente ajustadas (VideoMAE y TimeSformer) para determinar si las ventajas observadas sobreviven a la adaptación específica de la tarea.

Contribuciones y Resultados Clave

1. La Predicción Latente Forma un Perfil de Robustez Distinto

En los cinco ejes, los modelos de predicción latente (variantes de V-JEPA) exhiben un perfil consistente y distinto en comparación con los modelos de reconstrucción de píxeles y contrastivos.

• Robustez ante Corrupción: V-JEPA 2.1 se degrada con mayor gracia bajo corrupción de píxeles, liderando en cinco de los seis tipos de corrupción. Esto sugiere que el objetivo de incrustación conjunta descarta la variación visual superficial en favor de una estructura semántica de orden superior.
• Desacoplamiento de Estabilidad y Utilidad: Un hallazgo crítico es que la estabilidad geométrica (medida por la similitud del coseno) no equivale a usabilidad. Bajo una eliminación severa de parches espacio-temporales, VideoPrism mantiene una similitud del coseno casi perfecta (>0.98) pero colapsa a una precisión top-1 del 2.7%. Por el contrario, V-JEPA 2.1 muestra un cambio mayor en el espacio de representaciones pero retiene una precisión del 46.1%. Esto indica que la similitud del coseno por sí sola es una medida engañosa de la calidad representacional para el modelado del mundo.

2. Captura de Señales Físicas de Granularidad Fina sin Reconstrucción de Píxeles

Contrario a la intuición de que los modelos de reconstrucción de píxeles capturarían mejor los detalles espaciales finos, V-JEPA supera a VideoMAEv2 en "acciones fingidas" (por ejemplo, fingir verter).

• Las variantes de V-JEPA muestran los márgenes de rendimiento más grandes en clases de alta sensibilidad donde la señal discriminativa es la ausencia de contacto físico (por ejemplo, un agarre vacío).
• El objetivo predictivo latente parece destilar las firmas espacio-temporales de la interacción física, mientras que la reconstrucción de píxeles asigna capacidad a texturas superficiales que diluyen estas señales de contacto.

3. Internalización de la Flecha del Tiempo

Los modelos de predicción latente internalizan la direccionalidad temporal de manera sustancialmente más fuerte que las alternativas.

• Bajo inversión de video, los modelos V-JEPA invierten coherentemente las predicciones hacia clases semánticamente antónimas (por ejemplo, "empujar" $\to$ "tirar").
• Logran una Puntuación de Coherencia Semántica Direccional (DSCS) significativamente más alta en comparación con VideoMAEv2 y VideoPrism. Esto sugiere que el objetivo de preentrenamiento predictivo (predecir estados latentes futuros a partir del contexto pasado) codifica inherentemente la causalidad y la dirección temporal, mientras que el aprendizaje contrastivo suprime este eje y la reconstrucción de píxeles lo diluye.

4. Las Ventajas Persisten bajo Adaptación de Tarea

El estudio compara una arquitectura base V-JEPA 2 congelada con una sonda atenta ligera frente a modelos VideoMAE y TimeSformer totalmente ajustados.

• A pesar de estar congelada, V-JEPA 2 supera a las líneas base totalmente ajustadas en robustez ante corrupción y oclusión.
• Esto sugiere que el objetivo de preentrenamiento, en lugar de la escala o la supervisión de etiquetas por sí solos, determina si una representación de video se comporta como un modelo del mundo robusto o meramente como un clasificador de benchmarks limpios.

Significancia

El artículo proporciona evidencia empírica concreta de que la predicción latente es un paradigma superior para aprender modelos de video del mundo robustos en comparación con la reconstrucción de píxeles o el aprendizaje contrastivo. Los autores argumentan que la elección del objetivo de preentrenamiento deja una firma estructural medible en la representación base que los benchmarks de puntuación única pasan por alto.

El trabajo demuestra que:

• Los modelos del mundo requieren más que precisión limpia; requieren estabilidad bajo ruido, tolerancia a datos faltantes y sensibilidad a la semántica física y la dirección temporal.
• La predicción latente fomenta naturalmente estas propiedades al aprender a predecir cambios de estado abstractos en lugar de estadísticas de píxeles a nivel superficial.
• La evaluación de modelos fundacionales debe ir más allá de las clasificaciones de una sola métrica hacia perfiles de robustez multieje para capturar las diferencias estructurales esenciales para el despliegue en el mundo real.

Los autores concluyen que el progreso en los modelos fundacionales de video no puede rastrearse mediante una única puntuación de precisión y que es necesaria una evaluación multieje para identificar representaciones capaces de apoyar la planificación y el razonamiento físico.