Resumen Técnico: ¿Comprenden los Modelos de Fundación de Video la Física Intuitiva? Un Análisis de Sondeo por Capas

Planteamiento del Problema

Aunque los modelos de fundación de video entrenados con datos a escala de internet demuestran un sólido rendimiento en tareas que van desde el reconocimiento de acciones hasta la generación condicionada por texto, no está claro si estos modelos codifican una comprensión física intuitiva genuina o si simplemente dependen de estadísticas visuales superficiales y atajos específicos del conjunto de datos. La literatura reciente sugiere que las arquitecturas de video modernas están motivadas como "modelos de mundo" capaces de capturar una evolución latente estructurada, pero evaluar si realmente codifican restricciones físicas (p. ej., permanencia, solidez, continuidad espacio-temporal) es difícil. El éxito en los benchmarks estándar puede reflejar una sensibilidad de movimiento genérica en lugar de un razonamiento físico robusto. Este artículo investiga si las representaciones de video preentrenadas codifican inherentemente una estructura relevante para la física y cómo la accesibilidad de esta información varía según los paradigmas de preentrenamiento, las profundidades de la red y los mecanismos de lectura.

Metodología

Los autores emplean un marco de sondeo de características congeladas (frozen-feature probing), adhiriéndose al paradigma establecido por El Banani et al. (2024) y Joseph et al. (2026). En lugar de realizar un ajuste fino (fine-tuning) de los modelos para tareas específicas, el estudio extrae representaciones de backbones congelados y entrena sondas ligeras para predecir la plausibilidad física.

Modelos Evaluados

Se comparan tres paradigmas de preentrenamiento distintos utilizando sus backbones más grandes disponibles:

1. Codificación Conjunta Predictiva (familia V-JEPA): Incluye V-JEPA, V-JEPA 2 y V-JEPA 2.1. Estos modelos predicen representaciones objetivo en un espacio latente en lugar de reconstruir píxeles brutos.
2. Reconstrucción de Video con Máscaras (familia VideoMAE): Incluye VideoMAE y VideoMAE-v2. Estos modelos están entrenados para recuperar contenido espacio-temporal enmascarado.
3. Generación Basada en Difusión (LTX-Video): Un generador de texto a video a gran escala optimizado mediante denoisado progresivo.

Datasets

Se utilizan dos benchmarks dirigidos a la comprensión física:

• IntPhys2 (Bordes et al., 2025): Evalúa la sensibilidad a cuatro principios fundamentales (permanencia, inmutabilidad, continuidad espacio-temporal, solidez) utilizando una métrica de "Violación de la Expectativa" (VOE). Una escena es correcta solo si todos los clips posibles son clasificados con una puntuación más alta que los imposibles.
• Minimal Video Pairs (MVP) (Krojer et al., 2025): Diseñado para prevenir el rendimiento basado en atajos presentando pares de videos visualmente similares con respuestas opuestas. La métrica es la consistencia de par. Los autores adaptan el formato original de QA condicionado por texto en una tarea binaria de plausibilidad física para alinearlo con el sondeo de características congeladas.

Protocolos de Sondeo

Las representaciones se extraen de cuatro profundidades relativas (aprox. 25%, 50%, 75%, 100%) de cada arquitectura. Para los modelos de difusión, el sondeo también se realiza a través de 10 niveles de ruido. Se evalúan tres tipos de sondas:

1. Sonda Lineal (Linear Probe): Una única capa que mapea los embeddings agrupados (pooled) hacia la salida, probando la información linealmente decodificable.
2. Sonda MLP: Un perceptrón multicapa con activaciones no lineales, probando la información presente pero no linealmente separable.
3. Sonda de Atención Temporal (Temporal Attentive Probe): Opera directamente sobre la secuencia de embeddings de tokens utilizando capas de auto-atención y de atención cruzada para modelar explícitamente las interacciones temporales.

Condiciones de Control

Para distinguir la sensibilidad física temporal genuina de las claves de apariencia estática, se aplican dos condiciones de control:

• Frames Mezclados (Frame-Shuffled): Los frames se permutan aleatoriamente para interrumpir las trayectorias de movimiento preservando el contenido de los frames.
• Frame Único (Single-Frame): Se repite un solo frame durante la duración del clip para eliminar por completo la variación temporal.

Resultados Clave

1. Rendimiento del Paradigma de Preentrenamiento

La familia V-JEPA logra consistentemente los resultados más fuertes en ambos benchmarks, particularmente cuando se evalúa con lecturas temporalmente expresivas.

• V-JEPA 2.1 lidera en IntPhys2 con un 66.67% de precisión VOE.
• Base V-JEPA lidera en MVP con un 94.03% de consistencia de par.
• VideoMAE se mantiene competitivo en MVP (92.01%) pero muestra una brecha mayor en IntPhys2.
• LTX-Video (difusión) recupera señales más débiles pero no triviales, quedando por detrás de ~10% en MVP y >19% en IntPhys2 respecto a los mejores modelos V-JEPA.
• Nota: VideoMAE-v2 mostró un rendimiento extremadamente bajo en IntPhys2 (15.69%), atribuido por los autores a la inestabilidad del entrenamiento.

2. Emergencia por Capas

La información relevante para la física no está distribuida uniformemente; es más débil en las capas iniciales y se vuelve más accesible en las profundidades intermedias-posteriores.

• MVP: Muestra una tendencia clara hacia las capas finales. El rendimiento generalmente mejora hacia las capas finales (p. ej., la consistencia de par de V-JEPA sube de ~59% al 25% de profundidad a ~87% en la capa final).
• IntPhys2: Exhibe un perfil menos monotónico, alcanzando a menudo su pico entre el 50% y el 75% de profundidad antes de declinar potencialmente en la capa final.
• LTX-Video: Las señales más fuertes se concentran en la mitad del backbone y a lo largo de la trayectoria de denoisado, no en los extremos.

3. Accesibilidad de la Lectura (Readout)

La explicidad de la información física depende fuertemente de la tarea y la capacidad de la sonda.

• MVP: La información es mayoritariamente no directamente legible por sondas lineales. La consistencia de par para V-JEPA salta de ~48% (lineal) a ~87% (MLP) y ~94% (Atención Temporal). Esto indica que la física relevante para MVP requiere modelar interacciones no lineales o temporales explícitas.
• IntPhys2: Una mayor fracción de la señal es linealmente decodificable (p. ej., la sonda lineal de V-JEPA alcanza ~51% de VOE). Sin embargo, las sondas más expresivas (MLP y Atención Temporal) siguen proporcionando mejoras significativas, especialmente para los modelos más fuertes.

4. Controles Temporales

La disrupción de la estructura temporal reduce sustancialmente el rendimiento, confirmando que la señal no es puramente estática.

• MVP: La disrupción temporal causa un colapso catastrófico. El mezclado de frames reduce la consistencia de par en un 39–61%, y la repetición de un frame único la reduce en un 86–100%.
• IntPhys2: Los resultados son mixtos. Si bien la repetición de un frame único es altamente perjudicial (p. ej., -85% para la atención temporal de V-JEPA), el mezclado de frames a veces resulta en caídas insignificantes (0.00% para la atención temporal de V-JEPA). Esto sugiere que parte del rendimiento de VOE en IntPhys2 puede depender de claves de plausibilidad insensibles al orden o de evidencia multiframe no ordenada, en lugar de un modelado de trayectoria causal robusto.

Significancia y Reivindicaciones

El artículo afirma que el conocimiento de la física intuitiva emerge de manera fiable en las representaciones de video preentrenadas, pero su accesibilidad está supeditada a tres factores:

1. Objetivo de Preentrenamiento: El aprendizaje de codificación conjunta predictiva (V-JEPA) produce las características más accesibles y robustas relevantes para la física en comparación con los objetivos de reconstrucción con máscaras o de difusión.
2. Profundidad de la Representación: La comprensión física no está presente en las capas tempranas; emerge y se vuelve más accesible en las profundidades intermedias-posteriores.
3. Mecanismo de Lectura: La capacidad de decodificar la información física depende de la capacidad de la sonda para modelar no linealidades y dinámicas temporales. Aunque algunas señales son linealmente decodificables (particularmente en IntPhys2), el razonamiento físico complejo (como en MVP) requiere lecturas expresivas y con conciencia temporal.

Los autores concluyen que, si bien los modelos de fundación de video codifican la estructura física, no necesariamente razonan sobre la física de una manera humana y robusta. El estudio destaca que el éxito en los benchmarks puede ser impulsado por sesgos inductivos arquitectónicos específicos y que evaluar la comprensión física requiere un desentrelazamiento cuidadoso de la dinámica temporal de la apariencia estática. Se sugiere como trabajo futuro desentrelazar los objetivos de preentrenamiento de factores de confusión como la escala del modelo y la arquitectura.