Resumen Técnico: Evaluación de la Mecánica Newtoniana en Modelos Generativos de Vídeo con Sistemas Físicos Reales

Planteamiento del Problema

Los modelos generativos de vídeo (VGM) recientes, como SORA, COSMOS y Veo3, han alcanzado una fidelidad visual sin precedentes, lo que ha despertado el interés sobre su potencial como "modelos de mundo" capaces de comprender y predecir la dinámica física. Sin embargo, los paradigmas de evaluación actuales dependen en gran medida de juicios humanos subjetivos, evaluaciones de Modelos de Lenguaje y Visión (VLM) o el emparejamiento de trayectorias con una verdad de referencia (ground truth). Estos métodos sufren limitaciones significativas:

• Subjetividad: Las evaluaciones humanas y de los VLM son cualitativas y propensas a las alucinaciones, fallando a menudo al detectar violaciones sutiles de las leyes físicas (por ejemplo, distribución de masa incorrecta o acoplamiento de fuerzas) mientras premian movimientos visualmente plausibles pero físicamente incorrectos.
• Ambigüedad del Emparejamiento de Trayectorias: Comparar trayectorias generadas con una única trayectoria de referencia es físicamente ambiguo. Múltiples condiciones iniciales distintas (por ejemplo, variaciones en masa o fricción) pueden dar lugar a trayectorias físicas diferentes pero igualmente válidas. Las métricas de emparejamiento de trayectorias suelen penalizar realizaciones físicas válidas que simplemente divergen de una ruta de referencia específica.
• Falta de Razonamiento Físico Cuantitativo: Los benchmarks existentes se centran en métricas perceptivas (coherencia visual, consistencia temporal) en lugar de la adherencia a las ecuaciones físicas gobernantes y las leyes de conservación.

En consecuencia, existe una brecha crítica para cuantificar rigurosamente si los VGM realmente codifican la mecánica newtoniana o si simplemente imitan la apariencia del movimiento físico.

Metodología: El Marco Morpheus

Para abordar estas brechas, los autores introducen Morpheus, un marco de evaluación informado por la física diseñado para medir la capacidad de los VGM para comprender la dinámica newtoniana en entornos controlados de cuerpos rígidos. El marco consta de tres componentes principales:

1. Conjunto de Datos y Condicionamiento

• Datos del Mundo Real: Los autores curaron un conjunto de datos de aproximadamente 130 vídeos del mundo real que capturan nueve fenómenos físicos distintos: caída, movimiento de proyectiles, rodamiento, deslizamiento, péndulo holonómico, péndulo doble, rebote, colisión y oscilación de resorte.
• Condiciones Controladas: Los experimentos se llevan a cabo bajo condiciones controladas para aislar leyes físicas específicas (por ejemplo, conservación de la energía, el momento o el movimiento periódico).
• Aumento de Datos: Para garantizar la robustez frente a configuraciones visuales específicas, el conjunto de datos se aumenta mediante transferencia de estilo (Cosmos-Transfer1) guiada por máscaras de objetos. Esto crea diversas variantes visuales preservando la dinámica física subyacente, expandiendo los escenarios de condicionamiento diez veces.
• Estrategias de Prompting: El marco evalúa los modelos bajo tres niveles de condicionamiento: prompts textuales, prompts de una sola imagen y prompts de múltiples fotogramas (vídeo), para evaluar cómo la precisión de la entrada afecta la fidelidad física.

2. Extracción de Trayectorias y Preprocesamiento

• Segmentación: Las máscaras de los objetos se extraen utilizando SAM-2 (Segment Anything 2) y Depth Anything para la verificación de profundidad.
• Estimación de Estado: Se rastrean los centroides para generar trayectorias 2D. Las velocidades y aceleraciones se estiman mediante métodos de diferencia central, seguidos de un suavizado de Savitzky-Golay y regresión lineal dentro de ventanas deslizantes para reducir el ruido derivado de las imperfecciones del seguimiento.
• Filtrado: Se calcula una métrica de tasa de descarte para filtrar vídeos con desaparición de objetos, duplicación o movimiento insuficiente, asegurando que solo las trayectorias válidas sean puntuadas.

3. Métricas de Evaluación Informadas por la Física

Morpheus va más allá de la comparación a nivel de píxel para evaluar la adherencia a los invariantes físicos y las ecuaciones gobernantes:

• Puntuación Dinámica: Utiliza Redes Neuronales Informadas por la Física (PINNs) para ajustar las trayectorias extraídas a las Ecuaciones Diferenciales Ordinarias (ODEs) conocidas del sistema físico específico (por ejemplo, $\ddot{y} + g = 0$ para caída libre). La puntuación se deriva del Error Cuadrático Medio Normalizado (NMSE) entre la trayectoria aprendida por la PINN y los datos, normalizado para ser invariante de escala.
• Puntuación de Invariancia Física: Cuantifica la estabilidad de las cantidades conservadas (por ejemplo, energía total, momento angular, periodo de oscilación) a lo largo del tiempo. La puntuación se calcula basándose en la desviación estándar de estos invariantes; una puntuación perfecta (1.0) indica una conservación constante, mientras que una alta varianza indica una violación de las leyes físicas.

Principales Contribuciones

1. Marco Morpheus: La introducción de un marco de evaluación sistemático, interpretable y cuantitativo que aprovecha las redes neuronales informadas por la física y las leyes de conservación para evaluar los VGM, yendo más allá de las métricas puramente geométricas o subjetivas.
2. Benchmarking Exhaustivo: Una evaluación a gran escala de modelos de vanguardia (incluyendo modelos de código cerrado como Veo3, Kling y COSMOS, y de código abierto como Wan2.1, CogVideoX y LTX-Video) a través de diversos escenarios newtonianos.
3. Hallazgos Empíricos sobre la Fidelidad Física: El estudio revela una desconexión sustancial entre el realismo visual y la corrección física. Incluso los modelos con mejor rendimiento tienen dificultades para codificar la mecánica newtoniana con precisión, a pesar de generar vídeos estéticamente agradables.
4. Análisis de Condicionamiento y Modos de Fallo: El artículo demuestra que el condicionamiento de múltiples fotogramas y de fotogramas clave mejora significativamente la consistencia física en comparación con los prompts de una sola imagen. También identifica modos de fallo específicos, como la "inmovilidad" (objetos que no se mueven) y la alucinación de objetos (duplicación/desaparición), que son prevalentes en los modelos actuales.

Resultados Experimentales

• Brecha de Rendimiento: Los vídeos del mundo real logran puntuaciones casi perfectas (Puntuación Dinámica: 0.96–0.99; Puntuación de Invariancia: $\geq$ 0.90). En marcado contraste, el mejor modelo de los VGM logra una puntuación combinada de solo ~0.66, resaltando una brecha significativa en el razonamiento físico.
• Impacto del Condicionamiento:
  • Interpolación de Fotogramas Clave: Los modelos condicionados por fotogramas iniciales y finales (por ejemplo, Wan2.1 Keyframe) funcionan mejor, logrando las puntuaciones agregadas más altas y las tasas de descarte más bajas. Definir las condiciones de contorno restringe el espacio de generación de manera efectiva.
  • Multi-fotograma vs. Fotograma Único: El condicionamiento de múltiples fotogramas supera la extrapolación de un solo fotograma, ya que el contexto temporal ayuda a inferir la velocidad y la aceleración que son ambiguas en imágenes estáticas.
  • Limitaciones del Fotograma Único: Incluso los modelos de primer nivel de código cerrado luchan con la extrapolación de una sola imagen, resultando a menudo en altas tasas de descarte debido a movimientos estáticos o erráticos.
• Comparación de Modelos: Modelos de código abierto como Wan2.1 (con condicionamiento de fotogramas clave) y Cosmos-Predict2 son competitivos con, y a veces superan a, modelos propietarios como Veo3 y Kling-2.5, sugiriendo que las capacidades de razonamiento físico dependen de la arquitectura y las estrategias de condicionamiento más que de la escala del modelo o de los datos propietarios.
• Fallo de la Evaluación de VLM: El artículo demuestra que los evaluadores VLM fuertes (por ejemplo, VideoPHY2-AUTOEVAL) fallan al distinguir de forma fiable la física real de la física generada. A menudo asignan puntuaciones bajas a grabaciones reales limpias (alucinando violaciones) y premian vídeos generados que violan leyes físicas específicas, confirmando la necesidad de métricas informadas por la física sobre el juicio basado en VLM.

Significado y Reivindicaciones

El artículo afirma que Morpheus proporciona un paso necesario hacia la alineación de la generación de vídeo con los "modelos de mundo" requeridos para la IA incorporada (embodied AI) y la robótica. Los autores argumentan que, si bien la fidelidad visual ha mejorado, los modelos actuales están lejos de codificar la mecánica newtoniana con la precisión suficiente para ser confiables como simuladores de interacción física.

La importancia de este trabajo reside en su cambio de la evaluación perceptual a la verificación física cuantitativa. Al establecer que los modelos actuales no respetan las leyes de conservación fundamentales (energía, momento) incluso en escenarios simples de cuerpos rígidos, el artículo subraya las limitaciones de tratar a los VGM como modelos de mundo sin nuevas innovaciones arquitectónicas o de entrenamiento. El marco ofrece una prueba de estrés reproducible para las leyes físicas fundamentales, proporcionando una base sólida para la investigación futura en modelos capaces de un razonamiento físico fiable.