Resumen Técnico: GeoT2V-Bench

Planteamiento del Problema

Los modelos de texto a vídeo (T2V) se están solicitando cada vez más con instrucciones de movimiento de cámara (por ejemplo, "orbitar una estatua", "hacer un dolly a través de una habitación") para sintetizar capturas de cámara virtuales. Aunque los benchmarks existentes evalúan la plausibilidad visual, la suavidad temporal y la alineación con el texto, no logran verificar si los fotogramas generados constituyen evidencia multivista coherente de una única escena 3D estática. Los vídeos visualmente plausibles pueden, aun así, violar la consistencia 3D global al exhibir texturas errantes, imitaciones de paralaje 2D o deformaciones de la escena no físicas. Además, la evaluación basada en la reconstrucción es inherentemente frágil: la estimación de la pose de la cámara puede fallar debido a un paraleje débil, y la reconstrucción 3D estática puede fallar si los fotogramas no corresponden a una escena estable. Los métricas actuales suelen confundir los fallos de generación de vídeo con fallos del backend de reconstrucción o dependen de la consistencia geométrica local (por ejemplo, GeCo), la cual no garantiza la explicabilidad de una escena estática global.

Metodología: GeoT2V-Bench

Los autores presentan GeoT2V-Bench, un benchmark de diagnóstico basado en la reconstrucción que evalúa las salidas de T2V con prompts de cámara como adquisiciones de escenas estáticas sintéticas. En lugar de producir una etiqueta escalar de aprobado/suspenso, el benchmark genera un perfil de reconstrucción continuo.

Descripción General del Pipeline

El pipeline de evaluación procesa un vídeo generado $V$ y un prompt $p$ a través de las siguientes etapas:

1. Estimación de Cámara (VGGT):
   El sistema estima las intrínsecas ($K_t$) y las poses ($T_t$) por fotograma utilizando VGGT [33], un estimador de geometría de alimentación directa (feed-forward). Esto establece una trayectoria de cámara candidata. El pipeline primero verifica la "evidencia de adquisición activa" (movimiento aparente suficiente y trayectoria coherente) para asegurar que el vídeo no sea trivialmente estático.

2. Ajuste Flexible (DeformableGS):
   Utilizando las cámaras estimadas, el sistema ajusta una representación DeformableGS [40] sobreparametrizada. Este modelo 4D flexible puede absorber inconsistencias (por ejemplo, repintado dependiente de la vista, deriva no física) como variaciones temporales. El error de renderizado de este ajuste ($E_{fit}$) sirve como base para determinar qué tan bien puede explicarse el vídeo mediante cualquier geometría variable en el tiempo.

3. Proxy Estático (MedianGS):
   Para probar la explicabilidad de la escena estática, el sistema deriva un proxy MedianGS ($G_{med}$) aplicando una agregación de la mediana temporal a los parámetros de DeformableGS (desplazamientos de posición, rotación y escala). Esto crea una representación 3D estática que representa el componente temporalmente estable de la secuencia.

4. Comparación de Misma Cámara:
   El proxy MedianGS se renderiza a lo largo de la trayectoria de cámara original estimada por VGGT. El sistema compara este renderizado estático contra el vídeo generado para medir qué tan bien una escena estática explica las observaciones.

Métricas Clave

El benchmark reporta un perfil de diagnósticos continuos:

• $E_{LPIPS}^{med}$ (Error de Renderizado Estático de MedianGS): Mide la diferencia de apariencia por fotograma entre el vídeo generado y el renderizado estático de MedianGS.
• CEMR (Ratio de Movimiento Explicado por la Cámara): Compara el flujo óptico del vídeo generado con el flujo óptico inducido por el renderizado estático de MedianGS. Un CEMR alto indica que la escena estática explica el movimiento temporal; un CEMR bajo/negativo indica que el movimiento no es explicado por la geometría estática.
• $\Delta_{stat}$ (Brecha Estático-Flexible): Definida como $E_{LPIPS}^{med} - E_{LPIPS}^{fit}$. Una brecha grande indica que una representación flexible y variable en el tiempo explica el vídeo significativamente mejor que una estática, lo que sugiere cambios de escena no físicos.
• Energía de Deformación ($E_{deform}$): Cuantifica la magnitud de los desplazamientos temporales en el ajuste de DeformableGS, proporcionando contexto para la brecha estático-flexible.
• Descriptores de Evidencia Activa: Incluye la magnitud media del flujo óptico ($\bar{F}_{orig}$) y el giro acumulado de la cámara suavizado ($\Theta_s$) para validar la presencia de evidencia de adquisición.

ControlBench

Para interpretar estos diagnósticos, los autores introducen ControlBench, una suite de pruebas de estrés que utiliza adquisiciones estáticas reales y transformaciones derivadas de la realidad (vídeo congelado, zoom digital, deformación lateral, repintado de textura, deformación de primer plano). Esta suite valida si las métricas responden de manera plausible a cambios geométricos y de apariencia conocidos.

Configuración Experimental

• Dataset: 3.840 clips generados a partir de 80 prompts de escenas estáticas controladas (de GeCo-Eval [9]) a través de 12 configuraciones de modelos de pesos abiertos (incluyendo CogVideoX, HunyuanVideo, LMTX-Video, MAGI-1, Open-Sora, SkyReels, Wan) y 4 semillas de generación.
• Formato: Todos los clips estandarizados a 49 fotogramas, resolución de 256×256, 8 fps.
• Comparación: Los resultados se comparan con GeCo [9], un trabajo previo centrado en la consistencia geométrica local.

Resultados Clave

La evaluación revela que los rankings de escalar único son engañosos y que los diferentes modos de fallo suelen ser ortogonales:

• Modos de Fallo Divergentes: Los modelos con bajo error de renderizado estático (por ejemplo, MAGI-1) a menudo fallan la verificación de evidencia activa o exhiben un pobre CEMR (movimiento temporal desajustado). Por el contrario, los modelos con movimiento activo (por ejemplo, HunyuanVideo-1.5) pueden mostrar altos errores de renderizado estático y alta energía de deformación.
• Complementariedad con GeCo: GeoT2V-Bench captura modos de fallo que GeCo pasa por alto. Un clip puede tener una baja inconsistencia geométrica local (buen puntaje GeCo) pero fallar la auditoría de reconstrucción global (pobre CEMR o alta brecha estático-flex), indicando que la consistencia local no garantiza una trayectoria de cámara global coherente o una escena estática.
• Interdependencia de Métricas: Un bajo LPIPS por fotograma no garantiza coherencia temporal. El CEMR es crítico para distinguir entre clips que simplemente parecen estáticos y aquellos que genuinamente apoyan una explicación 3D estática bajo movimiento de cámara.

Significado y Reivindicaciones

El artículo afirma que GeoT2V-Bench cambia el paradigma de evaluación de "plausibilidad de vídeo" a "evidencia multivista reconstruible". Sus principales contribuciones son:

1. Formulación: Definir la evaluación de T2V con prompts de cámara como una prueba de si un vídeo puede explicarse como observaciones de una única escena estática a lo largo de una trayectoria de cámara estimada.
2. Caracterización de Dificultad por Etapas: Destacar que tanto la estimación de la pose de la cámara como la reconstrucción 3D son etapas frágiles que pueden fallar debido a las mismas inconsistencias que se miden.
3. Perfil Diagnóstico: Introducir un perfil continuo (error de MedianGS, CEMR, brecha estático-flexible) que separa la evidencia activa, el comportamiento de reconstrucción estática y la explicación del movimiento temporal, evitando la confusión de diferentes tipos de fallo.
4. Diagnósticos Complementarios: Demostrar que los diagnósticos basados en la reconstrucción revelan modos de fallo (incoherencia de la trayectoria global, cambios de escena no físicos) que las métricas de geometría local como GeCo no detectan.

Los autores enfatizan que el benchmark es una herramienta de diagnóstico, no un clasificador de calidad visual. Los residuos bajos pueden indicar una evidencia de adquisición débil en lugar de alta calidad, y los residuos altos pueden derivar de limitaciones del backend o de movimientos complejos en lugar de un fallo de generación. El trabajo respalda la interpretación de estos diagnósticos mediante las pruebas de estrés de ControlBench.