Resumen Técnico: Proprio: Autoevaluación Latente y Refinamiento en Tiempo de Inferencia para la Generación de Videos Físicamente Plausibles

1. Declaración del Problema

Los modelos generativos de video modernos, particularmente las arquitecturas basadas en difusión, han logrado una fidelidad visual notable. Sin embargo, frecuentemente violan principios físicos básicos, produciendo videos con colisiones poco realistas, interacciones de objetos imposibles o dinámicas inconsistentes. Estos fallos limitan su utilidad como modelos de mundo confiables para aplicaciones posteriores como la robótica y la simulación.

Las soluciones existentes para este problema suelen depender de mecanismos de retroalimentación externa:

• Intervenciones en tiempo de entrenamiento: Inyección de priores físicos o uso de conjuntos de datos curados (p. ej., [35, 24]).
• Evaluadores externos en tiempo de inferencia: Uso de Modelos Visuales-Lingüísticos (VLM) o modelos latentes de mundo preentrenados (p. ej., V-JEPA [37, 41]) para puntuar o guiar la generación.

Los autores identifican dos limitaciones críticas en el paradigma de retroalimentación externa:

1. Sesgo y Desalineación: Los VLM a menudo confunden la plausibilidad física con la alineación texto-imagen o la estética visual. Los modelos de mundo preentrenados operan en sus propios espacios de representación, creando una discrepancia con el espacio latente del generador.
2. Falta de Consistencia Intrínseca: Los evaluadores externos se entrenan con objetivos diferentes y no se alinean con las dinámicas específicas de eliminación de ruido del generador, lo que podría hacer que pasen por alto inconsistencias específicas del generador a través de los pasos de muestreo.

El artículo plantea una pregunta central: ¿Puede un generador de video aprovechar sus propias dinámicas de eliminación de ruido como una señal autocontenida para evaluar y mejorar la plausibilidad física de sus salidas?

2. Metodología: Proprio

Los autores proponen Proprio, un marco de trabajo sin entrenamiento y en tiempo de inferencia que permite a un generador de video congelado evaluar y refinar sus propias salidas. Inspirado en la propiocepción biológica (la sensación del propio movimiento), el método trata el residual de flujo interno del modelo bajo perturbaciones controladas como una señal de autoevaluación.

2.1 Concepto Central: Residuales de Flujo como Autoevaluación

El método se basa en la observación de que las muestras consistentes con la distribución aprendida por el generador (es decir, dinámicas naturales) deberían inducir residuales más pequeños y estables cuando se perturban.

• Perturbación: Para un video latente generado $z_0$, el método construye latentes perturbados $z_t$ en varios pasos del programador $t$ utilizando ruido controlado $\epsilon$.
• Cálculo del Residual: El modelo predice un campo de flujo $\hat{v}_\theta(z_t, t, c)$. El transporte objetivo es $v^*(z_0, \epsilon) \approx \epsilon - z_0$. El residual de flujo es la discrepancia:
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• Puntuación: La norma al cuadrado de este residual sirve como una puntuación local. Residuales más bajos indican que el modelo puede "explicar" mejor la muestra bajo perturbación, lo que implica una mayor plausibilidad física.

2.2 Agregación de Señales y Refinamiento

Para crear una puntuación robusta, Proprio agrega residuales a través de múltiples dimensiones:

1. Multi-perturbación y Multi-paso de tiempo: La puntuación se promedia sobre múltiples realizaciones de ruido y pasos de tiempo para reducir la sensibilidad a instancias específicas de ruido.
2. Ponderación por Inversa de Varianza: Los pasos de tiempo con alta varianza en los residuales (estimaciones inestables) se penalizan, mientras que los pasos de tiempo estables se priorizan.
3. Enmascaramiento Dinámico Espaciotemporal: Se aplica una máscara $\mathcal{M}$ para centrar la puntuación en regiones relevantes para el movimiento, filtrando el ruido de fondo estático que es menos informativo para la plausibilidad física. Se exploran tres estrategias de enmascaramiento:
   • Máscara de Movimiento: Basada en diferencias temporales en los fotogramas decodificados.
   • Máscara Consciente del Texto: Basada en cambios de atención cruzada entre tokens latentes y del prompt.
   • Máscara Basada en Atención: Basada en cambios en las características de autoatención.

2.3 Estrategias en Tiempo de Inferencia

Proprio utiliza la puntuación calculada $S(z_0)$ en dos modos principales:

1. Búsqueda Mejor-de-N: Generar $N$ latentes candidatos y seleccionar aquel con la menor auto-puntuación.
2. Auto-refinamiento: En lugar de reentrenar el generador, el método optimiza el ruido de muestreo inicial. Parametriza el ruido como $\zeta = \mu + \sigma \odot \zeta_0$ (donde $\zeta_0$ es el ruido base) y utiliza el descenso de gradiente para actualizar $\mu$ y $\sigma$ con el fin de minimizar la puntuación de Proprio. Un regularizador de divergencia KL asegura que el ruido optimizado permanezca cercano al prior gaussiano original.

3. Contribuciones Clave

1. Autoevaluación Nativa del Generador: Introducción de un marco sin entrenamiento que reutiliza el residual de eliminación de ruido de un generador congelado como un proxy intrínseco para la plausibilidad física, eliminando la necesidad de modelos de recompensa externos.
2. Auto-alineación en Tiempo de Inferencia: Un mecanismo para convertir esta auto-puntuación en un objetivo de optimización, refinando las salidas actualizando solo los parámetros del ruido inicial mientras se mantienen fijos los pesos del generador.
3. Validación Empírica: Demostración de mejoras consistentes en los benchmarks Text-to-Video (T2V) e Image-to-Video (I2V), mostrando que un único generador congelado puede actuar tanto como muestreador como autoevaluador.

4. Resultados Experimentales

Los autores evalúan Proprio en los benchmarks VideoPhy2 (T2V) y Physics-IQ (I2V), comparando contra selección aleatoria, puntuadores basados en VLM (Qwen-7B) y baselines de modelos de mundo externos (WMReward).

• Mejoras de Rendimiento:

  • En TurboWan2.2, Proprio mejora Physics-IQ de 32.2 a 37.5 (+16.5%) y el sentido común físico difícil de VideoPhy2 de 45.6 a 55.0 (+20.6%).
  • Proprio supera consistentemente a la puntuación basada en VLM y a menudo supera a WMReward, particularmente en las métricas de sentido común físico (PC).
  • Un enfoque de puntuación híbrido (combinando puntuaciones globales y conscientes del movimiento) proporciona el equilibrio más robusto entre la adherencia semántica y la consistencia física.

• Evaluación Humana:

  • En comparaciones pareadas, los evaluadores humanos prefirieron los videos seleccionados o refinados por Proprio para la plausibilidad física en aproximadamente el 67% de los casos.
  • La calidad visual se preservó en gran medida, con los evaluadores mostrando ninguna preferencia fuerte en contra de la línea base en muchos casos, lo que indica que las mejoras no son a expensas de la estética.

• Insights de Ablación:

  • Niveles de Ruido: Las señales de puntuación más informativas surgen de ruido de nivel medio (0.3–0.6 de los pasos de muestreo). El ruido bajo es demasiado local, mientras que el ruido alto pierde la estructura específica de la muestra.
  • Ponderación por Varianza: La ponderación por inversa de varianza mejora significativamente el rendimiento en modelos no destilados al priorizar pasos de tiempo estables.
  • Búsqueda vs. Refinamiento: La búsqueda (Mejor-de-N) es altamente efectiva para T2V debido a la alta diversidad de escenas. Para I2V, donde los candidatos están anclados a la misma imagen, el refinamiento juega un papel más dominante.

5. Significado y Afirmaciones

El artículo afirma que los generadores de video congelados contienen señales internas accionables para evaluar y mejorar la plausibilidad física. Al reinterpretar los propios residuales de flujo del modelo como una señal de preferencia de probabilidad, Proprio demuestra que:

• Los evaluadores externos no son estrictamente necesarios para la alineación física; las dinámicas internas del generador son suficientes.
• La escalabilidad en tiempo de inferencia (búsqueda y refinamiento) puede producir ganancias sustanciales sin reentrenamiento.
• El método ofrece un cambio de perspectiva: los sistemas futuros podrían explotar cada vez más señales internas del generador para la autoevaluación en lugar de depender únicamente de la supervisión externa o modelos de recompensa auxiliares.

Limitaciones Reconocidas:

• Proprio está limitado por el conocimiento codificado en el generador base; no puede recuperar dinámicas que el modelo no ha aprendido.
• Aumenta el costo de inferencia debido a la necesidad de múltiples pasos de puntuación de candidatos y refinamiento.
• El refinamiento basado en gradientes depende actualmente de modelos destilados para la viabilidad computacional, ya que la retropropagación a través de trayectorias de eliminación de ruido largas en modelos grandes sigue siendo costosa.