Resumen Técnico: ParaScale

Planteamiento del Problema

El control de cámara basado en referencias en el video generativo busca transferir el movimiento cinemático de un clip de referencia a una nueva escena generada. Sin embargo, existe una incompatibilidad geométrica fundamental entre escenas de referencia y de destino arbitrarias: a menudo operan en escalas físicas vastamente diferentes (por ejemplo, una cámara que recorre una galaxia frente a una que se desplaza ligeramente sobre un escritorio).

Los métodos actuales extraen una trayectoria de cámara (traslación $T$ y rotación $\omega$) de una referencia e inyectan directamente en un generador de destino. Esta transferencia "ingenua" falla porque la reconstrucción monocular recupera la traslación y la profundidad solo hasta un factor de escala global desconocido (una transformación de similitud). En consecuencia, la magnitud absoluta de la traslación $\|T\|$ carece de sentido sin un factor de escala de profundidad $Z$ correspondiente. Cuando se aplica una trayectoria de referencia a un objetivo con una escala de escena diferente, el movimiento resultante es o bien imperceptible (si el objetivo es "más grande" que la referencia) o violentamente exagerado (si el objetivo es "más pequeño"), rompiendo la fidelidad visual de la generación.

Metodología: El Número de Paralaje y ParaScale

Fundamento Teórico

El artículo establece que la fuerza percibida del movimiento de traslación está gobernada no por el vector de traslación bruto, sino por la relación entre la traslación y la profundidad. Basándose en la ecuación de proyección para un punto a una profundidad $Z$, el movimiento de la imagen inducido por la traslación escala como $\|T\|/Z$.

Los autores definen el Número de Paralaje ($\Pi$) como un descriptor adimensional e invariante de la escala (gauge-invariant):
$$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$$
Donde:

• $\|\Delta T_t\|$ es la línea de base de la cámara entre fotogramas (magnitud de traslación).
• $\bar{Z}_t$ es la profundidad de la escena mediana robusta para ese fotograma.

El artículo demuestra que $\Pi$ es invariante bajo la escala de profundidad (escalar tanto $T$ como $Z$ por un factor $s$ deja a $\Pi$ sin cambios). Por lo tanto, $\Pi$, en lugar de la trayectoria bruta $T$, es la cantidad única que debe preservarse para lograr una transferencia de movimiento fiel a la escala.

El Módulo ParaScale

ParaScale es un módulo plug-and-play, libre de entrenamiento, insertado entre la extracción de pose e la inyección de pose en un flujo de trabajo generativo. Opera de la siguiente manera:

1. Extracción: A partir del video de referencia, estima la trayectoria de la cámara y una profundidad mediana robusta $\bar{Z}^{ref}_t$ utilizando Structure-from-Motion (SfM) monocular y un estimador de profundidad. Calcula el Número de Paralaje $\Pi^{ref}_t$ invariante de la escala.
2. Estimación del Objetivo: Para la escena de destino, estima la profundidad mediana $\bar{Z}^{tgt}_t$ a partir de la imagen de condicionamiento o del primer latente.
3. Re-realización: Calcula una ganancia de traslación por fotograma $\alpha_t$ para igualar el Número de Paralaje de la referencia con la profundidad del objetivo:
   $$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$$
   La traslación calibrada es $T^{cal}_t = \alpha_t T^{ref}_t$, mientras que la rotación $R^{cal}_t$ se pasa sin cambios ($R^{ref}_t$).
4. Inyección: Las extrínsecas calibradas se convierten al formato requerido por el generador (por ejemplo, mapas de Plücker o matrices $RT$ puras) y se introducen en un modelo de difusión condicionado por pose que permanece congelado.

Las pruebas teóricas en el artículo demuestran que esta adaptación por fotograma es necesaria y suficiente para preservar el perfil de paralaje temporal, mientras que el escalado global o la ausencia de escalado fallan cuando la profundidad de la escena varía en el tiempo o difiere significativamente entre escenas.

Métrica de Evaluación: PCE

Para cuantificar la fidelidad de la escala, los autores introducen el Error de Consistencia de Paralaje (PCE):
$$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$$
A diferencia de las métricas estándar como TransErr (que dependen de la alineación de similitud y pueden ocultar desajustes de escala global), el PCE es simétrico respecto a la escala e invariante de la escala (gauge-invariant). Expone directamente las discrepancias en la fuerza del movimiento percibido.

Contribuciones Clave

1. Principio Invariante de Escala: La identificación del Número de Paralaje ($\Pi$) como el invariante correcto para la transferencia de movimiento, demostrando que preservar las trayectorias brutas es geométricamente erróneo.
2. ParaScale: Un módulo de inferencia libre de entrenamiento, agnóstico al generador, que re-realiza $\Pi$ por fotograma frente a la profundidad de la escena objetivo, sin requerir el reentrenamiento del backbone generativo.
3. Métrica PCE: Una nueva métrica de evaluación que mide específicamente la fidelidad de la escala y expone los desajustes de escala de la escena que las métricas tradicionales pasan por alto.
4. Validación Empírica: Demostración a través de cuatro órdenes de magnitud en la escala de la escena (mesa, humano/habitación, arquitectura y cósmica) y múltiples arquitecturas de backbone.

Resultados

Los experimentos se realizaron utilizando un backbone de transformador de difusión Wan2.1 con condicionamiento de Plücker, comparando ParaScale contra la transferencia Bruta (Raw transfer), el escalado de norma global (Global-norm scaling), MotionMaster y la calibración de escala en tiempo de entrenamiento de CameraCtrl II.

• Fidelidad de Escala: ParaScale es el único método que mantiene el Número de Paralaje realizado sobre la línea de identidad en todos los regímenes de escala. La transferencia Bruta subestima significativamente las escenas cósmicas y sobreestima las escenas de mesa.
• Reducción de Error: ParaScale reduce el Error de Consistencia de Paralaje (PCE) en más de 3$\times$ en comparación con la transferencia Bruta no calibrada y supera a los métodos de escala global y de calibración en tiempo de entrenamiento.
• Fidelidad Visual: El método logra estas mejoras sin pérdida de calidad visual; los puntajes FVD (Distancia de Fréchet de Video) y CLIP-SIM se preservan o mejoran en comparación con las líneas base.
• Generalidad: El módulo funciona eficazmente a través de diferentes tipos de generadores (condicionados por Plücker y condicionados por Matriz) sin necesidad de reentrenamiento.

Significancia y Reivindicaciones

El artículo afirma que ParaScale aborda un "supuesto silencioso" en los controladores basados en referencias: que los números de trayectoria son directamente reutilizables. Al formalizar el hecho geométrico de que el movimiento inducido por traslación depende de la profundidad, los autores proporcionan una solución rigurosa al problema del desajuste de escala.

La significancia radica en permitir a los creadores reutilizar movimientos de cámara cinemáticos en contextos muy distintos (desde escalas macro hasta cósmicas) sin intervención manual o reentrenamiento. El artículo sostiene que ParaScale es el primer método que expone y re-realiza el Número de Paralaje invariante de la escala en el tiempo de inferencia entre referencias y objetivos arbitrarios.

Limitaciones: Los autores señalan que el método depende de estimaciones de profundidad monocular (donde los errores se propagan linealmente en la ganancia $\alpha_t$) y asume una geometría de escena rígida según el modelo de proyección subyacente. La extensión del enfoque a escenas dinámicas y campos de escala anisotrópicos se identifica como trabajo futuro.