Resumen Técnico: OrthoMotion

Declaración del Problema

La generación de vídeo controlable requiere un control independiente sobre el movimiento de la cámara y el movimiento del sujeto. Sin embargo, los métodos existentes sufren de entrelazamiento (entanglement), donde el control de un eje (por ejemplo, la órbita de la cámara) distorsiona inadvertidamente el otro (por ejemplo, la trayectoria del sujeto).

El artículo argumenta que esto no es meramente un fallo arquitectónico, sino una ambigüedad representacional. Basándose en la ecuación del flujo óptico para un punto de la escena a una profundidad $Z$, tanto el movimiento de traslación de la cámara como el automovimiento del objeto escalan con el factor de la inversa de la profundidad ($1/Z$). En consecuencia, en un entorno condicionado por 2D, la división entre el flujo inducido por la cámara y el flujo inducido por el objeto es un problema inverso mal planteado (no identificable). Sin restricciones explícitas, un modelo no puede distinguir entre una cámara en movimiento y un objeto en movimiento basándose únicamente en la evidencia de la imagen 2D, lo que conduce a un cruce de señales (cross-talk) inherente.

Metodología: OrthoMotion

OrthoMotion resuelve este entrelazamiento reformulando el desacoplamiento como un problema de diseño de operadores dentro del mecanismo de atención de un Transformador de Difusión (específicamente Wan2.1). Introduce la Atención de Ortogonalidad Geometría-Semántica (GSO), que enruta los controles de cámara y de sujeto hacia sub-operadores algebraicamente complementarios.

1. Canal Geométrico (Cámara)

El movimiento de la cámara se inyecta en la fase de Incrustación de Posición Rotatoria (RoPE).

• Mecanismo: En lugar de una inyección aditiva o de incrustaciones proyectivas que no preservan la norma (lo cual rompe los invariantes de RoPE), OrthoMotion aplica una rotación que preserva la norma a los vectores de consulta (query) y clave (key).
• Forma Matemática: Una matriz ortogonal global $\Omega(g) \in SO(d_h)$ se compone con la rotación estándar de RoPE $R(p)$. El logit resulta en $\tilde{q}_i^\top \tilde{k}_j = q_i^\top R(p_i)^\top \Phi_{ij} R(p_j) k_j$, donde $\Phi_{ij}$ depende únicamente de la pose relativa de la cámara.
• Garantía Teórica: Mediante la Proposición 1 y el Teorema 2, esta operación preserva las normas de los tokens y la geometría de la temperatura de la softmax, asegurando que el control de la cámara actúe como una deformación geométrica pura sin distorsionar las estadísticas de atención ni hacerse pasar por un término de objeto por píxel.

2. Canal Semántico (Sujeto)

El movimiento del sujeto se inyecta en los valores (values) de la Atención Cruzada.

• Mecanismo: Los tokens de la trayectoria del sujeto se anexan a las claves/valores de texto y son regulados por una máscara suave $M_t(x)$ específica de la región del sujeto.
• Forma Matemática: La actualización es una traslación aditiva en el espacio de los valores: $o_i = \sum \alpha_{ij} v_j + \sum \beta_{ik} v_{\tau}^k$.
• Garantía Teórica: Según la Proposición 3, esta operación es aditiva y local. No altera la geometría de la consulta/clave (la fase de la cámara) y está estrictamente confinada a la máscara del sujeto, evitando la fuga fuera de la región objetivo.

3. Regularizador de Desacoplamiento

Para asegurar que los dos canales no interfieran, los autores introducen un Regularizador de Desacoplamiento ($\mathcal{L}_\perp$).

• Objetivo: El regularizador minimiza la norma de Frobenius del producto interno entre los Jacobianos de respuesta de la cámara ($\hat{J}_g$) y del sujeto ($\hat{J}_\tau$):
  $$\mathcal{L}_\perp = \| \hat{J}_g^\top \hat{J}_\tau \|_F^2$$
• Garantía Teórica: El Teorema 3 demuestra que minimizar $\mathcal{L}_\perp$ impulsa los subespacios de respuesta hacia la ortogonalidad. Esto acota el cross-talk de primer orden (fuga) entre los dos controles. A diferencia de otros métodos que esperan que el desacoplamiento emerja, OrthoMotion lo garantiza por construcción.

Contribuciones Clave

1. Diagnóstico Representacional: El artículo demuestra formalmente que el entrelazamiento cámara-objeto proviene del escalado compartido de $1/Z$ en el flujo óptico, lo que hace que la división 2D sea no identificable sin restricciones de operador específicas.
2. Atención GSO con Regularización: Propone una arquitectura de doble canal (Fase Geométrica + Inyección de Valor Semántico) y un regularizador que impone matemáticamente la ortogonalidad entre sus subespacios de respuesta.
3. Métrica de Error de Cross-Talk (CTE): Se introduce una nueva métrica para cuantificar la fuga:
   • $CTE_{c \to s}$: Deriva del sujeto al realizar un barrido de la cámara.
   • $CTE_{s \to c}$: Deriva de la cámara al realizar un barrido del sujeto.
4. Primer Desacoplamiento Garantizado: Es el primer método que proporciona una garantía teórica de desacoplamiento en lugar de depender de un comportamiento emergente.

Resultados Experimentales

Evaluado sobre el backbone Wan2.1-1.3B (con pruebas de generalización en 14B y CogVideoX-2B), OrthoMotion logra:

• Precisión de Vanguardia (SOTA): Supera simultáneamente a los modelos de referencia (MotionCtrl, MotionPro, Tora+ReRoPE) en error de rotación/traslación de cámara y precisión de la trayectoria del sujeto (ObjMC).
• Reducción Drástica de Cross-Talk: Reduce el $CTE_{c \to s}$ en >2.4× en comparación con una variante sin el regularizador (11.3 px $\to$ 4.6 px).
• Sin Pérdida de Fidelidad: Logra estas mejoras sin degradar el FVD (Fréchet Video Distance) o la similitud CLIP; de hecho, mejora sobre ellos.
• Perspectivas de Ablación:
  • Eliminar el regularizador ($\mathcal{L}_\perp$) aumenta significativamente el cross-talk.
  • El uso de inyecciones que no preservan la norma (como Plücker aditivo) degrada la fidelidad.
  • El peso óptimo de la regularización se encuentra en $\lambda=0.1$.
  • El rendimiento de un solo eje iguala o supera al de controladores especializados, confirmando que no hay un "penalización por control conjunto".

Significado y Reivindicaciones

El artículo afirma resolver el problema abierto del control desacoplado de cámara y sujeto abordando la ambigüedad representacional de raíz, en lugar de simplemente ajustar la arquitectura.

• Cambio Teórico: Mueve el campo de tratar el desacoplamiento como un artefacto de datos o de entrenamiento a una garantía de diseño mediante la ortogonalidad de los operadores.
• Impacto Práctico: Permite la creación cinematográfica donde la cámara y el sujeto pueden dirigirse de forma independiente ("dos diales separados") sin las "tracciones" y "perturbaciones" vistas en métodos anteriores.
• Limitaciones: Los autores reconocen que el método actualmente depende de estimaciones de Jacobiano de primer orden y asume escenas rígidas (basado en la Ec. 1). La extensión de esto a sujetos deformables y escenas de múltiples objetos se identifica como trabajo futuro.