Resumo Técnico: OrthoMotion

Definição do Problema

A geração de vídeo controlável requer o controle independente do movimento da câmera e do movimento do objeto. No entanto, os métodos existentes sofrem de emaranhamento (entanglement), onde o controle de um eixo (ex: órbita da câmera) distorce inadvertidamente o outro (ex: trajetória do objeto).

O artigo argumenta que isso não é meramente uma falácia arquitetural, mas sim uma ambiguidade representacional. Com base na equação do fluxo óptico para um ponto da cena na profundidade $Z$, tanto o movimento de translação da câmera quanto o automovimento do objeto escalam com o fator de profundidade inversa ($1/Z$). Consequentemente, em um cenário condicionado por 2D, a divisão entre o fluxo induzido pela câmera e o fluxo induzido pelo objeto é um problema inverso mal posto (não identificável). Sem restrições explícitas, um modelo não consegue distinguir entre uma câmera em movimento e um objeto em movimento baseando-se apenas em evidências de imagem 2D, levando a um cross-talk inerente.

Metodologia: OrthoMotion

O OrthoMotion resolve esse emaranhamento reformulando o desacoplamento como um problema de design de operador dentro do mecanismo de atenção de um Transformer de Difusão (especificamente o Wan2.1). Ele introduz a Atenção de Ortogonalidade Geometria-Semântica (GSO), que roteia os controles de câmera e de objeto para sub-operadores algebricamente complementares.

1. Canal Geométrico (Câmera)

O movimento da câmera é injetado na fase de Embeddings de Posição Rotatória (RoPE).

• Mecanismo: Em vez de injeção aditiva ou embeddings projetivos que não preservam a norma (o que quebraria os invariantes do RoPE), o OrthoMotion aplica uma rotação preservadora de norma aos vetores de query e key.
• Forma Matemática: Uma matriz ortogonal global $\Omega(g) \in SO(d_h)$ é composta com a rotação padrão do RoPE $R(p)$. O logit torna-se $\tilde{q}_i^\top \tilde{k}_j = q_i^\top R(p_i)^\top \Phi_{ij} R(p_j) k_j$, onde $\Phi_{ij}$ depende apenas da pose relativa da câmera.
• Garantia Teórica: Por meio da Proposição 1 e do Teorema 2, esta operação preserva as normas dos tokens e a geometria da temperatura do softmax, garantindo que o controle da câmera atue como um puro warp geométrico sem distorcer as estatísticas de atenção ou se passar por um termo de objeto por pixel.

2. Canal Semântico (Objeto)

O movimento do objeto é injetado nos valores (values) da Atenção Cruzada (Cross-Attention).

• Mecanismo: Os tokens de trajetória do objeto são anexados às chaves/valores de texto e são controlados por uma máscara suave $M_t(x)$ específica para a região do objeto.
• Forma Matemática: A atualização é uma translação aditiva no espaço de valores: $o_i = \sum \alpha_{ij} v_j + \sum \beta_{ik} v_{\tau}^k$.
• Garantia Teórica: Conforme a Proposição 3, esta operação é aditiva e local. Ela não altera a geometria de query/key (a fase da câmera) e é estritamente confinada à máscara do objeto, evitando vazamentos fora da região alvo.

3. Regularizador de Desacoplamento

Para garantir que os dois canais não interfiram entre si, os autores introduzem um Regularizador de Desacoplamento ($\mathcal{L}_\perp$).

• Objetivo: O regularizador minimiza a norma de Frobenius do produto interno entre os Jacobianos de resposta da câmera ($\hat{J}_g$) e do objeto ($\hat{J}_\tau$):
  $$\mathcal{L}_\perp = \| \hat{J}_g^\top \hat{J}_\tau \|_F^2$$
• Garantia Teórica: O Teorema 3 prova que minimizar $\mathcal{L}_\perp$ conduz os subespaços de resposta à ortogonalidade. Isso limita o cross-talk de primeira ordem (vazamento) entre os dois controles. Diferente de métodos anteriores que esperam que o desacoplamento emerja, o OrthoMotion o garante por construção.

Principais Contribuições

1. Diagnóstico Representacional: O artigo prova formalmente que o emaranhamento câmera-objeto provém do escalonamento compartilhado $1/Z$ no fluxo óptico, tornando a divisão 2D não identificável sem restrições de operador específicas.
2. Atenção GSO com Regularização: Propõe uma arquitetura de canal duplo (Fase Geométrica + Injeção de Valor Semântico) e um regularizador que impõe matematicamente a ortogonalidade entre seus subespaços de resposta.
3. Métrica de Erro de Cross-Talk (CTE): Uma nova métrica é introduzida para quantificar o vazamento:
   • $CTE_{c \to s}$: Deriva do objeto ao realizar o varrimento da câmera.
   • $CTE_{s \to c}$: Deriva da câmera ao realizar o varrimento do objeto.
4. Primeiro Desacoplamento Garantido: É o primeiro método a fornecer uma garantia teórica de desacoplamento em vez de depender de comportamento emergente.

Resultados Experimentais

Avaliado no backbone Wan2.1-1.3B (com generalização testada em 14B e CogVideoX-2B), o OrthoMotion alcança:

• Precisão de Estado da Arte: Supera simultaneamente os modelos de referência (MotionCtrl, MotionPro, Tora+ReRoPE) em erro de rotação/translação de câmera e precisão de trajetória de objeto (ObjMC).
• Redução Drástica de Cross-Talk: Reduz o $CTE_{c \to s}$ em mais de 2,4× comparado a uma variante sem o regularizador (11,3 px $\to$ 4,6 px).
• Sem Perda de Fidelidade: Alcança esses ganhos sem degradar o FVD (Fréchet Video Distance) ou a similaridade CLIP; de fato, ele melhora esses índices.
• Insights de Ablação:
  • Remover o regularizador ($\mathcal{L}_\perp$) aumenta significativamente o cross-talk.
  • Usar injeções que não preservam a norma (como Plücker aditivo) degrada a fidelidade.
  • O peso ideal de regularização é encontrado em $\lambda=0,1$.
  • O desempenho de eixo único iguala ou supera controladores especializados, confirmando a ausência de "penalidade de controle conjunto".

Significância e Alegações

O artigo afirma resolver o problema aberto do controle desacoplado de câmera e objeto ao abordar a ambiguidade representacional raiz, em vez de apenas ajustar a arquitetura.

• Mudança Teórica: Move o campo de tratar o desacoplamento como um artefato de dados ou treinamento para um design garantido via ortogonalidade de operadores.
• Impacto Prático: Permite a criação cinematográfica onde câmera e objeto podem ser direcionados de forma independente ("dois controles separados") sem os "arrastos" e "perturbações" vistos em métodos anteriores.
• Limitações: Os autores reconhecem que o método atualmente depende de estimativas de Jacobiano de primeira ordem e assume cenas rígidas (baseado na Eq. 1). A extensão para objetos deformáveis e cenas com múltiplos objetos é identificada como trabalho futuro.