Riepilogo Tecnico: OrthoMotion

Problema

La generazione di video controllabile richiede un controllo indipendente sul movimento della telecamera e sul movimento del soggetto. Tuttavia, i metodi esistenti soffrono di entanglement (aggrovigliamento), in cui il controllo di un asse (ad esempio, l'orbita della telecamera) distorce involontariamente l'altro (ad esempio, la traiettoria del soggetto).

Il paper sostiene che questo non sia semplicemente un fallimento architettonico, ma un'ambiguità rappresentazionale. In base all'equazione del flusso ottico per un punto della scena alla profondità $Z$, sia il movimento traslazionale della telecamera che l'auto-movimento dell'oggetto scalano con il fattore di profondità inversa ($1/Z$). Di conseguenza, in un contesto condizionato da dati 2D, la separazione tra il flusso indotto dalla telecamera e quello indotto dall'oggetto è un problema inverso mal posto (non identificabile). Senza vincoli espliciti, un modello non può distinguere tra una telecamera in movimento e un oggetto in movimento basandosi esclusivamente sull'evidenza d'immagine 2D, portando a un intrinseco cross-talk.

Metodologia: OrthoMotion

OrthoMotion risolve questo entanglement riformulando il disaccoppiamento come un problema di progettazione degli operatori all'interno del meccanismo di attenzione di un Diffusion Transformer (specificamente Wan2.1). Introduce la GSO Attention (Geometry–Semantics Orthogonal), che instrada i controlli della telecamera e del soggetto in sottoperatori algebricamente complementari.

1. Canale Geometrico (Telecamera)

Il movimento della telecamera viene iniettato nella fase di Rotary Position Embedding (RoPE).

• Meccanismo: Invece di un'iniezione additiva o di embedding proiettivi che non preservano la norma (il che romperebbe gli invarianti del RoPE), OrthoMotion applica una rotazione che preserva la norma ai vettori query e key.
• Forma Matematica: Una matrice ortogonale globale $\Omega(g) \in SO(d_h)$ viene composta con la rotazione standard del RoPE $R(p)$. Il logit diventa $\tilde{q}_i^\top \tilde{k}_j = q_i^\top R(p_i)^\top \Phi_{ij} R(p_j) k_j$, dove $\Phi_{ij}$ dipende solo dalla posa relativa della telecamera.
• Garanzia Teorica: Secondo la Proposizione 1 e il Teorema 2, questa operazione preserva le norme dei token e la geometria della temperatura softmax, garantendo che il controllo della telecamera agisca come una pura deformazione geometrica senza distorcere la statistica dell'attenzione o mascherarsi da termine per pixel dell'oggetto.

2. Canale Semantico (Soggetto)

Il movimento del soggetto viene iniettato nei valori (values) della Cross-Attention.

• Meccanismo: I token della traiettoria del soggetto vengono aggiunti alle chiavi/valori del testo e sono regolati da una maschera morbida $M_t(x)$ specifica per la regione del soggetto.
• Forma Matematica: L'aggiornamento è una traslazione additiva nello spazio dei valori: $o_i = \sum \alpha_{ij} v_j + \sum \beta_{ik} v_{\tau}^k$.
• Garanzia Teorica: Come indicato dalla Proposizione 3, questa operazione è additiva e locale. Non altera la geometria query/key (la fase della telecamera) ed è strettamente confinata alla maschera del soggetto, impedendo la fuga al di fuori della regione target.

3. Regolarizzatore di Disaccoppiamento

Per garantire che i due canali non interferiscano, gli autori introducono un Regolarizzatore di Disaccoppiamento ($\mathcal{L}_\perp$).

• Obiettivo: Il regolarizzatore minimizza la norma di Frobenius del prodotto interno tra i Jacobiani di risposta della telecamera ($\hat{J}_g$) e del soggetto ($\hat{J}_\tau$):
  $$\mathcal{L}_\perp = \| \hat{J}_g^\top \hat{J}_\tau \|_F^2$$
• Garanzia Teorica: Il Teorema 3 dimostra che la minimizzazione di $\mathcal{L}_\perp$ guida gli spazi di risposta verso l'ortogonalità. Ciò limita il cross-talk di primo ordine tra i due controlli. A differenza dei metodi precedenti che sperano che il disaccoppiamento emerga, OrthoMotion lo garantisce per costruzione.

Contributi Chiave

1. Diagnosi Rappresentazionale: Il paper dimostra formalmente che l'entanglement telecamera-oggetto deriva dallo scaling condiviso $1/Z$ nel flusso ottico, rendendo la separazione 2D non identificabile senza specifici vincoli operativi.
2. GSO Attention con Regolarizzazione: Propone un'architettura a doppio canale (Fase Geometrica + Iniezione Semantica dei Valori) e un regolarizzatore che impone matematicamente l'ortogonalità tra i loro spazi di risposta.
3. Metrica di Errore di Cross-Talk (CTE): Viene introdotta una nuova metrica per quantificare la fuga:
   • $CTE_{c \to s}$: Drift del soggetto durante la scansione della telecamera.
   • $CTE_{s \to c}$: Drift della telecamera durante la scansione del soggetto.
4. Primo Disaccoppiamento Garantito: È il primo metodo a fornire una garanzia teorica di disaccoppiamento invece di fare affidamento su comportamenti emergenti.

Risultati Sperimentali

Valutato sul backbone Wan2.1-1.3B (con test di generalizzazione su 14B e CogVideoX-2B), OrthoMotion raggiunge:

• Accuratezza State-of-the-Art: Supera simultaneamente i baseline (MotionCtrl, MotionPro, Tora+ReRoPE) in termini di errore di rotazione/traslazione della telecamera e accuratezza della traiettoria dell'oggetto (ObjMC).
• Riduzione Drastica del Cross-Talk: Riduce il $CTE_{c \to s}$ di oltre 2,4 volte rispetto a una variante senza regolarizzatore (da 11,3 px a 4,6 px).
• Nessuna Perdita di Fedeltà: Ottiene questi guadagni senza degradare la FVD (Fréchet Video Distance) o la similarità CLIP; anzi, migliora i risultati.
• Insight dalle Ablazioni:
  • La rimozione del regolarizzatore ($\mathcal{L}_\perp$) aumenta significativamente il cross-talk.
  • L'uso di iniezioni non preservanti della norma (come la Plücker additiva) degrada la fedeltà.
  • Il peso ottimale della regolarizzazione è trovato a $\lambda=0.1$.
  • Le prestazioni su singolo asse eguagliano o superano i controller specializzati, confermando l'assenza di un "penalità di controllo congiunto".

Significato e Rivendicazioni

Il paper sostiene di aver risolto il problema aperto del controllo disaccoppiato di telecamera e soggetto affrontando l'ambiguità rappresentazionale alla radice, piuttosto che limitarsi a regolare l'architettura.

• Svolta Teorica: Sposta il campo dal trattare il disaccoppiamento come un artefatto dei dati o dell'addestramento a una garanzia di design tramite l'ortogonalità degli operatori.
• Impatto Pratico: Permette la creazione cinematografica in cui telecamera e soggetto possono essere guidati indipendentmente (come "due manopole separate") senza i "trascinamenti" e le "perturbazioni" osservati nei metodi precedenti.
• Limitazioni: Gli autori riconoscono che il metodo attualmente si basa su stime del Jacobiano del primo ordine e assume scene rigide (basandosi su Eq. 1). L'estensione a soggetti deformabili e scene con più oggetti è identificata come lavoro futuro.