Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting

1. Il Problema

Il controllo preciso della camera per il "reshooting" (ri-registrazione) di video dinamici è attualmente limitato dalla scarsità critica di dati multi-vista accoppiati per scene non rigide.

• Limitazioni dei metodi esistenti:
  • I modelli addestrati su dati sintetici soffrono di un ampio divario di generalizzazione (synthetic-to-real gap), fallendo su interazioni complesse o domini fotorealistici non visti in addestramento.
  • I metodi basati su ricostruzioni 4D/3D (come anchor-only) sono vulnerabili agli errori di ricostruzione; gli artefatti nel video di riferimento (anchor) si propagano direttamente all'output finale.
  • La raccolta di coppie di video reali che catturano la stessa azione da diverse prospettive è logisticamente inattuabile su larga scala.

2. Metodologia

Gli autori propongono un framework self-supervised altamente scalabile che genera triplette di addestramento pseudo-multi-vista partendo esclusivamente da video monocolari (internet-scale).

A. Generazione di Triplette Pseudo Multi-Vista

Il cuore del metodo è la creazione di tre componenti da un singolo video di input ($V$):

1. Video Sorgente ($V_s$) e Video Target ($V_t$): Si estraggono due clip distinte dallo stesso video originale utilizzando traiettorie di "random walk" (camminata casuale) lisce e indipendenti. Questo simula due telecamere in movimento che osservano la stessa scena da angolazioni diverse.
2. Video Anchor ($V_a$): Viene generato sinteticamente "warpping" (trasformando) il primo frame della sorgente ($V_s[0]$) per allinearlo alla traiettoria del target ($V_t$). Questo processo utilizza un campo di flusso denso (tramite AllTracker) e un warping forward (SoftSplat).
   • Scopo: L'anchor simula gli input distorti basati su point-cloud che ci si aspetta durante l'inferenza, introducendo artificialmente occlusioni e dis-occlusioni.

B. Apprendimento Implicito 4D Spaziotemporale

La strategia di addestramento costringe il modello a imparare strutture 4D senza annotazioni 3D esplicite:

• Ignorare gli artefatti: Il modello deve trattare l'anchor ($V_a$) solo come guida geometrica, ignorando i suoi artefatti di warping.
• Routing del contenuto: Poiché $V_s$ e $V_t$ non sono allineati spazialmente, il modello non può copiare il frame corrente. Deve cercare le texture mancanti (es. lati di un oggetto nascosti in $V_s[t]$ ma visibili in $V_s[t+k]$) all'interno della sorgente temporale e proiettarle correttamente nel target.
• Costruzione 4D: Questo vincolo spaziale ("spatial bottleneck") forza il modello a costruire un prior 4D implicito, imparando a re-proiettare texture attraverso tempo e punti di vista diversi.

C. Architettura del Modello

Il modello si basa su un Diffusion Transformer (DiT) pre-addestrato (WAN 2.2 I2V) con adattamenti specifici:

• Fusione Token-based: Invece di usare cross-attention (inefficace per questo compito), i latenti dell'Anchor ($z_a$) e della Sorgente ($z_s$) vengono concatenati temporalmente e processati dai blocchi di self-attention principali.
• Offset RoPE: Viene applicato un offset fisso alle positional embeddings temporali dei token della sorgente per disaccoppiarli dalla traiettoria temporale del target, permettendo una generazione flessibile.
• Loss di Ricostruzione: Viene applicata una loss ausiliaria sui token di output della sorgente per garantire che il contenuto originale venga preservato e non degradato.
• Augmentazioni Tecniche: Per robustezza, si utilizzano sfondi fluorescenti nelle maschere dell'anchor, rumore 3D-aware (che si muove con la struttura) e warping casuale del frame di riferimento.

D. Strategia Ibrida

Sebbene il metodo sia self-supervised su video monocolari, viene introdotta una miscela del 15% di dati sintetici multi-vista (da ReCamMaster) per migliorare la generalizzazione su traiettorie di camera estreme (es. rotazioni orbitali di 120°) che sono rare nei video reali.

3. Contributi Chiave

1. Pipeline Self-Supervised Scalabile: Un metodo per generare triplette di addestramento (Sorgente, Anchor, Target) da qualsiasi video monocular, eliminando la dipendenza da dati multi-vista accoppiati.
2. Architettura Efficiente: Un adattamento minimale di un modello DiT pre-addestrato che sfrutta l'attenzione self-organizzata per il routing dinamico delle texture, evitando la complessità di pipeline 3D esplicite.
3. Apprendimento di Strutture 4D: Dimostrazione che un modello può apprendere implicitamente la geometria 4D e la dinamica spaziotemporale risolvendo un compito di routing 2D con vincoli di occlusione artificiale.

4. Risultati

Il modello è stato valutato su un set di 100 video dinamici reali, confrontato con stati dell'arte come ReCamMaster, EX-4D e TrajectoryCrafter.

• Metriche Quantitative (VBench, Sincronizzazione Vista, Accuratezza Camera):
  • Il metodo proposto (Ours) ottiene il miglior punteggio nella coerenza temporale (99.21% Smoothness) e nella qualità estetica.
  • Supera i baselines nella sincronizzazione vista (CLIP-V: 93.16 vs 88.91 di ReCamMaster) e nella fedeltà geometrica (FVD-V più basso).
  • Mostra un'accuratezza della camera competitiva, sebbene leggermente inferiore ai metodi puramente sintetici su traiettorie estreme, ma con una fedeltà visiva nettamente superiore.
• Risultati Qualitativi:
  • Il modello gestisce efficacemente movimenti di camera complessi (es. tremori, orbite) e dettagli fini (es. espressioni facciali, texture di oggetti) che i metodi basati solo su anchor o dati sintetici non riescono a preservare, producendo spesso artefatti o allucinazioni strutturali.
  • L'uso dei dati sintetici in combinazione con quelli monocolari (Ours + Syn) è cruciale per gestire traiettorie estreme fuori distribuzione, mantenendo al contempo la fedeltà delle texture reali.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso il reshooting video "in-the-wild" (in condizioni reali) senza la necessità di costose acquisizioni multi-camera o annotazioni 3D.

• Democratizzazione: Rende possibile l'addestramento su dataset di dimensioni internet-scale, aprendo la strada a modelli più robusti e generalizzabili.
• Paradigma di Apprendimento: Dimostra che l'apprendimento di strutture 4D complesse può emergere da vincoli 2D intelligenti (occlusioni artificiali e routing temporale), offrendo un'alternativa efficiente ai costosi pipeline di ricostruzione 3D.
• Applicazioni Future: Il framework è fondamentale per applicazioni come la post-produzione cinematografica, la realtà virtuale/aumentata e la robotica, dove la capacità di modificare la prospettiva di un video esistente è essenziale.

In sintesi, Reshoot-Anything risolve il collo di bottiglia dei dati multi-vista trasformando il problema in un compito di routing spaziotemporale auto-supervisionato, ottenendo risultati di stato dell'arte nella coerenza temporale e nel controllo della camera su scene dinamiche complesse.