TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

Riepilogo Tecnico: TrackCraft3R

Enunciato del Problema
Il tracciamento 3D denso da video monoculare è essenziale per la comprensione di scene dinamiche, la manipolazione robotica e la generazione di video controllabili. Una sfida fondamentale in questo dominio è recuperare il moto degli oggetti all'interno di un sistema di coordinate 3D del mondo, annullando efficacemente il moto proprio della camera. Sebbene i recenti modelli fondazionali 3D forniscano geometrie affidabili per singolo fotogramma, recuperare un moto degli oggetti coerente nel tempo rimane difficile. I traccianti 3D esistenti rientrano generalmente in due categorie: (1) paradigmi iterativi addestrati da zero su dati 4D sintetici, che mancano di priori di moto reali; e (2) approcci feed-forward che affinano modelli di ricostruzione 3D pre-addestrati (appresi da immagini multivista statiche), che mancano di priori temporali ricchi derivanti dalle dinamiche video reali.

Al contrario, i transformer di diffusione video pre-addestrati (video DiT) codificano forti priori spaziotemporali da video su scala internet. Tuttavia, esiste un disallineamento fondamentale: i video DiT generano tipicamente output ancorati al fotogramma (prevedendo contenuti indipendentemente per ogni fotogramma), mentre il tracciamento 3D denso richiede output ancorati a un riferimento (tracciando gli stessi punti fisici da un fotogramma di riferimento nel tempo). I precedenti tentativi di utilizzare modelli di diffusione per la ricostruzione 4D, come MotionCrafter, si basano su un flusso di scena ancorato al fotogramma tra fotogrammi adiacenti, richiedendo una concatenazione temporale che porta all'accumulo di errori, in particolare sotto occlusione.

Metodologia: TrackCraft3R
TrackCraft3R è il primo metodo a riutilizzare un transformer di diffusione video come tracciante 3D denso feed-forward. Dato un video monoculare e la sua mappa di punti di ricostruzione ancorata al fotogramma (fornente geometria 3D in coordinate mondiali), TrackCraft3R prevede una mappa di punti di tracciamento ancorata a un riferimento in un singolo passaggio in avanti. Questo output traccia ogni pixel del primo fotogramma nel tempo, insieme alla sua visibilità.

L'innovazione centrale risiede nella conversione del paradigma generativo per singolo fotogramma dei video DiT in una formulazione di tracciamento ancorata a un riferimento attraverso due design chiave:

1. Rappresentazione a Doppio Latente: Il modello utilizza due tipi di latenti come input per il video DiT:

   • Latenti Geometrici ($g_j$): Codificati dal fotogramma RGB e dalla mappa di punti di ricostruzione per ogni istante temporale $t_j$. Questi rappresentano la geometria 3D della scena in ogni momento specifico.
   • Latenti di Tracciamento ($r_j$): Ancorati al fotogramma di riferimento ($I_0$). Questi sono generati replicando il latente geometrico del primo fotogramma ($g_0$) attraverso tutti gli istanti temporali. Agiscono come punti di query densi definiti nel fotogramma di riferimento.
   • Il modello elabora la concatenazione di questi latenti utilizzando l'attenzione 3D completa. Intuitivamente, i latenti di tracciamento prestano attenzione ai latenti geometrici attraverso i fotogrammi per determinare la posizione 3D del punto fisico corrispondente all'istante temporale target.

2. Allineamento RoPE Temporale: Per garantire che ogni latente di tracciamento presti attenzione al latente geometrico all'istante temporale corretto, il metodo impiega Embedding Posizionali Rotativi 3D (RoPE). Assegnando lo stesso indice temporale $t_j$ sia al latente di tracciamento $r_j$ che al latente geometrico $g_j$, il meccanismo di attenzione è orientato a focalizzarsi sulla geometria allineata temporalmente. Ciò permette al modello di recuperare la posizione 3D corretta per un punto tracciato dal fotogramma di riferimento fino al tempo $t_j$.

Il modello è addestrato utilizzando il fine-tuning LoRA (Low-Rank Adaptation) su un video DiT (specificamente Wan 2.1-T2V). Invece di regressare direttamente la mappa di punti 3D assoluta, il modello prevede un tracciato residuo ($\Delta_j = P_0(t_j) - P_0(t_0)$) relativo al fotogramma di riferimento, il che stabilizza l'addestramento. La visibilità è prevista simultaneamente.

Contributi Chiave

1. Primo Riutilizzo di Video DiT per il Tracciamento 3D: TrackCraft3R è il primo metodo adadattare un transformer di diffusione video per il tracciamento 3D denso feed-forward, superando il paradigma standard di generazione ancorata al fotogramma.
2. Design Architettonici Novelli: Il paper introduce la rappresentazione a doppio latente e l'allineamento RoPE temporale per colmare il divario tra modelli video generativi e compiti di tracciamento ancorati a un riferimento.
3. Prestazioni e Efficienza all'Avanguardia: Il metodo ottiene risultati all'avanguardia su benchmark standard di tracciamento 3D sparso e denso. In particolare, esegue 1.3× più velocemente e utilizza 4.6× meno memoria di picco rispetto al metodo iterativo precedente più forte (DELTAv2).
4. Robustezza: L'approccio dimostra robustezza a grandi movimenti e video lunghi, generalizzando oltre la lunghezza della sequenza di addestramento senza errori di concatenazione temporale.

Risultati
Valutato su benchmark inclusi ADT, PStudio, Dynamic Replica, Point Odyssey e Kubric, TrackCraft3R ottiene il miglior AJ medio (Average Jaccard), APD3D (Average Percentage of Points within $\delta_{3D}$) e OA (Occlusion Accuracy).

• Prestazioni: Con il stimatore di geometria DA3, TrackCraft3R supera significativamente DELTAv2 + DA3 e tutti gli altri baseline feed-forward.
• Efficienza: Su una singola GPU NVIDIA A6000, TrackCraft3R elabora clip di 12 fotogrammi in 3.91 secondi con 7.63 GB di memoria di picco, rispetto ai 5.00 secondi e 35.46 GB di DELTAv2.
• Robustezza su Video Lunghi: Gli esperimenti mostrano che all'aumentare del passo temporale o della lunghezza del video, le prestazioni di TrackCraft3R degradano molto più lentamente rispetto ai metodi iterativi, confermando l'efficacia dei priori di moto appresi.

Significato e Affermazioni
Il paper afferma che TrackCraft3R sfrutta con successo i ricchi priori spaziotemporali dei dati video su scala internet, tipicamente assenti nei modelli addestrati esclusivamente su dati 4D sintetici o ricostruzioni multivista statiche. Riutilizzando un video DiT, il metodo evita l'accumulo di errori intrinseco nella concatenazione temporale (usata dai metodi di flusso ancorati al fotogramma) e il costo computazionale iterativo dei traccianti tradizionali.

Gli autori sottolineano che il metodo è compatibile con qualsiasi stimatore di geometria 3D (ad es. ViPE, DA3), il che significa che le sue prestazioni possono migliorare man mano che i modelli esterni di stima della geometria avanzano, senza richiedere il riaddestramento del tracciante stesso. Sebbene il metodo dipenda da input di geometria esterni, rappresenta un passo significativo verso l'unificazione dei priori video generativi con la percezione 4D densa, offrendo una base per applicazioni nella manipolazione robotica e nella ricostruzione di scene dinamiche. Il paper nota modestamente che la sua accuratezza è attualmente limitata dalla qualità della geometria in ingresso, suggerendo che un lavoro futuro potrebbe coinvolgere la generazione congiunta di video e tracciati 3D all'interno di un singolo modello unificato.