TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

Resumen Técnico: TrackCraft3R

Enunciado del Problema
El seguimiento 3D denso a partir de video monoculo es esencial para la comprensión de escenas dinámicas, la manipulación robótica y la generación de video controlable. Un desafío fundamental en este dominio es recuperar el movimiento de los objetos dentro de un marco de coordenadas 3D del mundo, cancelando efectivamente el movimiento propio de la cámara. Aunque los modelos fundacionales 3D recientes proporcionan geometría fiable por cuadro, recuperar un movimiento de objetos consistente a lo largo del tiempo sigue siendo difícil. Los seguidores 3D existentes generalmente caen en dos categorías: (1) paradigmas iterativos entrenados desde cero con datos 4D sintéticos, que carecen de priores de movimiento del mundo real; y (2) enfoques de alimentación directa que ajustan finamente modelos de reconstrucción 3D preentrenados (aprendidos a partir de imágenes multivista estáticas), que carecen de priores temporales ricos provenientes de la dinámica de video del mundo real.

Por el contrario, los transformadores de difusión de video preentrenados (video DiTs) codifican fuertes priores espaciotemporales a partir de videos a escala de internet. Sin embargo, existe una discrepancia fundamental: los video DiTs suelen generar salidas ancladas al cuadro (prediciendo contenido independientemente para cada cuadro), mientras que el seguimiento 3D denso requiere salidas ancladas a una referencia (rastrear los mismos puntos físicos desde un cuadro de referencia a lo largo del tiempo). Los intentos anteriores de utilizar modelos de difusión para la reconstrucción 4D, como MotionCrafter, dependen del flujo de escena anclado al cuadro entre cuadros adyacentes, lo que requiere una concatenación temporal que conduce a la acumulación de errores, particularmente bajo oclusión.

Metodología: TrackCraft3R
TrackCraft3R es el primer método que reutiliza un transformador de difusión de video como un seguidor 3D denso de alimentación directa. Dado un video monoculo y su mapa de puntos de reconstrucción anclado al cuadro (proporcionando geometría 3D en coordenadas del mundo), TrackCraft3R predice un mapa de puntos de seguimiento anclado a la referencia en una sola pasada de alimentación directa. Esta salida rastrea cada píxel del primer cuadro a lo largo del tiempo, junto con su visibilidad.

La innovación central radica en convertir el paradigma generativo por cuadro de los video DiTs en una formulación de seguimiento anclada a la referencia mediante dos diseños clave:

1. Representación de Doble Latente: El modelo utiliza dos tipos de latentes como entradas al video DiT:

   • Latentes de Geometría ($g_j$): Codificados a partir del cuadro RGB y el mapa de puntos de reconstrucción de cada marca temporal $t_j$. Estos representan la geometría 3D de la escena en cada momento específico.
   • Latentes de Rastreo ($r_j$): Anclados al cuadro de referencia ($I_0$). Estos se generan replicando el latente de geometría del primer cuadro ($g_0$) a través de todas las marcas temporales. Actúan como puntos de consulta densos definidos en el cuadro de referencia.
   • El modelo procesa la concatenación de estos latentes utilizando atención 3D completa. Intuitivamente, los latentes de rastreo atienden a los latentes de geometría a través de los cuadros para determinar la posición 3D del punto físico correspondiente en la marca temporal objetivo.

2. Alineación Temporal RoPE: Para asegurar que cada latente de rastreo atiende al latente de geometría en la marca temporal correcta, el método emplea Incrustaciones Posicionales Rotativas 3D (RoPE). Al asignar el mismo índice temporal $t_j$ tanto al latente de rastreo $r_j$ como al latente de geometría $g_j$, el mecanismo de atención se sesga para enfocarse en la geometría alineada temporalmente. Esto permite al modelo recuperar la posición 3D correcta para un punto rastreado desde el cuadro de referencia hasta el tiempo $t_j$.

El modelo se entrena utilizando ajuste fino LoRA (Adaptación de Bajo Rango) en un video DiT (específicamente Wan 2.1-T2V). En lugar de regredir el mapa de puntos 3D absoluto directamente, el modelo predice un rastro residual ($\Delta_j = P_0(t_j) - P_0(t_0)$) relativo al cuadro de referencia, lo que estabiliza el entrenamiento. La visibilidad se predice simultáneamente.

Contribuciones Clave

1. Primera Reutilización de Video DiT para Seguimiento 3D: TrackCraft3R es el primer método que adapta un transformador de difusión de video para el seguimiento 3D denso de alimentación directa, superando el paradigma estándar de generación anclada al cuadro.
2. Diseños Arquitectónicos Nuevos: El artículo introduce la representación de doble latente y la alineación temporal RoPE para cerrar la brecha entre los modelos de video generativos y las tareas de seguimiento ancladas a la referencia.
3. Rendimiento y Eficiencia de Vanguardia: El método logra resultados de vanguardia en estándares de seguimiento 3D disperso y denso. Cabe destacar que funciona 1.3× más rápido y utiliza 4.6× menos memoria pico que el método iterativo previo más fuerte (DELTAv2).
4. Robustez: El enfoque demuestra robustez ante movimientos grandes y videos largos, generalizando más allá de la longitud de la secuencia de entrenamiento sin errores de concatenación temporal.

Resultados
Evaluado en estándares que incluyen ADT, PStudio, Dynamic Replica, Point Odyssey y Kubric, TrackCraft3R logra el mejor AJ promedio (Jaccard Promedio), APD3D (Porcentaje Promedio de Puntos dentro de $\delta_{3D}$) y OA (Precisión de Oclusión).

• Rendimiento: Con el estimador de geometría DA3, TrackCraft3R supera significativamente a DELTAv2 + DA3 y a todos los demás baselines de alimentación directa.
• Eficiencia: En una sola GPU NVIDIA A6000, TrackCraft3R procesa clips de 12 cuadros en 3.91 segundos con 7.63 GB de memoria pico, en comparación con los 5.00 segundos y 35.46 GB de DELTAv2.
• Robustez en Videos Largos: Los experimentos muestran que a medida que aumenta el salto temporal o la longitud del video, el rendimiento de TrackCraft3R se degrada mucho más lentamente que los métodos iterativos, confirmando la efectividad de los priores de movimiento aprendidos.

Significado y Afirmaciones
El artículo afirma que TrackCraft3R aprovecha con éxito los ricos priores espaciotemporales de los datos de video a escala de internet, que típicamente están ausentes en modelos entrenados únicamente con datos 4D sintéticos o reconstrucciones multivista estáticas. Al reutilizar un video DiT, el método evita la acumulación de errores inherente a la concatenación temporal (utilizada por los métodos de flujo anclados al cuadro) y el costo computacional iterativo de los seguidores tradicionales.

Los autores enfatizan que el método es compatible con cualquier estimador de geometría 3D (por ejemplo, ViPE, DA3), lo que significa que su rendimiento puede mejorar a medida que avancen los modelos externos de estimación de geometría sin requerir el reentrenamiento del seguidor en sí. Aunque el método depende de entradas de geometría externas, representa un paso significativo hacia la unificación de priores de video generativos con la percepción 4D densa, ofreciendo una base para aplicaciones en manipulación robótica y reconstrucción de escenas dinámicas. El artículo nota modestamente que su precisión está actualmente limitada por la calidad de la geometría de entrada, sugiriendo que el trabajo futuro podría involucrar la generación conjunta de video y rastros 3D dentro de un único modelo unificado.