Resumen Técnico: Sondeo y Aprovechamiento de las Características de los Transformadores de Difusión de Video para un Seguimiento de Puntos Robusto

1. Planteamiento del Problema

Los métodos actuales de seguimiento de puntos, aunque efectivos en benchmarks estándar, a menudo dependen de arquitecturas de características (por ejemplo, ResNet) que carecen de coherencia temporal inherente, lo que conduce a un rendimiento deficiente en escenarios del mundo real que involucran desenfoque de movimiento, movimiento rápido y oclusiones frecuentes. Aunque trabajos recientes han comenzado a incorporar Modelos Fundacionales Visuales (VFMs) como DINOv2, no ha habido un análisis sistemático que determine qué arquitectura de VFM u objetivo de entrenamiento produce las representaciones más robustas para el seguimiento temporal denso. Además, los enfoques existentes suelen requerir una supervisión extensiva en conjuntos de datos de video a gran escala del mundo real para lograr un alto rendimiento.

2. Metodología

2.1. Análisis Sistemático de los VFMs

Los autores realizaron una evaluación zero-shot de diversos VFMs para identificar la columna vertebral (backbone) más robusta para el seguimiento de puntos. El estudio comparó modelos a través de:

• Modalidades de Preentrenamiento: Solo imagen vs. Video.
• Arquitecturas: UNet vs. Transformer.
• Objetivos de Aprendizaje: Auto-supervisado (MAE, DINO) vs. Difusión.
• Benchmarks: Estándar (TAP-Vid-DAVIS), Corrupto por Desenfoque de Movimiento (TAP-Vid-DAVIS + ImageNet-C) y Desafiante del Mundo Real (ITTO-MOSE).

Hallazgos Clave del Análisis:

• Los Transformadores de Difusión de Video (DiTs) superaron consistentemente a todos los demás VFMs, incluyendo modelos entrenados en imágenes (DINOv2, SD3) y modelos de video con atención descompuesta (SVD) u objetivos MAE (V-JEPA).
• CogVideoX-5B alcanzó el mayor rendimiento, superando incluso a las columnas vertebrales ResNet explícitamente supervisadas en datos de seguimiento.
• Factores Atribuidos: La superioridad de los Video DiTs se atribuye a tres características:
  1. Preentrenamiento de video a gran escala en el mundo real: Exposición a diversas variaciones de movimiento y apariencia.
  2. Atención espacio-temporal 3D completa: Permite la interacción global a través del espacio y el tiempo, a diferencia de los mecanismos de atención descompuesta.
  3. Objetivo de entrenamiento de difusión: Reconstruye todos los tokens a través de niveles de ruido, produciendo representaciones de correspondencia más ricas en comparación con los objetivos puramente espaciales como MAE.
• Ley de Escalamiento (Scaling Law): Dentro de la misma familia de modelos, los modelos más grandes (por ejemplo, WAN-14B vs. WAN-1.3B) produjeron consistentemente un mejor rendimiento de seguimiento, particularmente bajo condiciones desafiantes.

2.2. Marco de Trabajo DiTracker

Motivados por el análisis, los autores proponen DiTracker, un marco que integra las características de los Video DiT en los pipelines de seguimiento existentes (específicamente utilizando el cabezal CoTracker3) a través de tres componentes principales:

1. Computación del Costo de Coincidencia Query-Key: En lugar de utilizar estados ocultos, DiTracker extrae las proyecciones de consulta ($Q$) y clave ($K$) directamente de las capas de atención 3D completas del Video DiT. Estas proyecciones codifican inherentemente las correspondencias entre fotogramas. Un costo de coincidencia se computa mediante la atención de producto punto escalado:
   $$C_{DiT} = \text{Softmax}\left(\frac{q_i k_j^\top}{\sqrt{d_{head}}}\right)$$
2. Fusión a Nivel de Costo: Dado que los Video DiTs operan en un espacio latente espacialmente comprimido (por ejemplo, $H/16 \times W/16$), carecen de los detalles espaciales finos requeridos por los cabezales de seguimiento estándar. DiTracker fusiona el costo de coincidencia del DiT con una rama ResNet ligera que proporciona características de mayor resolución. Los costos se aplanan, se concatenan y se proyectan en un embedding de costo mediante un MLP:
   $$E_j = \text{MLP}([\text{Flatten}(C_{DiT}), \text{Flatten}(C_{ResNet})])$$
   Esto preserva la distribución de coincidencia preentrenada del DiT mientras recupera los detalles espaciales.
3. Adaptación LoRA: Para transferir las características generativas a la tarea de seguimiento de manera eficiente, los autores emplean la Adaptación de Bajo Rango (LoRA). Matrices de bajo rango entrenables se insertan en las capas de atención de la columna vertebral de Video DiT congelada. El modelo se entrena con un objetivo combinado de regresión de trayectoria, clasificación de visibilidad y pérdidas de confianza.

3. Contribuciones Clave

1. Primer Análisis Sistemático: El artículo presenta el primer estudio exhaustivo de las representaciones de VFM para un seguimiento de puntos robusto, identificando a los Video DiTs como la columna vertebral más robusta, superando incluso a las columnas vertebrales ResNet supervisadas.
2. Marco de Trabajo DiTracker: Introducción de un método para aprovechar las características de Video DiT para el seguimiento supervisado mediante la coincidencia query-key, la fusión de nivel de costo con una rama ResNet y la adaptación LoRA.
3. Eficiencia de Datos y Robustez: Demostración de que DiTracker, entrenado únicamente con datos sintéticos (Kubric) con significativamente menos iteraciones, supera a CoTracker3 (que es entrenado con videos adicionales del mundo real) bajo el mismo cabezal de seguimiento. Muestra las mayores ganancias de rendimiento en escenarios corruptos y desafiantes.
4. Generalización y Escalamiento: Validación de que los beneficios de las características de Video DiT se generalizan a través de diferentes cabezales de seguimiento (por ejemplo, AllTracker) y escalan con el tamaño de la columna vertebral, confirmando a los Video DiTs como una columna vertebral robusta, eficiente en datos y agnóstica al cabezal.

4. Resultados Experimentales

• Benchmarks Estándar: En TAP-Vid-DAVIS e ITTO-MOSE, DiTracker (entrenado solo con datos sintéticos) superó a CoTracker3 entrenado con 15k videos del mundo real. Por ejemplo, en ITTO-MOSE, DiTracker mejoró $\delta^x_{avg}$ en un 2.7% sobre CoTracker3.
• Benchmarks de Robustez: Bajo corrupciones de ImageNet-C (ruido, desenfoque, clima), DiTracker logró el mejor puntaje promedio (71.1%), superando a CoTracker3 (69.2%) a pesar de que este último cuenta con entrenamiento de mundo real.
• Estudios de Ablación:
  • Selección de Características: Las proyecciones query-key (52.6% AJ) superaron significativamente a los estados ocultos (45.7% AJ).
  • Estrategia de Fusión: La concatenación de los costos de DiT y ResNet (72.2% $\delta^x_{avg}$) superó al simple upsampling o la concatenación de características.
  • LoRA: La adaptación fue esencial; las características de DiT congeladas produjeron resultados pobres (41.0% AJ). El LoRA de capa completa con rangos más altos (128) proporcionó el mejor rendimiento.
• Escalamiento: Las columnas vertebrales más grandes (WAN-14B) superaron consistentemente a las variantes más pequeñas (WAN-1.3B) en todas las métricas.

5. Significado y Reivindicaciones

El artículo afirma que el preentrenamiento de video generativo proporciona priors fuertes del mundo real para la correspondencia, reduciendo efectivamente la dependencia de la supervisión de datos reales a gran escala para el seguimiento de puntos. Al aprovechar los Video DiTs, los autores demuestran que:

• La coherencia temporal requerida para un seguimiento robusto es inherente en los modelos de video generativos entrenados con objetivos de difusión y atención 3D completa.
• Es posible lograr un estado del arte en robustez utilizando únicamente datos sintéticos y menos iteraciones de entrenamiento en comparación con los métodos que dependen de la supervisión de video del mundo real.
• Los avances futuros en la generación de video pueden beneficiar directamente las tareas de seguimiento de puntos, sugiriendo una convergencia entre la comprensión de video generativa y discriminativa.