TrackMAE: Video Representation Learning via Track Mask and Predict

1. El Problema

El aprendizaje auto-supervisado (SSL) en video, específicamente el Modelado de Video Enmascarado (MVM), se ha convertido en un paradigma estándar para pre-entrenar modelos. Sin embargo, la mayoría de los métodos actuales (como VideoMAE) se basan en la reconstrucción de píxeles enmascarados utilizando una estrategia de enmascaramiento aleatorio de "tubos" (tubelets).

Esto presenta dos limitaciones principales:

1. Información de movimiento implícita: Los modelos aprenden la dinámica temporal de forma indirecta, priorizando estadísticas de baja nivel (continuidad de color/textura) en lugar de comprender explícitamente el movimiento.
2. Rendimiento deficiente en tareas centradas en el movimiento: Debido a la falta de conciencia temporal fina, estos modelos tienen un rendimiento inferior en tareas donde el movimiento es crucial (ej. Something-Something V2, FineGym), en comparación con tareas dominadas por la apariencia (ej. Kinetics-400).
3. Soluciones previas insuficientes: Los intentos recientes de mejorar el MVM (ya sea cambiando qué enmascarar o qué predecir, como características de HOG o CLIP) siguen supervisando el movimiento de manera implícita, sin pedirle al modelo que prediga explícitamente cómo se mueven los objetos o mantenga la identidad a lo largo del tiempo.

2. Metodología: TrackMAE

Los autores proponen TrackMAE, un nuevo paradigma de pre-entrenamiento que integra explícitamente la información de movimiento como señal de reconstrucción. La arquitectura se basa en un esquema de "Enmascarar y Predecir" con dos componentes clave:

A. Extracción de Objetivos de Movimiento (Track Targets)

• Utilizan un rastreador de puntos de última generación (CoTracker3) para extraer trayectorias de movimiento esparsas en los videos de entrada.
• En lugar de rastrear densamente todos los píxeles (lo cual es costoso), rastrean puntos centrales de las "parches" (patches) en el primer frame y predicen sus posiciones en los siguientes.
• Para aumentar la densidad de la señal de supervisión sin costo computacional adicional, aplican una técnica de sobremuestreo (upsampling) espacial. Interpolan las trayectorias esparsas para simular una densidad mayor, asumiendo que los píxeles cercanos en un parche se mueven de manera similar.

B. Arquitectura de Doble Decodificación

TrackMAE modifica la arquitectura estándar de MVM (Encoder-Decoder) para realizar dos tareas de predicción simultáneas a partir de los tokens visibles:

1. Reconstrucción Espacial: Un decodificador ($\Psi_{spatial}$) predice los valores de los píxeles o características semánticas (ej. CLIP) de los tubos enmascarados.
2. Predicción de Movimiento: Un decodificador ligero de trayectorias ($\Psi_{motion}$) predice los desplazamientos de los puntos rastreados en las posiciones enmascaradas.

La función de pérdida total es una suma ponderada:
$$\mathcal{L} = \mathcal{L}_{espacial} + \lambda \cdot \mathcal{L}_{movimiento}$$

C. Enmascaramiento Consciente del Movimiento (Motion-Aware Masking)

En lugar de enmascarar tubos aleatoriamente, TrackMAE utiliza las trayectorias extraídas para guiar el enmascaramiento:

• Calculan la magnitud del desplazamiento promedio para cada región.
• Crean una distribución de muestreo que divide el video en regiones de alto movimiento y bajo movimiento.
• Muestrean tokens visibles de manera equilibrada (ej. 50% de cada región) para asegurar que el modelo reciba contexto tanto de áreas estáticas como de áreas dinámicas, evitando que el modelo aprenda a ignorar el movimiento.

3. Contribuciones Clave

1. TrackMAE: Un esquema de pre-entrenamiento que utiliza explícitamente la predicción de trayectorias de puntos rastreados como señal de auto-supervisión complementaria a la reconstrucción espacial.
2. Estrategia de Enmascaramiento Mejorada: Una estrategia de enmascaramiento consciente del movimiento que garantiza que los tokens visibles cubran tanto regiones dinámicas como estáticas, mejorando la eficiencia del aprendizaje temporal.
3. Validación Exhaustiva: Demostración de que la predicción de movimiento complementa tanto los objetivos basados en píxeles como los basados en características (CLIP/DINO), logrando resultados de vanguardia (SOTA) en múltiples benchmarks.

4. Resultados Experimentales

Los autores evaluaron TrackMAE en seis conjuntos de datos bajo diferentes configuraciones (sondeo lineal y ajuste fino completo):

• Rendimiento en Tareas Centradas en Movimiento: TrackMAE supera consistentemente a los métodos SOTA (como VideoMAE, MGMAE, MGM, SMILE) en benchmarks difíciles de movimiento como Something-Something V2 y FineGym.
  • Ejemplo: En Something-Something V2 (ajuste fino completo), TrackMAE con objetivos CLIP alcanza un 72.8%, superando a SMILE (72.1%) y a VideoMAE (68.5%).
• Generalización (Benchmark SEVERE): El modelo demuestra una mayor robustez ante cambios de dominio, eficiencia de muestras (few-shot) y granularidad de acción. TrackMAE mejora la capacidad de generalización incluso cuando se entrena solo con reconstrucción de píxeles, gracias a la inyección de estructura de movimiento.
• Complementariedad: La combinación de reconstrucción de trayectorias con objetivos semánticos (CLIP) produce los mejores resultados, indicando que la predicción de movimiento llena el vacío de información dinámica que las características estáticas no capturan.
• Eficiencia: Aunque el rastreo de puntos añade un costo computacional (aumento del 50% en tiempo de pre-entrenamiento), la estrategia de sobremuestreo permite obtener señales densas sin rastrear cada píxel, manteniendo el costo razonable frente a la mejora de rendimiento.

5. Significado e Impacto

TrackMAE representa un cambio de paradigma en el aprendizaje auto-supervisado de video al tratar el movimiento como una señal de primer orden en lugar de un subproducto de la reconstrucción de píxeles.

• Superación de limitaciones actuales: Resuelve la brecha de rendimiento entre tareas de apariencia y tareas de movimiento, que ha sido un obstáculo persistente en los modelos MVM.
• Generalización robusta: Al forzar al modelo a entender la correspondencia temporal y la dinámica de los objetos, se obtienen representaciones más discriminativas y generalizables, útiles para aplicaciones que requieren una comprensión fina de la acción humana.
• Marco modular: La metodología es compatible con diferentes objetivos de reconstrucción (píxeles, HOG, CLIP, DINO) y diferentes rastreadores de puntos, lo que sugiere que la integración de señales de movimiento es una vía prometedora para futuros modelos de visión por computadora.

En resumen, TrackMAE demuestra que la predicción explícita de trayectorias, combinada con una estrategia de enmascaramiento inteligente, es fundamental para aprender representaciones de video verdaderamente conscientes del tiempo y el movimiento.