Real-World Point Tracking with Verifier-Guided Pseudo-Labeling

Resumen Técnico: Rastreo de Puntos en el Mundo Real con Verificador-Guiado

1. Planteamiento del Problema

El rastreo de puntos a largo plazo (long-term point tracking) es fundamental para aplicaciones como la edición de video, la manipulación robótica y la comprensión de escenas 4D. Sin embargo, los modelos actuales enfrentan dos desafíos principales:

• Brecha Sim-to-Real: Los modelos se entrenan principalmente en grandes conjuntos de datos sintéticos (como TAP-Vid Kubric) debido al costo prohibitivo de anotar trayectorias densas y precisas en videos reales. Esto provoca que los modelos sufran una degradación de rendimiento al aplicarse a videos del mundo real debido a diferencias en texturas, iluminación, oclusiones y artefactos de sensores.
• Fragilidad del Auto-entrenamiento (Self-Training): Una solución común es el auto-entrenamiento utilizando pseudo-etiquetas generadas por modelos preentrenados (maestros). No obstante, los predicadores individuales (maestros) no son uniformemente confiables; algunos fallan en movimientos rápidos, otros en oclusiones o cambios de identidad. Las estrategias de selección de maestros fijas o aleatorias propagan errores sistemáticos y acumulan ruido, limitando la adaptación efectiva.

2. Metodología Propuesta

Los autores proponen un marco unificado que introduce un Verificador (Verifier), un meta-modelo aprendido diseñado para evaluar la fiabilidad de las predicciones de múltiples rastreadores y guiar la generación de pseudo-etiquetas.

A. El Verificador (Meta-Modelo)

• Función: No predice trayectorias directamente, sino que actúa como un selector inteligente. Dado un punto de consulta y múltiples trayectorias candidatas (generadas por diferentes rastreadores preentrenados), el verificador evalúa la fiabilidad de cada candidato cuadro por cuadro.
• Arquitectura:
  • Extracción de Características Localizadas: Utiliza un codificador CNN congelado (basado en CoTracker3) para extraer características visuales densas. Compara las características locales alrededor del punto de consulta inicial con las de cada candidato en cada cuadro.
  • Transformer de Candidatos: Un módulo Transformer que razona conjuntamente sobre los candidatos y el tiempo. Utiliza atención cruzada restringida (donde la consulta atiende solo a sus candidatos correspondientes en ese cuadro) seguida de atención temporal. Esto permite integrar información contextual para resolver ambigüedades.
  • Salida: Genera una distribución de probabilidad de fiabilidad para cada candidato en cada cuadro, seleccionando el más confiable.
• Entrenamiento: El verificador se entrena exclusivamente en datos sintéticos con trayectorias de verdad fundamental. Se le presentan candidatos perturbados aleatoriamente (simulando deriva, saltos, oclusiones y ruido) para que aprenda a distinguir entre predicciones correctas y corruptas mediante un objetivo contrastivo.

B. Adaptación Guiada por Verificador (Fine-Tuning)

• Generación de Pseudo-etiquetas: Durante la adaptación a videos reales no etiquetados, el verificador fusiona las predicciones de un conjunto de maestros (Track-On2, BootsTAPIR, CoTracker3, etc.). En cada cuadro, selecciona la predicción con la puntuación de fiabilidad más alta para formar una trayectoria pseudo-etiquetada robusta.
• Estrategia de Entrenamiento: El modelo base (Track-On2) se ajusta finamente utilizando una mezcla de datos sintéticos (con etiquetas reales) y datos reales (con pseudo-etiquetas del verificador). Se emplea un cronograma donde el peso de la pérdida de los datos reales aumenta gradualmente, permitiendo una adaptación suave y eficiente.

C. Ensamblaje en Tiempo de Inferencia

• El mismo mecanismo del verificador puede utilizarse en tiempo de inferencia como un módulo de ensamblaje "plug-and-play", combinando dinámicamente los mejores rastreadores según las condiciones del video, sin necesidad de reentrenar.

3. Contribuciones Clave

1. El Verificador: Un modelo meta-aprendido que estima la fiabilidad cuadro por cuadro de múltiples rastreadores, permitiendo tanto la selección de supervisión durante el entrenamiento como el ensamblaje en tiempo de inferencia.
2. Marco de Pseudo-etiquetado Guiado: Un enfoque que escala el ajuste fino en videos reales mitigando los modos de fallo del etiquetado pseudo-ingenuo (selección aleatoria o promedios simples), logrando una adaptación eficiente de datos.
3. Rendimiento SOTA: Resultados experimentales que demuestran un estado del arte en cuatro benchmarks del mundo real, superando a métodos anteriores que requieren más datos o estrategias de auto-entrenamiento menos robustas.

4. Resultados Experimentales

Los autores evaluaron su enfoque (llamado Track-On-R) en cuatro conjuntos de datos reales: DAVIS, Kinetics, RoboTAP y EgoPoints.

• Rendimiento General: Track-On-R superó consistentemente a los modelos base preentrenados solo en sintético y a otros métodos de ajuste fino en el mundo real (como BootsTAPIR, CoTracker3, Anthro-LocoTrack).
  • En EgoPoints (videos en primera persona con oclusiones largas), mejoró la precisión promedio ($\delta^{avg}$) de 61.7 a 67.3, ampliando la brecha con el competidor más cercano.
  • En RoboTAP (secuencias robóticas), logró las puntuaciones más altas en todas las métricas, a pesar de que su conjunto de entrenamiento real no contenía secuencias robóticas, demostrando una gran capacidad de generalización.
  • En Kinetics y DAVIS, estableció nuevos récords en precisión de localización y predicción de visibilidad.
• Análisis de Ensamblaje: El verificador como ensamblador en tiempo de inferencia superó tanto a la selección aleatoria de maestros como al mejor maestro individual en todos los conjuntos de datos, confirmando que la fiabilidad de los rastreadores varía dinámicamente según el cuadro y la escena.
• Eficiencia de Datos: El método logra mejoras significativas utilizando menos datos y una estrategia de selección más inteligente que los métodos de destilación a gran escala previos.

5. Significado e Impacto

Este trabajo aborda una limitación crítica en la visión por computadora: la dependencia de datos sintéticos para tareas de rastreo a largo plazo.

• Puente Sim-to-Real: Proporciona un mecanismo robusto para cerrar la brecha entre dominios sintéticos y reales sin necesidad de anotación manual costosa.
• Robustez ante la Incertidumbre: Introduce una forma de "razonamiento sobre la incertidumbre" en el rastreo, donde el sistema aprende a confiar en diferentes herramientas según el contexto, en lugar de depender de un solo modelo monolítico.
• Escalabilidad: Al demostrar que un verificador entrenado solo en sintético puede guiar la adaptación a datos reales diversos (robótica, videos en primera persona, escenas naturales), el enfoque ofrece una ruta escalable para mejorar modelos de visión en entornos no controlados.

En conclusión, el artículo presenta un avance significativo hacia sistemas de rastreo de puntos más fiables y adaptables, transformando la diversidad de modelos existentes en una ventaja estratégica mediante un verificador aprendido.