💻 computer science

TAPNext++: What's Next for Tracking Any Point (TAP)?

El artículo presenta TAPNext++, una mejora del modelo TAPNext que utiliza arquitecturas de transformadores recurrentes entrenadas con secuencias largas y aumentos geométricos específicos para superar las limitaciones en videos extensos y la re-detección de puntos, estableciendo un nuevo estado del arte en el seguimiento de puntos en cualquier video.

Autores originales: Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

Publicado 2026-04-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que estás en una fiesta muy animada y tienes que seguir con la mirada a un amigo específico (tu "punto") entre la multitud. A veces se esconde detrás de alguien, a veces sale de la habitación por un momento y luego vuelve, o a veces la cámara (tu ojo) se mueve mucho.

El problema es que la mayoría de los "detectives" de video actuales (los modelos de IA) son como personas con una memoria muy corta: si tu amigo se esconde un poco, los olvidan. Si sale de la habitación y vuelve, no saben que es él. Y si la fiesta dura mucho tiempo (un video largo), se cansan y pierden el rastro.

Aquí es donde entra TAPNext++, el nuevo superhéroe del seguimiento de puntos. Vamos a desglosar qué hace este papel tan importante de forma sencilla:

1. El Problema: La memoria de un pez dorado

Los modelos anteriores (como el "TAPNext" original) eran rápidos y eficientes, como un corredor de maratón muy ágil. Pero tenían un defecto: su "memoria a largo plazo" era mala.

La analogía: Imagina que intentas recordar una dirección mientras conduces. Si conduces 5 minutos, la recuerdas bien. Pero si conduces 2 horas sin parar, empiezas a dudar y a confundirte. Los modelos viejos se confundían después de unos segundos de video. Además, si tu amigo salía de la habitación y volvía, el modelo pensaba: "¿Quién es ese? No lo conozco".

2. La Solución: Entrenando para la maratón (Videos largos)

Los autores se dieron cuenta de que el problema no era el "motor" del coche (la arquitectura del modelo), sino que no lo habían entrenado para carreras largas.

Lo que hicieron: En lugar de entrenar al modelo con videos cortos de 48 cuadros (como si fueran trozos de pan), lo entrenaron con videos de 1024 cuadros (como si fuera una baguette gigante).
El truco mágico: Para hacer esto posible sin que el ordenador se quemara, usaron una técnica llamada "paralelismo de secuencia".
- Analogía: Imagina que tienes que leer un libro de 1000 páginas. Si lo lees tú solo, tardas mucho. Pero si divides el libro entre 8 amigos, cada uno lee una parte y luego se pasan las notas al final para unir la historia. Así, el modelo aprende a recordar cosas durante mucho tiempo sin perder el hilo.

3. El Entrenamiento Especial: "El efecto túnel"

El mayor problema era cuando los puntos (tu amigo) desaparecían y volvían a aparecer. Los modelos viejos fallaban aquí.

La solución creativa: Crearon un entrenamiento especial con "aumentos geométricos".
- La analogía del "Rodillo" (Roll): Imagina que el video es una cinta de correr. A veces, el video se mueve de lado a lado o gira. Si tu amigo sale por la puerta de la derecha, el modelo está entrenado para saber que podría aparecer por la izquierda, como en un videojuego de Pac-Man. Esto obliga al modelo a no depender solo de "dónde estaba hace un segundo", sino a reconocer cómo se ve su amigo (su apariencia), incluso si ha cambiado de lugar drásticamente.
Aprendiendo a esperar: También les enseñaron a no rendirse cuando el amigo está oculto. Les dijeron: "Aunque no lo veas, sigue adivinando dónde podría estar". Esto ayuda a que, cuando el amigo vuelva a aparecer, el modelo ya tenga una idea de dónde buscar.

4. La Nueva Regla del Juego: La prueba de "¿Quién eres?"

Los autores se dieron cuenta de que nadie medía realmente qué tan bien funcionaban estos modelos cuando alguien volvía a aparecer.

La nueva métrica (AJRD): Inventaron un nuevo examen. Imagina que tu amigo desaparece 100 segundos y luego vuelve. El examen no mide si lo seguiste bien antes de que desapareciera, sino qué tan rápido y bien lo reconoces cuando vuelve.
El resultado: TAPNext++ aprobó este examen con notas excelentes, mientras que los modelos anteriores fallaban estrepitosamente.

5. ¿Por qué es tan genial? (Velocidad y Precisión)

Lo mejor de todo es que, aunque ahora es más inteligente y tiene mejor memoria, sigue siendo rapidísimo.

Analogía: Es como un Ferrari que ha aprendido a leer mapas complejos y a recordar rutas de 1000 kilómetros, pero que sigue corriendo a 300 km/h.
Puede procesar videos en tiempo real (más de 60 veces por segundo) en una sola tarjeta gráfica, lo que significa que podría usarse en gafas de realidad aumentada o en robots que necesitan reaccionar al instante.

En resumen

TAPNext++ es como darle a un detective de video una memoria de elefante y entrenarlo en un gimnasio de situaciones caóticas (personas que entran y salen, cámaras que giran).

Antes: "Te perdí de vista, no sé quién eres".
Ahora: "Te vi salir por la puerta, sé que volverás por la otra, y aquí estás. ¡Te tengo!"

Esto es un gran paso para la realidad aumentada, los robots y cualquier tecnología que necesite entender el mundo en movimiento sin perder el rastro de las cosas.

1. El Problema

El rastreo de cualquier punto (Tracking Any Point - TAP) es una tarea fundamental en visión por computadora con aplicaciones críticas en realidad aumentada (AR), robótica y reconstrucción 3D/4D. Aunque el modelo previo TAPNext introdujo una arquitectura eficiente de transformador recurrente para el rastreo en línea (cuadro a cuadro) con baja latencia, presentaba limitaciones severas:

Degradación en secuencias largas: El rendimiento cae drásticamente en videos largos (más de 150-200 cuadros), perdiendo la información de la posición inicial de los puntos.
Fallo en la re-detección: Los modelos existentes a menudo fallan al volver a detectar puntos que reaparecen después de estar ocluidos o haber salido del encuadre (re-entradas).
Limitaciones de evaluación: Las métricas actuales (como la tasa de supervivencia) no evalúan adecuadamente la capacidad de un rastreador para recuperar puntos tras largos periodos de invisibilidad, ya que promedian el rendimiento sobre todo el rastro, ignorando los fallos de re-detección.
Ineficiencia de soluciones anteriores: Las estrategias para mitigar estos problemas (ventanas deslizantes, memoria explícita o re-detección basada en apariencia) suelen aumentar la latencia y el uso de memoria, o fallan en dinámicas complejas.

2. Metodología

TAPNext++ mantiene la arquitectura base eficiente de TAPNext (transformador recurrente con capas SSM - State Space Models) pero introduce mejoras críticas en el entrenamiento y la estrategia de datos para superar las limitaciones anteriores sin sacrificar la eficiencia computacional.

Entrenamiento en Secuencias Largas (1024 cuadros):
- Se entrenó el modelo en secuencias de 1024 cuadros, mucho más largas que los 48 cuadros originales.
- Para lograr esto, se implementó paralelismo de secuencias distribuido en múltiples GPUs. Utilizando una técnica de "escaneo paralelo" (parallel scan) en las capas recurrentes lineales (RG-LRU), se permite el entrenamiento de extremo a extremo dividiendo la secuencia temporal entre dispositivos, superando las limitaciones de memoria de una sola GPU.
Nuevos Conjuntos de Datos:
- Kubric-1024: Se generó un conjunto de datos sintético masivo con 10,000 videos de 1024 cuadros, utilizando fondos HDRI y objetos dinámicos simulados con física (PyBullet) para crear escenas realistas y dinámicas.
- DynHumans: Un conjunto sintético adicional con movimiento humano y de cámara.
- Se combinaron estos datos con PointOdyssey (secuencias reales largas) y OpenImages para un ajuste fino (fine-tuning) multiconjunto.
Aumentaciones Geométricas Específicas:
- Augmentación de "Roll" (Rotación y Desplazamiento Periódico): Se aplican rotaciones y traslaciones sinusoidales suaves a los videos. Crucialmente, los píxeles que salen de un borde se envuelven al lado opuesto. Esto simula puntos que salen del encuadre y vuelven a entrar, forzando al modelo a depender de la coincidencia de apariencia y no solo de la proximidad espaciotemporal.
- Aumento de Relación de Aspecto: Se varía la relación de aspecto entre 0.5 y 2.0 durante el entrenamiento.
Pérdida Ponderada para Puntos Ocluidos:
- Se modificó la función de pérdida para supervisar también los puntos ocluidos que permanecen dentro de los límites de la imagen (aunque no sean visibles), asignándoles un peso de 0.2. Esto ayuda al modelo a predecir ubicaciones plausibles durante la oclusión, facilitando la re-detección.
Ajuste Fino de Alta Resolución:
- El modelo se ajustó finamente a una resolución de entrada de 512x512, escalando las posiciones aprendidas mediante interpolación bicúbica.

3. Contribuciones Clave

TAPNext++: Un modelo que establece un nuevo estado del arte (SOTA) en rastreo de puntos en línea, logrando un equilibrio superior entre precisión, velocidad y robustez a largo plazo.
Métrica AJRD (Re-Detection Average Jaccard): Se introduce una nueva métrica diseñada específicamente para evaluar la calidad del rastreo después de que un punto reaparece tras un periodo de invisibilidad ( $d_{min}$ ). Esto expone una "punto ciego" en la literatura actual.
Kubric-1024: Un nuevo dataset sintético de larga duración (1024 cuadros) para entrenar modelos en secuencias extensas.
Estrategias de Entrenamiento Escalables: Demostración de que las arquitecturas de transformadores recurrentes pueden escalar a secuencias muy largas mediante paralelismo de secuencias y aumentaciones geométricas específicas, sin necesidad de cambiar la arquitectura base ni añadir memoria explícita.

4. Resultados

TAPNext++ supera a los métodos existentes (como CoTracker3, Track-On, BootsTAPNext) en múltiples benchmarks:

Precisión y Velocidad: Logra el mejor compromiso velocidad-precisión. En una GPU H100, alcanza ~62-68 FPS (dependiendo del conjunto de datos) con una latencia muy baja (~5 ms), superando significativamente a otros métodos en línea.
Rendimiento en Secuencias Largas: En PointOdyssey, mejora drásticamente la tasa de supervivencia (de 13% en BootsTAPNext a 67.9%) y reduce el error de posición promedio ( $\delta_{avg}$ ).
Robustez a la Re-detección: Obtiene los mejores puntajes en AJRD tanto en RoboTAP como en PointOdyssey, demostrando una capacidad superior para recuperar puntos tras oclusiones largas o salidas del encuadre.
Generalización: A pesar de usar una resolución de entrada menor (256x256) que muchos competidores, obtiene el mayor promedio de $\delta_{avg}$ (72.2) en todos los benchmarks combinados.
Estabilidad: En experimentos de imágenes estáticas, el modelo mantiene la precisión durante más de 600-1000 cuadros, mientras que los modelos base fallan después de ~150 cuadros.

5. Significado e Impacto

El trabajo demuestra que los fallos en el rastreo a largo plazo y la re-detección no son inherentes a la arquitectura de transformadores recurrentes, sino el resultado de estrategias de entrenamiento insuficientes.

Viabilidad para AR/Robótica: Al mantener una huella de memoria y computación baja (sin memoria explícita masiva) mientras mejora drásticamente la robustez, TAPNext++ hace viable la implementación de rastreo de puntos en aplicaciones de tiempo real en dispositivos móviles y robots.
Nueva Dirección de Investigación: La introducción de la métrica AJRD y el enfoque en aumentaciones de re-entrada (roll) establece un nuevo estándar para evaluar y entrenar modelos de rastreo, desplazando el enfoque de simplemente "seguir" a "recuperar y mantener" la identidad del punto a lo largo del tiempo.
Eficiencia: Logra un rendimiento superior sin sacrificar la velocidad, lo que es crucial para aplicaciones donde la latencia es crítica.

En resumen, TAPNext++ redefine el estado del arte en el rastreo de puntos en línea al combinar una arquitectura eficiente con un entrenamiento agresivo en secuencias largas y aumentaciones específicas para la re-detección, resolviendo problemas que habían sido considerados limitaciones fundamentales de los enfoques actuales.