💻 computer science

TAPNext++: What's Next for Tracking Any Point (TAP)?

Ce papier présente TAPNext++, une amélioration de l'architecture TAPNext qui permet un suivi de points robustes sur des séquences vidéo extrêmement longues et une détection efficace des points réapparaissant après occlusion, grâce à de nouvelles techniques d'entraînement et une métrique dédiée.

Auteurs originaux : Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

Publié 2026-04-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Jung, Artem Zholus, Martin Sundermeyer, Carl Doersch, Ross Goroshin, David Joseph Tan, Sarath Chandar, Rudolph Triebel, Federico Tombari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Le "Suiveur de Point" qui oublie

Imaginez que vous êtes un réalisateur de film. Vous avez un acteur (un point) sur votre scène. Votre travail est de suivre cet acteur à chaque instant du film, même s'il traverse une foule, s'il sort de l'écran pour aller dans un autre décor, ou s'il se cache derrière un arbre.

Les anciennes versions de ce "suiveur" (comme le modèle TAPNext ou BootsTAPNext) étaient très rapides, comme un coureur de 100 mètres. Mais elles avaient deux gros défauts :

Elles avaient une mémoire courte : Si le film durait trop longtemps (plus de 150 images), le suiveur commençait à perdre l'acteur de vue, même si l'acteur restait immobile. C'est comme si vous regardiez un film et que, après 2 minutes, vous oubliiez à quoi ressemblait le personnage principal.
Elles ne savaient pas "retrouver" l'acteur : Si l'acteur sortait de l'écran et revenait 10 secondes plus tard, le suiveur paniquait. Il disait : "Qui êtes-vous ? Je ne vous connais plus !" au lieu de dire : "Ah, c'est mon ami !".

🚀 La Solution : TAPNext++ (Le Super-Suiveur)

Les chercheurs ont créé TAPNext++. Ils n'ont pas changé la voiture (l'architecture du modèle), ils ont juste appris à la conduire beaucoup mieux et lui ont donné une meilleure carte.

Voici comment ils ont fait, avec des analogies simples :

1. Apprendre à courir un marathon (Entraînement sur de longues séquences)

Avant, le modèle s'entraînait uniquement sur de courts clips vidéo (comme des courses de 100 mètres). Il était excellent pour ça, mais il s'essoufflait dès qu'on lui demandait de courir un marathon (une vidéo de 1000 images).

L'astuce : Les chercheurs ont créé un nouvel entraînement avec des vidéos de 1024 images (très longues).
Le défi technique : Faire tourner une vidéo aussi longue sur un seul ordinateur était impossible (la mémoire explosait).
La solution magique : Ils ont utilisé une technique appelée "parallélisme de séquence". Imaginez que vous devez lire un livre de 1000 pages. Au lieu de le faire tout seul, vous donnez 100 pages à chacun de vos 8 amis. Chacun lit sa partie, et à la fin, ils se passent les pages de manière ultra-rapide pour reconstituer l'histoire. Grâce à cela, le modèle a pu "lire" et apprendre sur des vidéos très longues sans s'épuiser.

2. Le jeu de la "Boîte à Jouets" qui tourne (Augmentations géométriques)

Pour apprendre au modèle à retrouver un point qui revient, ils ont créé un jeu spécial pendant l'entraînement.

L'analogie : Imaginez que vous regardez un point sur un écran. Soudain, l'écran tourne, le point sort par la gauche et réapparaît par la droite (comme dans un jeu vidéo Pac-Man).
L'entraînement : Ils ont fait tourner et déplacer les vidéos de manière aléatoire et fluide pendant l'entraînement. Cela a forcé le modèle à arrêter de dire : "Le point est juste à côté de là où il était il y a 2 secondes". Au lieu de ça, il a dû apprendre à dire : "Ce point ressemble à celui que j'ai vu plus tôt, même s'il est loin !". C'est comme apprendre à reconnaître un ami dans la rue, même s'il porte un manteau différent et qu'il vient d'un autre quartier.

3. Apprendre à ne pas paniquer quand on est caché (Suivi des points cachés)

Quand un objet est caché (occlusion), les anciens modèles arrêtaient de le suivre.

L'astuce : Les chercheurs ont dit au modèle : "Même si tu ne vois pas le point, essaie de deviner où il est !". Ils ont donné un petit "bonus" (une récompense) au modèle s'il parvenait à prédire une position plausible pour un point caché, tant qu'il restait dans l'image. Cela a permis au modèle de garder le point "en tête" même quand il était invisible, comme un détective qui suit une piste même quand le suspect a disparu de vue.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

TAPNext++ est comme un super-héros du suivi :

Il est rapide : Il peut traiter 60 à 70 images par seconde (FPS) sur un ordinateur puissant. C'est assez rapide pour être utilisé en temps réel dans des lunettes de réalité augmentée ou des robots.
Il a une mémoire d'éléphant : Il peut suivre un point sur des vidéos de 2000 images sans perdre le fil.
Il est un détective né : Grâce à leur nouvelle mesure (appelée AJRD), ils ont prouvé que TAPNext++ est le seul à pouvoir retrouver un point après qu'il ait disparu pendant longtemps. Les autres modèles échouent souvent là-dessus.

💡 En résumé

Imaginez que vous essayez de suivre un ami dans une grande foule.

Les anciens modèles : Ils vous suivaient bien pendant 10 secondes, mais s'il sortait de la foule et revenait 30 secondes plus tard, ils vous perdaient de vue.
TAPNext++ : Il a une mémoire incroyable. Même si votre ami sort de la foule, traverse la rue et revient, il le reconnaît immédiatement. Et tout ça, il le fait en courant très vite, sans s'arrêter pour réfléchir.

C'est une avancée majeure pour la réalité augmentée (où l'on veut ancrer des objets virtuels dans le monde réel) et pour la robotique, car les robots ont besoin de comprendre le monde sur de longues périodes, pas juste par petits bouts.

Titre : TAPNext++ : Quelle est la suite pour le suivi de n'importe quel point (TAP) ?

1. Problématique

Le suivi de n'importe quel point (Tracking Any Point - TAP) est une tâche fondamentale en vision par ordinateur, cruciale pour la réalité augmentée (AR), la robotique et la reconstruction 3D/4D. Bien que des méthodes récentes comme TAPNext aient permis un suivi en ligne (frame-by-frame) avec une latence minimale grâce à une architecture de transformateur récurrent, elles présentent deux limitations majeures :

Dégradation à long terme : Les performances chutent drastiquement sur des séquences vidéo longues (au-delà de ~150 images), car les représentations récurrentes se dégradent avec le temps.
Échec de la redétection : Les modèles échouent souvent à retrouver des points qui réapparaissent après une occlusion prolongée ou après être sortis du champ de vision. Les approches actuelles manquent de robustesse pour ces scénarios de réentrée, souvent en raison d'un manque de données d'entraînement adaptées et d'une méconnaissance de ce problème dans les métriques d'évaluation.

2. Méthodologie

TAPNext++ ne propose pas une nouvelle architecture de modèle, mais améliore radicalement l'entraînement et les stratégies de données du modèle existant TAPNext (basé sur des unités récurrentes linéaires SSM et des blocs ViT).

A. Entraînement sur des séquences longues (Long-Sequence Training)

Défi : Entraîner sur des séquences de 1024 images dépasse la mémoire d'un seul GPU.
Solution : Les auteurs utilisent une parallélisation de séquence (sequence parallelism) avec un scan parallèle distribué. Cette technique divise la séquence temporelle sur plusieurs GPU, permettant un entraînement end-to-end sur des vidéos de 1024 images tout en maintenant le contexte temporel complet.
Données : Création de Kubric-1024, un jeu de données synthétique de 10 000 vidéos de 1024 images avec des objets dynamiques et des mouvements de caméra complexes, combiné aux données réelles de PointOdyssey.

B. Augmentations Géométriques pour la Redétection

Pour simuler des points sortant du cadre et y réentrant, les auteurs introduisent une augmentation par roulis périodique (periodic roll) et des translations.
Les pixels et les coordonnées de suivi qui sortent d'un bord de l'image réapparaissent de l'autre côté (effet de "wrap-around"). Cela force le modèle à apprendre à redéetecter les points basés sur l'apparence plutôt que sur la proximité spatio-temporelle immédiate.
Perte pondérée pour les points occlus : Le modèle est entraîné pour prédire des positions plausibles même lorsque les points sont occlus (mais toujours dans l'image), avec une pondération de perte de 0,2 par rapport aux points visibles.

C. Nouvelle Métrique : AJRD (Re-Detection Average Jaccard)

Les métriques existantes (comme le taux de survie) ne mesurent pas spécifiquement la capacité à redéetecter un point après une longue période d'invisibilité.
Les auteurs proposent l'AJRD, qui évalue la qualité du suivi (Jaccard moyen) spécifiquement sur les segments de vidéo qui suivent immédiatement un événement de réapparition, conditionné à la durée de l'indétectabilité ( $d_{min}$ ).

3. Contributions Clés

Modèle TAPNext++ : Un modèle entièrement en ligne, léger et rapide qui établit un nouvel état de l'art (SOTA) sur plusieurs benchmarks, en surmontant les limitations de long terme de TAPNext.
Kubric-1024 : Un nouveau jeu de données synthétique massif (10k vidéos, 1024 images) conçu pour l'entraînement sur des séquences longues.
Métrique AJRD : Une nouvelle métrique standardisée pour évaluer la robustesse de la redétection, comblant un angle mort dans la littérature actuelle.
Stratégies d'Augmentation : Démonstration que des augmentations géométriques ciblées (roulis, aspect ratio variable) améliorent considérablement la robustesse aux occlusions et aux réentrées.
Efficacité : Le modèle conserve la faible empreinte mémoire et calculatoire de l'architecture TAPNext originale, sans nécessiter de mémoire explicite ou de fenêtres glissantes complexes.

4. Résultats

Les expériences montrent que TAPNext++ surpasse toutes les méthodes concurrentes (y compris CoTracker3, Track-On, et BootsTAPNext) :

Performance Globale : Il obtient le meilleur compromis vitesse-précision, atteignant un $\delta_{avg}$ moyen de 72,2 sur l'ensemble des benchmarks, tout en étant significativement plus rapide.
Longues Séquences (PointOdyssey) :
- Taux de survie (Survival Rate) : 67,9 % (contre 13,0 % pour BootsTAPNext).
- Erreur de position ( $\delta_{avg}$ ) : 52,6.
- Le modèle maintient une stabilité sur des séquences de plus de 1000 images, là où les autres échouent après ~150 images.
Redétection (AJRD) :
- TAPNext++ obtient les scores AJRD les plus élevés sur RoboTAP et PointOdyssey, prouvant sa capacité à retrouver des points après de longues occlusions ou sorties du cadre.
- L'augmentation par roulis est identifiée comme cruciale pour ces performances.
Vitesse :
- Jusqu'à 193 FPS (256x256) et 348 FPS (fenêtre non chevauchante) sur GPU H100, avec une latence très faible (~5 ms).
- Il est nettement plus rapide que les méthodes basées sur des fenêtres ou des mémoires explicites.

5. Signification et Impact

Ce travail démontre que les échecs des modèles de suivi de points sur de longues séquences et lors de redétections ne sont pas inhérents à l'architecture récurrente (SSM), mais sont principalement dus à des stratégies d'entraînement insuffisantes.

Pour la Robotique et l'AR : TAPNext++ rend possible le suivi robuste de points dans des environnements dynamiques réels où les objets disparaissent et réapparaissent, sans sacrifier la vitesse de traitement nécessaire aux applications temps réel.
Pour la Communauté : L'introduction de l'AJRD et du jeu de données Kubric-1024 fournit des outils essentiels pour évaluer et entraîner les futurs modèles de suivi, en se concentrant sur la robustesse à long terme plutôt que sur la simple précision à court terme.

En résumé, TAPNext++ redéfinit l'état de l'art du suivi de points en ligne en combinant une architecture efficace avec un entraînement massif sur des séquences longues et des augmentations de données intelligentes, offrant une solution prête à l'emploi pour des applications exigeantes en termes de latence et de robustesse.