Accurate Planar Tracking With Robust Re-Detection

Les auteurs proposent SAM-H et WOFTSAM, de nouveaux trackers planaires combinant la segmentation robuste de SAM 2 et l'estimation d'homographie, qui établissent un nouvel état de l'art sur les benchmarks POT-210 et PlanarTrack tout en fournissant des annotations améliorées pour un étalonnage plus précis.

L'essentiel

🎯 Le Problème : Suivre un objet plat qui joue à cache-cache

Imaginez que vous essayez de suivre un objet plat (comme une carte de crédit, une affiche ou un écran de téléphone) dans une vidéo. C'est ce qu'on appelle le suivi planaire.

Le but est de dire à l'ordinateur : "Regarde, cet objet est là, il tourne, il s'éloigne, il est flou..." et de garder un cadre rouge bien ajusté autour de lui.

Mais la réalité est dure. L'objet peut :

• Être flou parce qu'il bouge vite (comme une voiture qui passe).
• Être transparent (une vitre).
• Être brillant (un miroir).
• Disparaître derrière un obstacle.
• Avoir une surface lisse sans aucun dessin (un mur blanc).

Les anciennes méthodes (les "anciens trackers") sont comme des chefs d'orchestre qui ne connaissent que la partition. Si un musicien (l'objet) sort de la salle ou si la musique devient trop forte (flou), le chef perd le fil et ne sait plus où est l'objet. Il ne peut pas le retrouver.

🚀 La Solution : WOFTSAM (Le duo gagnant)

Les auteurs de ce papier (Jonas Serych et Jiri Matas) ont créé un nouveau système appelé WOFTSAM. Pour faire simple, c'est un super-héros du suivi qui combine deux compétences différentes, comme un binôme de détectives :

1. Le Détective "Optique" (WOFT) : Le spécialiste du détail

C'est l'ancien champion. Il est très fort pour suivre les textures (les motifs, les lettres, les couleurs).

• Son super-pouvoir : Il regarde chaque petit point de l'objet et dit : "Tiens, ce point est parti ici, donc l'objet est ici."
• Sa faiblesse : Si l'objet est flou, transparent ou cache derrière un mur, il perd tout contact. Il est comme un aveugle qui ne voit plus les détails.

2. Le Détective "Forme" (SAM-H) : Le spécialiste de la silhouette

C'est la nouvelle invention. Il utilise une intelligence artificielle très puissante (SAM 2) qui est excellente pour découper les formes dans une image, même si l'objet est bizarre.

• Son super-pouvoir : Il ne regarde pas les détails, mais la forme globale. Il dit : "Même si l'objet est flou ou brillant, je vois une forme rectangulaire ici."
• Sa faiblesse : Il est un peu "gros". Il peut dire "C'est un rectangle" mais il n'est pas toujours précis au pixel près. C'est comme si vous disiez "c'est une voiture" sans pouvoir dire exactement où sont les roues.

🤝 La Magie : Comment ils travaillent ensemble ?

Le système WOFTSAM fonctionne comme une équipe de secours :

1. La poursuite normale : Le "Détective Optique" (WOFT) suit l'objet en détail. Tout va bien, le cadre rouge est parfait.
2. Le problème survient : L'objet passe derrière un obstacle, devient très flou, ou sort de l'image. Le Détective Optique panique : "Je ne vois plus rien ! Je suis perdu !"
3. L'intervention du sauveur : C'est là que le "Détective Forme" (SAM-H) intervient. Il dit : "Attends, je vois une forme rectangulaire là-bas ! Je vais te donner une estimation grossière de sa position."
4. Le sauvetage : Le système utilise cette estimation grossière pour "réinitialiser" le Détective Optique. Il dit à WOFT : "Essaie de te concentrer sur cette zone que je t'ai montrée."
5. Résultat : WOFT reprend le relais, retrouve les détails, et le suivi redevient parfait.

L'analogie du GPS :
Imaginez que vous conduisez avec un GPS très précis (WOFT) qui vous dit de tourner à gauche à 10 mètres. Soudain, vous entrez dans un tunnel (l'objet est caché). Le GPS perd le signal.
Le système SAM-H est comme un ami qui vous dit : "Ne panique pas, je sais que tu es dans ce tunnel, tu dois être quelque part vers le milieu."
Grâce à cette indication, le GPS se réinitialise et reprend le contrôle dès que vous sortez du tunnel.

🏆 Pourquoi c'est révolutionnaire ?

• Ils battent tout le monde : Sur les tests les plus difficiles (avec des objets transparents, brillants, ou qui changent d'apparence), leur système est bien meilleur que les précédents champions.
• Ils ont corrigé les règles du jeu : Ils ont remarqué que les "notes" (les données de référence) utilisées pour juger les anciens systèmes étaient parfois imprécises, un peu comme si on notait un élève sur un examen dont la correction était fausse. Ils ont tout re-vérifié avec une précision extrême (au pixel près) pour que les résultats soient justes.
• Ils gèrent l'impossible : Ils peuvent suivre des objets que les autres abandonnent, comme un écran de TV qui change d'image, ou un miroir qui reflète autre chose.

⚠️ Les limites (Le petit bémol)

Même les super-héros ont des faiblesses :

• Si l'objet n'a aucune forme définie (juste une tache informe), le Détective Forme peut se tromper.
• Si l'objet est caché par quelque chose qui a exactement la même forme (un autre objet identique), le système peut se tromper d'objet.
• Si l'objet est un rectangle parfait mais qu'une partie est cachée, le système peut avoir du mal à deviner la forme complète.

En résumé

Ce papier nous dit : "Pour suivre un objet plat dans le chaos, ne vous fiez pas à une seule méthode. Combine la précision des détails (optique) avec la robustesse des formes (segmentation)."

C'est comme avoir un binôme où l'un est un tireur d'élite (précis mais fragile) et l'autre un grand stratège (moins précis mais qui ne perd jamais de vue l'objectif). Ensemble, ils sont imbattables.

Résumé technique

1. Problématique

Le suivi d'objets plans (Planar Object Tracking) consiste à localiser et estimer la pose d'un objet plat dans une séquence vidéo. La pose est décrite par une transformation homographique à 8 degrés de liberté. Bien que ce problème soit fondamental pour la réalité augmentée, la robotique et la reconstruction 3D, il reste difficile à résoudre dans des conditions réelles.

Les défis majeurs incluent :

• Distorsions sévères : Perspective, rotation, changement d'échelle.
• Conditions visuelles difficiles : Flou de mouvement, surfaces sans texture, réflexions, transparence.
• Cibles dynamiques : Objets virtuels ou dont l'apparence change (ex: écrans TV).
• Perte de cible : Occlusions, sortie du champ de vision, ou échecs de suivi à court terme.

L'approche actuelle de l'état de l'art, WOFT, repose sur des correspondances de flux optique denses. Bien que précise sur des textures riches, elle échoue souvent à récupérer la cible une fois perdue car elle manque d'un mécanisme robuste de re-détection.

2. Méthodologie

Les auteurs proposent deux méthodes novatrices, SAM-H et WOFTSAM, qui combinent la robustesse à long terme des trackers de segmentation (SAM 2) avec la précision géométrique de l'estimation d'homographie par flux optique.

A. SAM-H : Estimation d'homographie à partir de segmentation

SAM-H est un module conçu pour convertir la sortie d'un tracker de segmentation (masque) en une estimation de pose homographique.

1. Extraction des coins : À partir du masque de segmentation fourni par SAM 2, des lignes de Hough sont ajustées aux contours pour détecter les intersections (les coins potentiels).
2. Désambiguïsation de la symétrie : Un quadrilatère est invariant aux décalages cycliques de ses coins. Pour ordonner correctement les coins détectés ($\tilde{X}_t$) par rapport aux coins initiaux ($X_0$), l'algorithme utilise :
   • Un modèle de mouvement (vitesse nulle) pour le suivi continu.
   • Une analyse d'apparence via des caractéristiques DINOv2 pour la re-détection après perte de cible. Il compare les caractéristiques de la cible actuelle avec des vues templates déformées selon les 4 décalages cycliques possibles.
3. Estimation de l'homographie :
   • Si les 4 points sont visibles : Calcul direct de l'homographie.
   • Si moins de 4 points sont visibles : Estimation d'une transformation résiduelle (similitude ou translation) basée sur les points visibles par rapport au cadre précédent.

B. WOFTSAM : Suivi précis avec re-détection robuste

WOFTSAM intègre SAM-H au tracker WOFT existant pour créer un système hybride capable de récupérer la cible après un échec. Le processus de suivi se déroule en trois étapes :

1. Suivi standard : Utilisation de la pose précédente ($H_{t-1}$) pour pré-déformer l'image courante, suivie d'une estimation d'homographie par flux optique pondéré (WFH).
2. Tentative de re-détection : Si l'estimation standard échoue (peu de correspondances valides), le système utilise la pose estimée par SAM-H ($H_{SAM}$) comme nouvelle initialisation (pré-déformation) pour réessayer l'estimation par flux optique.
3. Fallback : Si la re-détection échoue également, la pose $H_{SAM}$ est renvoyée comme meilleure estimation possible.

3. Contributions Clés

1. SAM-H : Une méthode nouvelle pour estimer des homographies à long terme à partir de masques de segmentation, rendant le suivi robuste aux changements d'apparence et aux pertes de cible.
2. WOFTSAM : Un tracker planaire qui améliore significativement l'état de l'art (WOFT) en intégrant la capacité de re-détection de SAM-H.
3. Ré-annotation des Ground Truth (GT) : Les auteurs ont ré-annoté avec une précision sub-pixel les cadres initiaux du benchmark PlanarTrack. Ils démontrent que les erreurs d'annotation initiales (souvent >15px) biaisent considérablement l'évaluation des méthodes basées sur le flux optique, affectant jusqu'à la moitié de la différence de performance observée.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur deux benchmarks : POT-210 et PlanarTrack.

• Performance globale : WOFTSAM établit un nouvel état de l'art sur les deux ensembles de données.
  • Sur PlanarTrack, il surpasse le deuxième meilleur tracker (WOFT) de +12,4 points sur la métrique p@15 et +15,2 points sur p@5.
  • Sur POT-210, il améliore la précision de près de 50% sur la métrique p@15 par rapport à WOFT.
• Analyse par attribut : L'amélioration est particulièrement marquée dans les scénarios difficiles nécessitant une re-détection : flou de mouvement, occlusions et scénarios non contraints.
• Complémentarité :
  • SAM-H excelle sur les cibles transparentes, réfléchissantes ou changeantes (où le flux optique échoue).
  • WOFT (et WOFTSAM) est plus précis sur les textures riches et les mouvements modérés.
  • Une expérience "oracle" (choisir le meilleur des deux par séquence) montre que les approches sont hautement complémentaires.
• Impact de la ré-annotation : Avec les nouvelles annotations précises, la performance de WOFTSAM s'améliore considérablement, confirmant que les anciennes annotations limitaient injustement l'évaluation des méthodes basées sur le flux.

5. Signification et Limites

Signification :
Ce travail démontre que la fusion de la segmentation sémantique (robuste à long terme) et de la géométrie dense (précise à court terme) est la voie à suivre pour le suivi planaire robuste. Il résout le problème critique de la récupération après perte de cible, un point faible majeur des méthodes précédentes. De plus, la mise à jour des annotations de référence améliore la fiabilité des benchmarks futurs.

Limites :

• Forme de la cible : SAM-H suppose une forme quadrilatérale approximative. Il échoue si les lignes du contour ne sont pas stables ou si l'objet n'est pas quadrilatéral.
• Occlusions complexes : Si l'occlusion masque trop de la cible (moins de 2 côtés visibles), l'estimation géométrique devient impossible sans informations contextuelles supplémentaires.
• Distracteurs : SAM 2 peut parfois se tromper et suivre un objet similaire ou une partie d'un objet plus large (ex: suivre toute une boîte au lieu d'une face), ce qui peut entraîner des échecs de re-détection.
• Cibles sans texture/symétriques : La désambiguïsation de la symétrie reste difficile sans texture distinctive ou sans compréhension du mouvement de la caméra.

En conclusion, WOFTSAM représente une avancée majeure en combinant les forces de l'apprentissage profond pour la segmentation et des méthodes géométriques classiques pour la précision, tout en offrant un jeu de données ré-annoté de haute qualité pour la communauté.