Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking

Imaginez un monde où la caméra de votre téléphone pourrait suivre un chien qui court, un ballon qui dérive ou une voiture qui file sans que personne n'ait jamais eu à dessiner un cadre autour d'eux. C'est le rêve du suivi d'objets visuels (visual object tracking), une branche de l'informatique où l'intelligence artificielle apprend à garder les yeux fixés sur une chose spécifique alors qu'elle se déplace dans une vidéo. Pendant des années, enseigner ces « yeux » à l'IA revenait à apprendre à un enfant à lire en utilisant seulement quelques livres coûteux écrits à la main. Les chercheurs devaient dessiner manuellement des cadres autour d'objets dans des milliers de vidéos pour montrer à l'ordinateur ce qu'il devait chercher. Ce processus est lent, ennuyeux et incroyablement coûteux, limitant la capacité de ces trackers à devenir plus intelligents. La grande question dans ce domaine est : pouvons-nous apprendre à l'IA à apprendre à partir des millions de vidéos qui flottent déjà sur Internet, là où personne n'a dessiné le moindre cadre ? La réponse réside dans l'apprentissage auto-supervisé (self-supervised learning), une astuce ingénieuse où l'ordinateur agit comme son propre professeur, utilisant les propres motifs de la vidéo pour comprendre ce qui est important.

Entrez en scène SSTrack++, un nouveau modèle brillant et étincelant proposé par une équipe de chercheurs qui tente de résoudre ce casse-tête sans avoir besoin de ces cadres coûteux dessinés à la main. Considérez l'ancienne façon d'enseigner à un tracker comme le fait de montrer la photo d'un chat à un étudiant en disant : « Ceci est un chat. » La nouvelle méthode, utilisée par SSTrack++, revient à donner à l'étudiant un film entier d'un chat en train de courir et en disant : « Déduis ce que le chat fait et où il va, en utilisant uniquement le film lui-même. » Les chercheurs ont constaté que les tentatives précédentes en la matière étaient un peu maladroites ; elles essayaient de deviner l'emplacement du chat en regardant simplement des endroits aléatoires, se laissant souvent distraire par le bruit de l'arrière-plan.

Pour corriger cela, l'équipe a conçu un système qui fonctionne comme une danse en deux étapes. D'abord, l'IA effectue un regard global vers l'avant (global forward look), balayant l'ensemble de l'image de la vidéo pour trouver où la cible pourrait se trouver, un peu comme un détective scrutant une pièce bondée pour repérer un suspect. Une fois qu'elle a une idée approximative, elle passe à un regard local vers l'arrière (local backward look), zoomant de près pour étudier comment l'apparence et le mouvement de la cible changent au fil du temps, comme un détective étudiant la démarche et les vêtements du suspect. En séparant ces deux tâches — trouver l'emplacement et comprendre le mouvement — le modèle apprend beaucoup plus vite et plus précisément.

Mais voici le véritable tour de magie : l'Évolution par Auto-Prompting (Self-Prompting Evolution). Imaginez que l'IA transporte avec elle un « post-it » décrivant l'apparence de la cible. Dans les anciens modèles, cette note était statique et pouvait devenir obsolète si la cible se retournait ou se salissait. SSTrack++ est différent ; il réécrit constamment son propre post-it. Après chaque image, l'IA se demande : « Ai-je réussi ? » et met à jour sa note avec les détails les plus nets et les plus clairs qu'elle vient de voir, jetant les parties floues ou confuses. C'est comme un détective qui affine constamment son croquis d'un suspect à mesure qu'il obtient de meilleurs aperçus, s'assurant que la description reste précise même dans une foule chaotique.

Les chercheurs ont également introduit une façon d'apprendre à l'IA à distinguer différents objets sans professeur. Ils ont utilisé une méthode appelée apprentissage contrastif d'instance (instance contrastive learning), qui est comme jouer à « jeu des différences » avec l'IA. L'ordinateur est confronté au même objet sous différents angles et à différents moments (correspondances positives) puis confronté à des objets complètement différents (correspondances négatives). Il apprend ainsi à réaliser : « Ah, ce bloc flou et ce bloc net sont le même chien, mais cet écureuil est totalement différent. » Cela aide le modèle à construire une carte interne solide de ce qu'est réellement la cible, même lorsqu'elle se cache derrière un arbre ou qu'elle se déplace rapidement.

Lorsque l'équipe a testé son nouveau modèle sur dix ensembles de données vidéo, les résultats ont été impressionnants. Sur le jeu de données GOT10K, SSTrack++ a amélioré son score de plus de 25,8 % par rapport aux méthodes auto-supervisées précédentes. Sur LaSOT, il a bondi de 21,4 %, et sur TrackingNet, il a progressé de 15,8 %. Bien qu'il n'ait pas encore complètement rattrapé les meilleurs modèles qui utilisent des cadres dessinés à la main, il a considérablement réduit l'écart. Les auteurs suggèrent que cette approche pourrait changer la donne pour créer des systèmes de suivi moins coûteux à construire et plus performants pour gérer le monde réel, désordonné et imprévisible, où nous ne pouvons pas toujours nous arrêter pour dessiner des cadres. Ils admettent toutefois que le système dépend encore un peu de la qualité de sa première intuition (le regard vers l'avant), suggérant qu'il reste de la place pour que le détective devienne encore plus aiguisé.