GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture

Le papier présente GOT-JEPA, un cadre de pré-entraînement par prédiction de modèles qui améliore la généralisation et la gestion des occlusions dans le suivi d'objets génériques, complété par OccuSolver pour affiner l'estimation de la visibilité et la capture des motifs d'occlusion.

L'essentiel

Voici une explication simple et imagée de l'article scientifique "GOT-JEPA", traduite en français pour un public général.

Imaginez que vous essayez de suivre un ami dans une foule très dense, avec des panneaux publicitaires qui bougent, de la pluie qui tombe, et des gens qui passent devant lui pour le cacher. C'est ce que les ordinateurs appellent le "suivi d'objets" (Object Tracking).

Les systèmes actuels sont comme des élèves très studieux qui ont appris par cœur la photo de votre ami. Si votre ami porte un manteau rouge et que soudain il met un chapeau bleu, ou si un camion passe devant, l'ordinateur panique et le perd de vue. Il est trop rigide.

Les auteurs de cet article ont créé une nouvelle méthode, GOT-JEPA, qui fonctionne un peu différemment. Voici comment, en utilisant des analogies simples :

1. Le Professeur et l'Élève (L'architecture JEPA)

Imaginez une salle de classe avec deux personnages :

• Le Professeur (Teacher) : Il regarde une vidéo de votre ami dans des conditions parfaites (beau temps, pas de foule). Il dit : "Voici exactement comment on doit reconnaître cet ami."
• L'Étudiant (Student) : Il regarde la même vidéo, mais avec des lunettes de soleil fumées, des taches sur l'écran, et des gens qui passent devant. Son travail est de deviner ce que le Professeur a vu, malgré le bruit.

La magie : Au lieu de simplement apprendre à reconnaître l'ami, l'Étudiant apprend à créer sa propre règle de reconnaissance (un "modèle") pour chaque situation.

• Si le Professeur dit "C'est mon ami", l'Étudiant doit dire "Même si je vois une tache, je sais que c'est mon ami".
• Cela force l'ordinateur à devenir très intelligent et adaptable, capable de suivre n'importe quel objet, même s'il ne l'a jamais vu avant, car il a appris à "deviner" la bonne réponse même quand l'image est abîmée.

2. Le Détective des Points (OccuSolver)

Le deuxième problème est l'occlusion (quand l'objet est caché). Les vieux systèmes disent : "Oh, le rectangle rouge a disparu, c'est fini !"

Le système OccuSolver agit comme un détective très minutieux qui ne regarde pas juste le rectangle, mais des points individuels sur l'objet (comme des points de colle sur le manteau de votre ami).

• Le problème : Si on colle des points au hasard, certains seront sur le manteau (utile) et d'autres sur le mur derrière (inutile).
• La solution : OccuSolver utilise la "mémoire" du tracker principal pour dire aux points : "Toi, tu es sur le manteau, reste actif. Toi, tu es sur le mur, tu es caché, repose-toi."
• Cela permet au système de savoir exactement quelle partie de l'objet est visible et quelle partie est cachée. Quand l'objet réapparaît, le système sait exactement où il était, car il a suivi les points cachés avec une logique déductive.

3. Le Résultat : Un Super-Suiveur

En combinant ces deux idées :

1. L'apprentissage par la prédiction (JEPA) : L'ordinateur apprend à s'adapter aux changements (météo, vêtements, angles) en s'entraînant sur des images "abîmées" pour prédire la vérité.
2. La vision fine (OccuSolver) : L'ordinateur sait distinguer ce qui est caché de ce qui est visible, point par point.

L'analogie finale :
Les anciens systèmes étaient comme un chien qui suit une personne par son odeur. Si l'odeur change ou si un mur coupe l'odeur, le chien s'arrête.
Le nouveau système GOT-JEPA est comme un détective humain qui :

• A une mémoire flexible (il s'adapte aux changements de tenue).
• Utilise sa logique pour déduire où est la personne même si elle est derrière un mur (grâce aux points cachés).
• Peut suivre n'importe qui, même un inconnu, sans avoir besoin de le connaître à l'avance.

En résumé

Cette recherche permet aux ordinateurs de devenir beaucoup plus robustes et intelligents pour suivre des objets dans des situations réelles et chaotiques (pluie, foule, caméras tremblantes), en imitant la façon dont notre cerveau humain intègre le passé et le présent pour ne jamais perdre de vue ce qui nous intéresse.

Résumé technique

Voici un résumé technique détaillé de l'article "GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture", publié dans les IEEE Transactions on Circuits and Systems for Video Technology.

1. Problématique

Le suivi d'objets générique (Generic Object Tracking - GOT) vise à localiser un objet arbitraire spécifié par une boîte englobante initiale dans une séquence vidéo. Malgré les progrès récents, les trackers actuels souffrent de deux limitations majeures :

• Faible généralisation : Les modèles sont souvent optimisés pour des cibles spécifiques lors de l'entraînement, ce qui réduit leur robustesse face à des objets ou des scénarios non vus (out-of-distribution).
• Gestion grossière de l'occlusion : Les méthodes existantes traitent l'occlusion au niveau de la scène ou de la boîte englobante globale. Elles manquent de capacité à raisonner finement sur la visibilité de parties spécifiques de l'objet, ce qui entraîne des scores de confiance peu fiables et une perte de suivi lors d'occlusions partielles ou totales.

Contrairement au système visuel humain qui intègre les observations passées et raisonne sur la visibilité à granularité fine, les systèmes actuels manquent de cette capacité de raisonnement abstrait.

2. Méthodologie

Les auteurs proposent un cadre intégré composé de deux piliers principaux : GOT-JEPA pour l'adaptation du modèle et OccuSolver pour la perception fine des occlusions.

A. GOT-JEPA : Pré-entraînement par Architecture Prédictive à Encodage Joint (JEPA)

L'approche étend le paradigme JEPA (initialement conçu pour la prédiction de caractéristiques d'images) à la prédiction de modèles de suivi.

• Architecture Enseignant-Élève :
  • Un prédicteur enseignant (t-Predictor), figé et pré-entraîné, génère des "pseudo-modèles de suivi" à partir d'une image courante propre (non corrompue).
  • Un prédicteur étudiant (s-Predictor) apprend à prédire les mêmes pseudo-modèles à partir d'une version corrompue de l'image courante (occlusions, distracteurs, bruit).
  • Les deux prédicteurs reçoident les mêmes informations historiques (images de référence et labels).
• Objectif d'apprentissage : Cette asymétrie d'information force l'étudiant à apprendre des représentations robustes capables de discriminer la cible du fond malgré des observations dégradées.
• Pertes utilisées :
  • Perte d'invariance ($L_{inv}$) : Minimise la distance entre le modèle généré par l'étudiant et celui de l'enseignant.
  • Perte de covariance ($L_{cov}$) : Appliquée via un module "Expander", elle réduit la redondance dans les modèles prédits, encourageant la diversité des motifs appris.

B. OccuSolver : Résolution Fine des Occlusions

OccuSolver améliore la perception de l'occlusion en intégrant un suiveur de points (basé sur CoTracker) avec les priors sémantiques du tracker GOT.

• Adaptation du suiveur de points : Les points initiaux sont échantillonnés aléatoirement dans la boîte de l'objet. OccuSolver affine ces points en utilisant les priors de l'objet (labels de référence) pour les rendre "conscients de l'objet".
• Estimation de visibilité : Le module estime l'état de visibilité (visible/invisible) pour chaque point physique.
• Boucle de rétroaction :
  1. Le tracker fournit des priors d'objet au suiveur de points.
  2. Le suiveur de points identifie les points visibles et invisibles.
  3. Ces informations de visibilité sont intégrées aux caractéristiques visuelles via un Réseau d'Ensemble (Ensemble Network).
  4. Le résultat est utilisé pour générer des labels de référence de haute qualité pour l'adaptation du modèle de suivi, créant une boucle vertueuse qui améliore la prédiction du modèle pour les images suivantes.

3. Contributions Clés

1. GOT-JEPA : Un nouveau cadre de pré-entraînement qui transforme la prédiction de caractéristiques d'images en prédiction de modèles de suivi, améliorant considérablement la généralisation aux objets non vus et aux environnements dynamiques.
2. OccuSolver : Une méthode innovante qui combine la sémantique de haut niveau (GOT) et les indices géométriques de bas niveau (points) pour une estimation fine de la visibilité, permettant une gestion explicite des occlusions partielles.
3. Synergie Modèle-Visibilité : La création d'un couplage étroit où la visibilité des points affine les labels d'entraînement, stabilisant ainsi les prédictions futures du tracker.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur sept benchmarks (AVisT, NfS, OTB-100, GOT-10k, LaSOT, TrackingNet, VOT2022).

• Performance Générale : GOT-JEPA surpasse l'état de l'art (SOTA) sur la plupart des datasets, notamment dans les scénarios hors distribution (Out-of-Distribution).
  • Sur AVisT (conditions adverses) : 63,7 % de taux de succès (SUC), surpassant PiVOT (62,2 %) et LoRAT (62,0 %).
  • Sur GOT-10k : 79,6 % d'IOU moyen (AO), le meilleur résultat parmi les trackers sans segmentation SAM.
  • Sur LaSOT et TrackingNet : Meilleures précisions normalisées (NPr) et taux de succès.
• Robustesse aux Occlusions : L'analyse par attributs montre des gains significatifs dans les catégories "Occlusion", "Déformation" et "Brouillard/Conditions météo".
• Études d'ablation :
  • L'ajout de GOT-JEPA seul améliore les performances de ~2,5 % sur AVisT.
  • L'ajout d'OccuSolver sur un modèle pré-entraîné par JEPA apporte un gain supplémentaire substantiel, confirmant que des labels de meilleure qualité (grâce à la visibilité fine) améliorent l'adaptation du modèle.
  • L'utilisation de l'augmentation par "Copy-Paste" (corruption de caractéristiques) combinée à JEPA s'avère plus efficace que le masquage simple.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine du suivi d'objets en :

• Dépassant le paradigme "Tracking-by-Detection" classique en apprenant à prédire des modèles de suivi robustes plutôt que de simplement ajuster des paramètres pour des cibles connues.
• Résolvant le problème de l'occlusion non plus comme un problème global, mais comme un problème de visibilité à granularité de point, s'approchant ainsi des capacités de raisonnement humain.
• Offrant une solution adaptable qui fonctionne bien aussi bien sur des données vues pendant l'entraînement (in-distribution) que sur des scénarios totalement nouveaux (out-of-distribution), ce qui est crucial pour les applications réelles en conditions réelles.

En conclusion, GOT-JEPA démontre que l'intégration de l'apprentissage prédictif (JEPA) et de la perception fine de la visibilité (OccuSolver) permet de créer des trackers génériques plus robustes, précis et capables de s'adapter aux défis complexes des environnements dynamiques.