Résumé Technique : Propagation de Masque Sélective pour le Suivi Multi-Objets

1. Énoncé du Problème

Le suivi multi-objets (MOT) repose sur le maintien d'identités cohérentes à travers les trames vidéo. Les méthodes modernes de suivi par détection construisent généralement une matrice de coût utilisant des indices spatiaux, de mouvement ou d'apparence, et résolvent le problème d'assignation via l'algorithme hongrois. Bien qu'efficaces lorsqu'une assignation est nettement supérieure, ces méthodes échouent lorsque les alternatives sont « presque équivalentes » — un cas de figure courant lorsque les objets sont proches dans l'espace de caractéristiques utilisé par le suiveur. Dans ces cas, le suiveur s'engage sur une identité basée sur une différence de coût négligeable, ce qui entraîne des commutations d'identité qui se propagent dans le temps.

Les solutions existantes présentent des limitations :

• Les suiveurs de bout en bout nécessitent des données d'entraînement étendues et manquent de transférabilité de domaine.
• Les extensions de la famille SORT améliorent les matrices de coût mais ne peuvent pas résoudre les cas où tous les indices sont simultanément ambigus.
• Les suiveurs basés sur les masques intègrent la segmentation d'objets vidéo (VOS) mais propagent les masques sur chaque trame, ce qui entraîne des coûts de calcul élevés même lorsque le suiveur de base fonctionne correctement.
• Les modèles VOS (ex. famille SAM, Cutie) excellent dans la préservation de l'identité lors des occlusions mais sont coûteux en calcul et sujets à la dérive ou à l'effondrement s'ils sont appliqués uniformément à chaque trame.

Le défi central est de tirer parti des capacités de préservation d'identité des modèles VOS sans subir leur coût de calcul intégral sur les trames où un suiveur de base léger est déjà suffisant.

2. Méthodologie

Le papier propose la Propagation de Masque Sélective, un algorithme sans entraînement qui traite à la fois le suiveur de base et le modèle VOS comme des boîtes noires. Le système fonctionne sur le principe que la plupart des trames sont « faciles » pour un suiveur léger, tandis qu'une petite fraction est « difficile » et sujette aux commutations d'identité.

2.1. Mécanisme de Dispatch (Création de Fenêtre)

Le système surveille la confiance d'assignation du suiveur de base pour déterminer quand invoquer le modèle VOS.

• Signal Primaire (Marge d'Assignation) : L'algorithme calcule la marge dans la matrice de coût hongroise pour les détections appariées, définie comme la différence entre le deuxième meilleur et le meilleur coût d'assignation ($m_{j^*} = \min_{i \neq i^*} C_{i,j^*} - C_{i^*,j^*}$).
  • Une grande marge indique une assignation confiante.
  • Une petite marge (inférieure à un seuil $\tau_{entry}$) indique une ambiguïté, déclenchant l'ouverture d'une « fenêtre ».
• Signaux Additionnels :
  • Signal d'Écart (Gap Signal) : Se déclenche si une piste disparaît pendant $G$ trames et réapparaît, indiquant un risque de ré-attachement au mauvais objet.
  • Fenêtres Témoins (Witness Windows) : Si une fenêtre primaire s'ouvre, les pistes proches et chevauchantes sont également ensemencées pour résoudre les potentiels échanges d'identité.
• Ensemencement (Seeding) : Pour chaque fenêtre, le système remonte en arrière depuis la trame d'entrée pour trouver une « trame de semence » où l'identité de la cible est sans ambiguïté (marge élevée) et spatialement isolée. Le modèle VOS est initialisé ici.

2.2. Propagation de Masque et Conditions de Sortie

Une fois une fenêtre ouverte et ensemencée, le modèle VOS propage les masques à travers la région ambiguë. Le système utilise une règle de décision asymétrique : la sortie du suiveur de base n'est modifiée que si le modèle VOS fait une prédiction confiante qui contredit l'identité du suiveur de base.

• Conditions de Sortie : Une fenêtre se ferme lorsqu'une de ces quatre conditions est maintenue pendant $N_{exit}$ trames consécutives :
  1. Le masque est contenu dans une seule piste (IoMA élevé).
  2. La marge d'assignation de la piste est remontée au-dessus d'un seuil ($\tau_{exit}$).
  3. La piste est spatialement isolée.
  4. Le masque est isolé des autres masques actifs.
• Résultats :
  • SWAP (Échange) : Si le masque se stabilise dans une piste différente de la semence, le système effectue un échange d'identité confirmé.
  • CLEAN (Nettoyage) : Si le masque revient à la piste originale, aucun changement n'est effectué.
  • Rejeté (STALE, DEGRADED, EDGE, END) : Si le masque ne converge pas, se dégrade ou sort du cadre, la sortie du suiveur de base est préservée inchangée. Cela garantit que le modèle VOS ne peut pas nuire aux performances de suivi à moins d'être hautement confiant dans une correction.

2.3. Association Globale de Pistes (Spécifique au Sport)

Pour l'analyse sportive, la méthode est augmentée par une Association Globale de Pistes (GTA) pour gérer la ré-identification hors écran. Ce module lie les segments de pistes séparés par des sorties de bordure de cadre en utilisant les numéros de maillots (via OCR), la classification des équipes et les plongements d'apparence (embeddings). Cela traite le mode de défaillance complémentaire des joueurs quittant et réentrant dans la scène, tandis que la propagation sélective de masque gère les occlusions à l'écran.

3. Contributions Clés

1. Algorithme Sans Entraînement : Une méthode qui effectue un dispatch sélectif d'un suiveur de base léger vers un modèle VOS basé sur l'incertitude d'assignation, préservant la sortie de base à moins que le modèle VOS ne la contredise avec confiance.
2. Conception Modulaire : L'approche traite le suiveur de base et le modèle VOS comme des boîtes noires, permettant de remplacer le composant VOS par des modèles plus performants (ex. passer de SAM 2 à SAM 3) sans réentraîner le suiveur de base.
3. Performances de l'État de l'Art :
   • DanceTrack : Améliorations significatives sur trois suiveurs de base différents (SORT, ByteTrack, Deep-EIoU) en utilisant le même mécanisme de dispatch.
   • SportsMOT : Atteint un nouvel état de l'art de 87.2 HOTA avec SAM 3-Deep-EIoU et l'association globale de pistes.

4. Résultats

• Généralisation : Sur l'ensemble de validation de DanceTrack, la propagation sélective de masque a systématiquement amélioré les scores HOTA et AssA pour SORT, ByteTrack et Deep-EIoU. Les améliorations étaient statistiquement significatives, les gains les plus importants étant observés dans l'AssA (précision d'association), reflétant directement la correction des commutations d'identité.
• Mises à jour de Modèles : Le passage du composant VOS de SAM 2 à SAM 3 a apporté des améliorations supplémentaires sans réentraîner la logique de dispatch, validant la nature modulaire de l'approche.
• Benchmark SportsMOT : Le système proposé (SAM 3-Deep-EIoU + GTA) a surpassé toutes les méthodes publiées sur l'ensemble de test SportsMOT en termes de HOTA, AssA, IDF1 et MOTA.
  • La marge par rapport à la ligne de base GTA-only (81.0 HOTA) est attribuée au composant de propagation sélective de masque.
  • Les études d'ablation ont confirmé que la propagation sélective de masque et la GTA traitent des modes d'erreur distincts (occlusion à l'écran vs ré-identification hors écran), leur amélioration combinée étant approximativement égale à la somme de leurs contributions individuelles.
• Analyse d'Efficacité : L'analyse des résultats de fenêtres montre que la majorité des fenêtres ouvertes (74,5 % sur DanceTrack, 94,7 % sur SportsMOT) résultent en l'absence de changement de la sortie du suiveur de base. Cela confirme que le signal de dispatch filtre efficacement les trames faciles, bien qu'un signal plus précis puisse encore réduire les coûts de calcul.

5. Signification et Revendications

Le papier affirme que la propagation sélective de masque offre une solution pratique au compromis entre précision de suivi et coût de calcul. En identifiant les trames « intrinsèquement difficiles » via la marge d'assignation, la méthode permet aux suiveurs légers de gérer les cas courants tout en réservant le calcul coûteux du VOS aux fenêtres ambiguës où la préservation de l'identité est critique.

Les auteurs soulignent que la méthode est sans entraînement et robuste, car elle ne modifie la sortie du suiveur de base que lorsque le modèle VOS est confiant, limitant ainsi les modes de défaillance de l'algorithme aux faux positifs de commutation d'identité tout en préservant la sortie de base dans tous les autres scénarios. L'approche comble avec succès le fossé entre le suivi par détection efficace et la segmentation d'objets vidéo de haute fidélité, atteignant des résultats de pointe sur les benchmarks de suivi sportif exigeants.