💻 computer science

GenTrack: A New Generation of Multi-Object Tracking

Cet article introduit GenTrack, une nouvelle méthode de suivi multi-objets qui combine des approches stochastiques et déterministes avec l'optimisation par essaim de particules et la modélisation des interactions sociales pour gérer de manière robuste les nombres de cibles inconnus, la dynamique non linéaire et les occlusions, atteignant une performance supérieure sur les benchmarks standards tout en fournissant la première implémentation de référence à dépendances minimales et publiquement disponible avec plusieurs variantes.

Auteurs originaux : Toan Van Nguyen, Rasmus G. K. Christiansen, Dirk Kraft, Leon Bodenhagen

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Toan Van Nguyen, Rasmus G. K. Christiansen, Dirk Kraft, Leon Bodenhagen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez à un festival bondé, essayant de garder un œil sur un groupe d'amis. Certains amis sont faciles à repérer, d'autres se fondent dans la foule, et occasionnellement, quelqu'un est masqué par une grande affiche publicitaire ou une tente. Votre cerveau doit faire trois choses simultanément : deviner où se trouvent vos amis quand vous ne pouvez pas les voir, déterminer qui est qui quand ils se ressemblent, et savoir quand un ami a quitté la fête ou quand un nouvel inconnu a rejoint le groupe.

C'est exactement le problème que GenTrack résout, mais pour les ordinateurs. Il s'agit d'un nouveau système de « Suivi Multi-Objets » conçu pour suivre de nombreuses choses en mouvement (comme des personnes ou des vaches) dans une vidéo, même lorsque la vision de la caméra est floue, que les objets sont cachés ou qu'ils se déplacent de manière imprévisible.

Voici comment fonctionne GenTrack, décomposé en concepts simples :

1. L'équipe de détectives « Hybride »

La plupart des systèmes de suivi sont soit comme un Joueur, soit comme un Robot.

Le Joueur (Stochastique) : Utilise des suppositions aléatoires pour voir où les choses pourraient se trouver. Il est excellent pour gérer le chaos, mais peut manquer de constance.
Le Robot (Déterministe) : Suit des règles et des données strictes. Il est constant, mais devient confus si les règles ne correspondent pas à la situation (comme un arrêt soudain ou un virage étrange).

GenTrack est un Détective Hybride. Il combine les deux styles. Il utilise le « Robot » pour garder la trace de qui est qui (en leur donnant des noms/ID cohérents) et le « Joueur » pour deviner où ils pourraient être s'ils disparaissent derrière un obstacle. De cette façon, il reste cohérent même quand la situation devient désordonnée.

2. L'« Essaim » de drones GPS (PSO)

Pour deviner où se trouve un objet lorsqu'il est difficile à voir, GenTrack libère un petit « essaim » de drones numériques (appelés particules) autour de la dernière position connue.

Le Problème : Dans une foule bruyante, ces drones pourraient voler partout de manière aléatoire.
La Solution : GenTrack utilise une technique appelée Optimisation par Essaim de Particules (PSO). Imaginez que les drones sont des abeilles. Si une abeille trouve une fleur (une bonne correspondance avec l'objet), elle signale les autres. Tout l'essaim converge rapidement vers le meilleur endroit.
Le Bénéfice : Même si le détecteur de la caméra est faible ou que l'objet est flou, l'essaim de drones peut toujours trouver la cible en travaillant ensemble, plutôt que de compter sur une seule supposition parfaite.

3. Le « Réseau Social » des cibles

Dans une foule, les gens ne se déplacent pas dans le vide ; ils se cognent les uns aux autres ou marchent en groupes.

Le Problème : Si deux amis marchent près l'un de l'autre, un système de suivi pourrait accidentellement échanger leurs noms (changement d'ID).
La Solution : GenTrack donne aux cibles une « conscience sociale ». Il sait que si la Cible A est proche de la Cible B, elles ne doivent pas fusionner en une seule ou échanger leurs places. Le système utilise ce « score social » pour maintenir les drones de la Cible A loin des drones de la Cible B. Cela empêche le système de suivi de s'embrouiller lorsque les objets se chevauchent ou se cachent les uns derrière les autres.

4. Trois versions pour différents besoins

Les auteurs ont construit trois versions de ce système, comme différents modèles de voiture :

GenTrack Simple : Le modèle de base. Il utilise des suppositions aléatoires et des règles de base. Bon pour des tâches simples.
GenTrack Strengthen : Le modèle de milieu de gamme. Il ajoute l'« Essaim » (PSO) pour aider à trouver les cibles plus efficacement dans des conditions bruyantes.
GenTrack Super : Le modèle de luxe. Il ajoute la fonctionnalité de « Réseau Social ». Il sait comment les cibles interagissent entre elles, ce qui en fait le meilleur pour gérer les scènes encombrées et les longues périodes de dissimulation (occlusion).

5. Tests en conditions réelles

Les auteurs ont testé ce système dans deux « fêtes » très différentes :

La Fête Humaine (MOT17) : Une vidéo de personnes marchant dans une ville. La caméra était un peu instable et le logiciel de détection n'était pas parfait. GenTrack a été plus performant que tous les autres systèmes de suivi de pointe, faisant moins d'erreurs dans le maintien de l'identité correcte des personnes.
La Fête des Vaches (MooTrack360) : Une vidéo de vaches laitières dans une étable. Les vaches se déplacent de manière imprévisible et la caméra utilise un objectif « fisheye » à grand angle. C'est un cauchemar pour les systèmes de suivi standards.
- Le Résultat : GenTrack a été presque parfait. Il a suivi les vaches pendant une heure entière avec zéro changement d'ID (il n'a jamais perdu la trace de quelle vache était laquelle), tandis que les autres systèmes de suivi ont beaucoup lutté.

L'essentiel à retenir

GenTrack est une nouvelle façon pour les ordinateurs de « regarder » des choses en mouvement. Au lieu de simplement suivre une seule ligne, il utilise une équipe d'éclaireurs numériques qui communiquent entre eux et savent comment gérer les foules. Les auteurs affirment qu'il est plus rapide, plus précis et plus robuste que les méthodes actuelles de pointe, surtout lorsque les objets sont difficiles à voir ou se déplacent de manière inhabituelle. Ils ont même rendu le code disponible pour que d'autres puissent l'essayer.

Résumé Technique : GenTrack – Une Nouvelle Génération de Suivi Multi-Objets

Énoncé du Problème

Le suivi multi-objets (MOT - Multi-Object Tracking) fait face à des défis importants pour maintenir des performances robustes dans des conditions de mouvement irrégulier, d'occlusions fréquentes et de similitude visuelle entre les cibles. Les approches existantes se divisent généralement en deux catégories : les méthodes sans détection (detection-free), qui peinent avec les objets apparaissant plus tard dans une séquence, et les méthodes basées sur la détection (detection-based), qui dépendent fortement de la qualité des détecteurs d'objets et supposent souvent des modèles de mouvement linéaire avec un bruit gaussien. De plus, de nombreuses méthodes basées sur des filtres à particules peinent face aux espaces d'états de haute dimension, à la dégénérescence des poids et au coût computationnel de la gestion d'un nombre variable de cibles dans le temps. Il existe une lacune critique dans la gestion de la dynamique non linéaire et du bruit non gaussien tout en garantissant la cohérence de l'identité de la cible (ID) entre les exécutions, particulièrement lorsque les détecteurs sont faibles ou bruités.

Méthodologie

Le document propose GenTrack, un cadre de suivi hybride qui intègre des approches stochastiques et déterministes pour répondre à ces limitations. La méthodologie repose sur les composantes fondamentales suivantes :

1. Cadre de Suivi Hybride

GenTrack combine les forces des méthodes stochastiques (gestion de l'incertitude et de la dynamique non linéaire) avec les méthodes déterministes (garantir la cohérence des ID de cible).

Composante Stochastique : Utilise une approche de filtre à particules pour modéliser l'état des cibles, employant un modèle de mouvement aléatoire pour gérer les mouvements imprévisibles courants chez les entités naturelles (ex: humains, animaux).
Composante Déterministe : Gère la naissance et la mort des cibles (initiation et suppression de trajectoire) via une association déterministe entre les segments de trajectoire (tracklets) et les détections. Cela assure la cohérence globale de la sortie et prévient les changements d'ID souvent observés dans les exécutions purement stochastiques.

2. Optimisation des Particules Guidée par PSO

Pour guider les particules stochastiques vers les modes de distribution optimaux des cibles sans dépendre d'un modèle de mouvement précis, GenTrack emploie l'Optimisation par Essaim de Particules (PSO - Particle Swarm Optimization).

Mesures de Fitness : Le cadre introduit des fonctions de fitness adaptées pour évaluer la qualité des particules :
- Fitness Historique ( $f^h_{PSO}$ ) : Alignement entre la particule actuelle et l'état optimal précédent de la cible.
- Fitness Exploratoire ( $f^p_{PSO}$ ) : Déviation de la particule actuelle par rapport à sa propre mise à jour lors de l'itération PSO précédente.
- Fitness Sociale ( $f^{i,s}_{PSO}$ ) : Interaction entre une particule et ses cibles voisines. Cette composante aide les particules à diverger des états voisins, réduisant ainsi la confusion lors des occlusions.
Optimisation : Les particules sont mises à jour de manière itérative en fonction des meilleurs résultats personnels et globaux, dirigeant l'essaim vers les régions de haute probabilité, même avec des détecteurs faibles.

3. Interactions Sociales et Mises à Jour d'État

Le cadre modélise explicitement les interactions entre les cibles pour améliorer la continuité du suivi.

Recherche de Voisinage : Une recherche adaptative de plus proche voisin identifie les cibles en interaction.
Mises à jour d'État :
- Trajectoires Fortes (Appariées) : Mises à jour directement à l'aide des détections appariées.
- Trajectoires Faibles (Non Appariées) : Mises à jour en utilisant les meilleures estimations globales issues du PSO, les vitesses et les interactions sociales avec les voisins. Ce mécanisme aide à récupérer les trajectoires pendant les occlusions et réduit les changements d'ID.

4. Variantes de GenTrack

Le document définit trois variantes du cadre pour offrir une flexibilité en termes de complexité et de performance :

GenTrack Simple : Utilise des modèles de mouvement aléatoire pour l'échantillonnage des particules sans raffinement par PSO.
GenTrack Strengthen : Incorpore le PSO avec des mesures de fitness historiques et exploratoires pour affiner les particules et mettre à jour les trajectoires faibles.
GenTrack Super : La variante la plus avancée, intégrant les mesures de fitness sociale dans le processus PSO pour affiner davantage le comportement des particules et les mises à jour d'état lors d'interactions complexes.

5. Référence Visuelle MOT et Implémentation

Les auteurs redéfinissent la référence visuelle MOT en incorporant la cohérence spatiale, l'apparence (caractéristiques HoG), la confiance de détection, les pénalités de trajectoire et les scores sociaux dans les fonctions de vraisemblance et de fitness.

Association de Données : Utilise l'algorithme de Hongrie avec une matrice de coût qui équilibre le coût de mouvement, la confiance de détection et les pénalités d'historique de trajectoire.
Implémentation : Une implémentation de référence open-source avec un minimum de dépendances est fournie, présentant trois variantes et supportant à la fois les données pré-enregistrées et les flux de capteurs en direct.

Contributions Clés

Le document souligne cinq contributions principales :

Cadre Hybride : Une nouvelle approche combinant des méthodes stochastiques et déterministes pour gérer robustement des nombres de cibles inconnus et variables ainsi que des dynamiques non linéaires, tout en maintenant la cohérence de l'ID.
Intégration du PSO : L'utilisation de l'Optimisation par Essaim de Particules avec des mesures de fitness proposées pour guider les particules vers les modes de la cible, permettant un suivi efficace avec des détecteurs faibles et bruités.
Intégration des Interactions Sociales : L'incorporation des interactions sociales entre les cibles pour améliorer les particules guidées par PSO et optimiser les mises à jour pour les trajectoires fortes et faibles, réduisant spécifiquement les changements d'ID et les pertes de trajectoire lors des occlusions.
Redéfinition de la Référence MOT : Un modèle d'état et d'observation complet basé sur la cohérence spatiale, l'apparence, la confiance de détection, les pénalités de trajectoire et les scores sociaux pour des mises à jour systématiques des cibles.
Référence Open-Source : La première implémentation de code source disponible publiquement avec un minimum de dépendances, offrant trois variantes (Simple, Strengthen, Super) et des options de réimplémentation flexibles.

Résultats Expérimentaux

La méthode a été évaluée sur deux scénarios distincts en utilisant un modèle de détection standard pour assurer une comparaison équitable avec les trackers de pointe (SORT, DeepSORT, ByteTrack, Bo-SORT, OC-SORT, SMILEtrack, ConfTrack).

Suivi Humain (MOT17-04) : Évalué sur une séquence de 1050 images avec un détecteur faible/bruité.
- GenTrack Super a atteint la performance la plus élevée avec un ATA de 62.946, un IDF1 de 93.593, un HOTA de 68.601 et un MOTA de 85.111.
- Il n'a enregistré que 4 changements d'ID, surpassant tous les trackers comparés, y compris ConfTrack (58 changements d'ID) et Deep-SORT (11 changements d'ID).
Suivi de Vaches (MooTrack360) : Évalué sur une séquence vidéo d'une heure (53 920 images) impliquant des mouvements animaux imprévisibles et une distorsion de type fisheye.
- GenTrack Simple, Strengthen et Super ont tous obtenu des scores quasi parfaits, avec un MOTA > 99.98, un IDF1 > 99.99 et 0 changement d'ID.
- En revanche, les autres trackers ont éprouvé des difficultés, ConfTrack (le meilleur hors GenTrack) enregistrant 1 changement d'ID et des scores ATA/IDF1 plus faibles.
Latence : GenTrack a démontré une capacité de temps réel. Dans le scénario de suivi des vaches, les latences étaient de 3,67 ms (Simple), 6,35 ms (Strengthen) et 6,74 ms (Super) sur un CPU. Dans le scénario plus complexe du suivi humain, les latences étaient respectivement de 56 ms, 64 ms et 92 ms. Notamment, le système maintient des performances robustes avec un très petit nombre de particules (6 à 8).

Signification et Revendications

Le document affirme que GenTrack représente une "nouvelle génération" de MOT en réussissant à résoudre le compromis entre la flexibilité stochastique et la cohérence déterministe. Sa signification réside dans :

Robustesse aux Détecteurs Faibles : Contrairement à de nombreuses méthodes basées sur la détection qui se dégradent avec des entrées bruitées, GenTrack utilise le PSO pour guider les particules, maintenant les performances même avec une détection sous-optimale.
Évolutivité et Efficacité : La méthode obtient des résultats supérieurs avec un nombre minimal de particules, ce qui la rend efficace sur le plan computationnel et adaptée aux applications en temps réel.
Gestion des Nombres Variables de Cibles : L'approche hybride gère efficacement les cibles entrant et quittant la scène sans les coûts computationnels élevés ou les problèmes de duplication de trajectoire associés aux filtres à particules à cible variable précédents.
Reproductibilité : En fournissant une implémentation open-source à dépendances minimales avec plusieurs variantes, les auteurs facilitent la comparaison systématique et le développement ultérieur dans la communauté MOT.

Les auteurs concluent que bien que l'implémentation actuelle utilise un modèle de mouvement aléatoire, le cadre est conçu pour être adaptable. Des gains de performance futurs sont anticipés grâce à l'intégration de modèles d'apparence spécifiques, de stratégies d'échantillonnage adaptables au bruit et d'une modélisation de mouvement améliorée (ex: clustering basé sur le chemin). Le cadre est présenté comme une fondation flexible pour diverses applications, du suivi de piétons au suivi du bétail.