💻 computer science

SpikingMOT: A Spike-Driven Multi-Object Tracker

Le papier présente SpikingMOT, un suivi multi-objets piloté par impulsions qui exploite la préférence de parcimonie d'activation et les réseaux de neurones à impulsions pour atteindre des performances de pointe sur les benchmarks SportsMOT et DanceTrack, tout en réduisant considérablement le nombre de paramètres et la consommation d'énergie.

Auteurs originaux : Yiding Sun, Xiangyang Yang, Dongxu Zhang, Qirui Wang, Zijie Xu, Wenxuan Liu, Shuiwang Li, Jihua Zhu, Zhaofei Yu, Tiejun Huang

Publié 2026-07-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiding Sun, Xiangyang Yang, Dongxu Zhang, Qirui Wang, Zijie Xu, Wenxuan Liu, Shuiwang Li, Jihua Zhu, Zhaofei Yu, Tiejun Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous observez un carrefour animé depuis une fenêtre en hauteur. Des centaines de personnes marchent, courent et se faufilent à travers la foule. Votre cerveau n'essaie pas de suivre chaque personne en calculant sa vitesse exacte et sa direction à chaque milliseconde ; il se concentre plutôt sur les mouvements les plus importants et ignore le reste. C'est la magie du Suivi Multi-Objets (Multi-Object Tracking - MOT), un superpouvoir pour les ordinateurs qui leur permet de suivre des éléments en mouvement comme des voitures, des joueurs ou des drones dans des vidéos. Pendant longtemps, les ordinateurs ont tenté de faire cela en utilisant des cerveaux massifs et « denses » (appelés Réseaux de Neurones Artificiels) qui déclenchent des signaux pour tout en même temps, comme une foule dans un stade qui crie tous en même temps. Mais cela consomme beaucoup d'énergie et peut être perturbé par le bruit. La grande question que les scientifiques se posent est la suivante : avons-nous vraiment besoin de tous ces cris pour garder une trace de qui est qui, ou est-ce qu'une approche plus calme et plus sélective pourrait tout aussi bien fonctionner ?

C'est ici qu'intervient un nouvel article intitulé SpikingMOT. Les chercheurs, dirigés par Yiding Sun et son équipe, ont décidé de tester une idée folle : et si nous faisions en sorte que le cerveau de suivi de l'ordinateur agisse davantage comme un cerveau humain ? Le cerveau humain utilise des « spikes » (pics) — de minuscules impulsions électriques qui ne se produisent que lorsqu'une chose importante doit être dite. L'équipe a découvert que pour le suivi d'objets en mouvement, être « parcimonieux » (ne s'activer que lorsque c'est nécessaire) n'est pas seulement un plan de secours ; c'est en fait un superpouvoir. Ils ont découvert qu'en utilisant un type de réseau inspiré du cerveau appelé Réseau de Neurones à Impulsions (Spiking Neural Network - SNN), ils pouvaient suivre des objets avec une précision incroyable tout en utilisant beaucoup moins d'énergie et de mémoire informatique.

Le Problème : Le Stade qui Hurle

Pendant des années, les meilleurs systèmes de suivi fonctionnaient comme un stade chaotique. Chaque fois qu'une image vidéo changeait, le réseau neuronal « dense » de l'ordinateur activait des milliers de neurones pour prédire où les objets se trouveraient ensuite. Les chercheurs ont remarqué quelque chose d'étrange : même lorsqu'ils forçaient l'ordinateur à se taire et ne laissaient parler que quelques neurones (un processus appelé « dropout »), le suivi s'améliorait dans de nombreux cas. C'était comme si la foule du stade criait si fort que les messages importants se perdaaient dans le bruit. Ils ont appelé cette observation la Préférence de Parcimonie d'Activation (Activation Sparsity Preference - ASP). Essentiellement, les données suggéraient que pour prédire le mouvement futur d'un ballon ou d'une personne, vous n'avez pas besoin d'une chorale complète ; vous avez juste besoin des bons solistes.

La Solution : Le Code Secret du Cerveau

Pour résoudre ce problème, l'équipe a construit SpikingMOT, le premier tracker qui fonctionne entièrement sur ces « impulsions » (spikes). Au lieu d'un bourdonnement constant d'activité, SpikingMOT attend des moments spécifiques pour s'activer, tout comme un neurone dans votre propre cerveau. Mais simplement rendre le réseau silencieux ne suffisait pas. L'équipe a réalisé qu'elle devait trouver un moyen intelligent de décider quels neurones devraient s'activer.

Ils ont conçu une boucle en deux étapes « inspirée du cerveau » :

La Décomposition (Le Menu) : Imaginez que l'ordinateur possède un menu de mouvements possibles (comme « tourner à gauche », « accélérer » ou « s'arrêter »). Au lieu d'essayer de deviner le mouvement exact, SpikingMOT décompose le mouvement en un ensemble de « pseudo-trajectoires » (des chemins fictifs). C'est comme avoir un jeu de cartes représentant différentes façons dont une personne pourrait se déplacer.
Le Calibrage (La Correction) : Après que l'ordinateur a deviné où se trouvera un objet, il vérifie la vidéo réelle pour voir s'il a raison. Si l'objet se trouvait ailleurs, l'ordinateur utilise cette « erreur » pour ajuster son menu pour la seconde suivante. C'est comme un chef qui goûte une soupe, réalise qu'elle manque de sel, puis ajuste la recette pour le prochain lot. Cela crée une boucle fermée où le tracker apprend de ses propres erreurs en temps réel.

Les Résultats : Plus Rapide, Plus Intelligent et Plus Vert

Les résultats ont été impressionnants. Lorsqu'ils ont testé SpikingMOT sur des jeux de données complexes comme SportsMOT (où les joueurs courent vite et changent brusquement de direction) et DanceTrack (où les danseurs se ressemblent beaucoup et se croisent souvent), il ne s'est pas contenté de suivre le rythme ; il a pris la tête.

Sur SportsMOT, il a atteint un score de pointe de 74,9 (appelé HOTA), battant le record précédent.
Sur DanceTrack, il a atteint 56,5, un nouveau record également.
Mais la véritable magie résidait dans l'efficacité. En utilisant cette approche pilotée par les impulsions, ils ont réduit le nombre de paramètres informatiques (la « taille du cerveau ») de 72 % et ont réduit la consommation d'énergie de 86,7 %.

Pourquoi cela compte

L'article suggère que pour suivre des objets en mouvement, nous n'avons pas besoin de construire des ordinateurs plus grands, plus bruyants et plus gourmands en énergie. Au lieu de cela, nous pouvons construire des ordinateurs plus intelligents, plus calmes, qui imitent la façon dont la nature résout les problèmes. Les chercheurs ont montré qu'en laissant l'ordinateur « émettre des impulsions » uniquement lorsqu'il a quelque chose d'important à dire, et en corrigeant constamment ses propres prédictions en fonction de ce qu'il voit, il peut suivre des mouvements complexes mieux que jamais. Bien que l'équipe note que leurs économies d'énergie sont actuellement calculées mathématiquement plutôt que testées sur des puces matérielles « neuromorphiques » spéciales, les résultats suggèrent fortement que l'avenir du suivi sera moins une question de force brute que d'efficacité biologique. Ils ont ouvert la porte à une nouvelle façon de penser : parfois, pour voir l'image globale, il suffit d'écouter les bons murmures.

Résumé Technique : SpikingMOT

Énoncé du Problème

Le suivi multi-objets (MOT - Multi-Object Tracking) est une tâche fondamentale de la perception visuelle, suivant généralement le paradigme "Tracking-by-Detection" (TBD). Bien que les récentes méthodes basées sur l'apprentissage aient amélioré la modélisation du mouvement grâce à des réseaux de neurones artificiels (ANN) à activation dense, elles négligent souvent de déterminer si ces réponses denses sont nécessaires pour une prédiction de trajectoire précise. Les méthodes classiques basées sur des filtres peinent face aux modèles de mouvement complexes, et les approches existantes basées sur l'apprentissage (par exemple, MambaTrack) reposent sur des calculs denses qui peuvent introduire des indices de mouvement redondants et une consommation d'énergie inutile.

L'article identifie un phénomène nommé Activation Sparsity Preference (ASP) : des preuves empiriques suggèrent qu'une suppression modérée des taux d'activation dans les prédicteurs de trajectoire non seulement préserve, mais peut améliorer les performances de suivi. Plus précisément, les réponses denses peuvent amplifier les indices de mouvement redondants, menant à des prédictions erronées ou à des changements d'identité, tandis que les activations éparses peuvent préserver les réponses de mouvement informatives. Le défi central consiste à formuler une architecture de modèle qui explique formellement l'ASP et qui traduit cette parcimonie en performances de suivi compétitives sans sacrifier la précision.

Méthodologie

Les auteurs proposent SpikingMOT, le premier tracker piloté par des impulsions (spikes) pour le MOT, qui exploite les réseaux de neurones à impulsions (SNN - Spiking Neural Networks) pour modéliser de manière adaptative la dynamique parcimonieuse des trajectoires. Le cadre est construit sur l'idée que le partitionnement par seuil conditionné par l'état (state-conditioned sparse gating) n'est théoriquement pas moins performant qu'un dropout indépendant de l'état sous un même taux d'activation.

SpikingMOT décompose le processus de suivi en deux étapes d'optimisation alternées, inspirées du cerveau :

1. Décomposition de la base de mouvement

Au lieu d'une prédiction dense unique, SpikingMOT décompose chaque état de trajectoire en bases de pseudo-trajectoires.

Codage de population : Inspiré par le codage de population biologique, l'état de mouvement encodé est décomposé en $K$ réponses de mouvement conditionnées par des bases.
Reconstruction par porte de spikes : Une base dense postérieure est encodée et transmise à des neurones Leaky Integrate-and-Fire (LIF). La dynamique de la membrane détermine si un spike est émis.
Sélection parcimonieuse : Les spikes émis agissent comme une porte, sélectionnant un sous-ensemble de bases de mouvement informatives tout en supprimant les autres. Cela crée une "pseudo-trajectoire" où seules les hypothèses de mouvement pertinentes sont activées pour l'image actuelle.

2. Calibration de l'erreur de prédiction

Pour adapter les réponses sélectionnées aux nouvelles observations, le système emploie une boucle de codage prédictif.

Calcul du résidu : Après l'association de la boîte prédite avec une détection (ou la vérité terrain pendant l'entraînement), le système calcule un résidu de boîte normalisé par l'échelle (erreur de prédiction).
Tête de calibration : Ce résidu est injecté dans une tête de calibration avec l'état actuel et les portes de spikes. La tête prédit une correction de logit pour toutes les bases de mouvement.
Mise à jour du postérieur : Les corrections mettent à jour les probabilités postérieures des bases de mouvement, qui sont ensuite transportées pour calibrer la prédiction de l'image suivante ( $f+1$ ). Cela forme une boucle fermée où les erreurs de prédiction pilotent la sélection des futures dynamiques de mouvement.

La fonction de perte globale combine la perte de prédiction de boîte avec des régulariseurs pour la parcimonie des spikes et la diversité des bases, garantissant que le modèle apprend une distribution de mouvement efficace et parcimonieuse.

Principales Contributions

Phénomène ASP : L'article explore et formalise la "Activation Sparsity Preference" dans le MOT, fournissant une plausibilité biologique via les théories du codage de population et du codage prédictif.
Architecture SpikingMOT : Il introduit le premier tracker piloté par des spikes pour le MOT, utilisant des SNN pour fournir des activations éparses adaptatives pour la prédiction de mouvement.
Stratégie inspirée du cerveau : Les auteurs proposent une nouvelle stratégie comprenant la décomposition de pseudo-trajectoire (pour une représentation structurée du mouvement) et la calibration de l'erreur de prédiction (pour l'adaptation en ligne), permettant une sélection parcimonieuse efficace.
Efficacité et Performance : Des expériences approfondies démontrent que SpikingMOT atteint des performances de pointe (SOTA) tout en réduisant considérablement les coûts de calcul.

Résultats Expérimentaux

Les auteurs ont évalué SpikingMOT sur quatre benchmarks : DanceTrack, SportsMOT, SeaDroneSee et MOT17.

Performance :
- Sur SportsMOT, SpikingMOT a atteint un HOTA de 74,9, surpassant les bases ANN denses comme MambaTrack (72,6).
- Sur DanceTrack, il a atteint un HOTA de 56,5, dépassant les méthodes précédentes.
- Le modèle a montré une force particulière dans les scénarios avec des mouvements complexes et non linéaires (SportsMOT) et des interactions de foule (DanceTrack), maintenant des identités cohérentes là où les modèles denses souffraient de changements d'identité.
Efficacité :
- Comparé à la base MambaTrack, SpikingMOT a réduit les paramètres de 72 % et la consommation d'énergie de 86,7 %.
- Il a obtenu ces gains tout en utilisant nettement moins d'unités actives (par exemple, un taux de déclenchement de spikes de 15,4 % avec 8 bases).
Études d'ablation :
- Les expériences ont confirmé que les mécanismes de parcimonie simples (par exemple, le dropout aléatoire, l'élagage $\ell_1$ ) ne produisent pas les mêmes bénéfices que la décomposition et la calibration par porte de spikes proposées.
- Le type de neurone LIF s'est avéré offrir le meilleur équilibre entre mémoire temporelle et complexité d'optimisation.
- La méthode a démontré sa capacité de généralisation à travers différents détecteurs (variantes de SpikeYOLO et YOLOX).

Signification et Revendications

L'article affirme que SpikingMOT apporte les SNN au domaine du suivi multi-objets, ouvrant une direction prometteuse pour un suivi efficace. La principale signification réside dans la démonstration que la parcimonie est un principe apprenable pour le raisonnement de mouvement.

Les auteurs soutiennent que :

L'activation dense n'est pas strictement nécessaire pour la prédiction de trajectoire ; en fait, un partitionnement (gating) adaptatif et parcimonieux peut améliorer la robustesse contre les indices de mouvement redondants.
La boucle inspirée du cerveau (décomposition + calibration) imite efficacement les mécanismes biologiques pour gérer les dynamiques de mouvement complexes.
Bien que les estimations d'énergie actuelles soient basées sur le nombre d'opérations, les résultats suggèrent que le déploiement de tels modèles sur du matériel neuromorphique pourrait générer des gains d'efficacité encore plus importants.

L'article conclut que les travaux futurs devraient se concentrer sur le déploiement de ces modèles sur des puces neuromorphiques et leur évaluation avec des données de caméras à impulsions (spike-cameras) dans des scénarios réels.