GateMOT: Q-Gated Attention for Dense Object Tracking

1. Énoncé du problème

Le Suivi d'Objets Dense (MOT) nécessite le maintien d'identités fiables pour plusieurs objets dans le temps, tout en gérant simultanément la détection, l'estimation du mouvement et la ré-identification (ReID). Le défi central réside dans le goulot d'étranglement computationnel de l'application des mécanismes d'attention standards aux cartes de caractéristiques denses et haute résolution.

• Le Décalage : L'auto-attention classique repose sur des interactions toutes-à-toutes quadratiques ($O(N^2d)$), ce qui est computationnellement prohibitif pour l'estimation du mouvement dense sur des caractéristiques haute résolution, en particulier dans des scènes encombrées avec un fort taux d'occlusion.
• Limites des Approches Existantes :
  • Suivi par Détection (Filtre de Kalman) : Découple le mouvement des caractéristiques visuelles, en s'appuyant sur des modèles linéaires fixes qui échouent face à des dynamiques complexes et non linéaires.
  • Méthodes Basées sur des Requêtes : Utilisent des requêtes d'instances éparses pour éviter le calcul dense, mais affaiblissent le raisonnement géométrique explicite pour le mouvement et peinent face aux naissances et décès fréquents de pistes.
  • Méthodes de Mouvement Apprenables : Découplent souvent la tête de mouvement de l'attention pour préserver l'efficacité, manquant ainsi les bénéfices d'une interaction profonde au niveau des caractéristiques.
• Objectif : Concevoir un mécanisme qui combine la force de sélection des caractéristiques de l'attention avec la complexité linéaire requise pour le décodage multi-tâches dense et en temps réel.

2. Méthodologie : GateMOT et l'Attention Q-Gated

Les auteurs proposent GateMOT, un cadre de suivi en ligne centré sur un mécanisme novateur appelé Attention Q-Gated (Q-Attention).

A. Mécanisme Central : l'Attention Q-Gated

Au lieu d'utiliser la Requête ($Q$) uniquement pour calculer des scores de similarité pour une agrégation globale (comme dans l'attention standard), GateMOT réaffecte la Requête en tant qu'unité de contrôle (gating) apprenable.

1. Requête de Contrôle (Gating-Q) : La projection de la Requête génère une carte spatiale de scores. Ces scores sont passés à travers une fonction Sigmoid pour produire une carte de contrôle probabiliste ($M$).
   $$M = \sigma(Q)$$
2. Modulation Élément par Élément : Cette porte $M$ module les caractéristiques de la Clé ($K$) élément par élément. Cela agit comme un filtre spatial fin, sélectionnant les caractéristiques pertinentes sans coûteuse multiplication matricielle globale.
   $$K' = M \odot K$$
3. Fusion avec la Valeur Résiduelle : La Clé contrôlée ($K'$) subit une agrégation spatiale locale (par exemple, MaxPool). Crucialement, la projection de la Valeur ($V$) est conservée comme un flux résiduel non filtré pour préserver l'intégrité des caractéristiques haute fidélité.
4. Sortie Finale : Le chemin de la Clé sélectionné et le chemin de la Valeur résiduelle sont concaténés et fusionnés via une convolution $1\times1$ pour produire la représentation finale adaptative à la tâche.
   $$Y = \psi([V, \text{MaxPool}(K')])$$

Complexité : Cette conception réduit la complexité de quadratique $O(N^2d)$ à linéaire $O(Nd^2)$ (avec un terme de contrôle $O(Nd)$), la rendant faisable pour les têtes denses.

B. Architecture GateMOT

GateMOT emploie un décodeur multi-tâches fortement couplé construit sur une carte de caractéristiques haute résolution partagée ($F_t$) extraite d'un backbone DLA-34.

• Têtes Parallèles : Le décodeur se compose de têtes parallèles pour la Détection, le Mouvement et le ReID.
• Backbone Partagé, Portes Spécifiques à la Tâche : Chaque tête part de la même carte de caractéristiques partagée mais utilise sa propre porte Q-Attention apprise. Cela assure une sélection de caractéristiques spécifique à la tâche (par exemple, sensible au mouvement vs sensible à l'identité) tout en maintenant une cohérence spatiale entre les tâches.
• Pipeline de Suivi :
  1. Détection : Prédit les cartes de chaleur de centre, les tailles de boîtes et les embeddings ReID.
  2. Mouvement : Prédit les vecteurs de mouvement.
  3. Association : Utilise une rétroprojection guidée par le mouvement pour associer les détections actuelles aux trajectoires précédentes. Les paires non appariées sont résolues via la similarité cosinus ReID sous contraintes géométriques.
  4. Mise à jour : Les modèles d'apparence des pistes sont mis à jour en utilisant une règle adaptative à la confiance pour gérer l'occlusion.

3. Contributions Clés

1. Cadre GateMOT : Un cadre de suivi en ligne fortement couplé qui modélise conjointement la détection, le mouvement et le ReID à partir d'une carte de caractéristiques dense partagée, éliminant le besoin de priors de mouvement découplés.
2. Attention Q-Gated : Un module d'attention novateur et compact qui transforme la Requête en une porte apprenable. Il permet une sélection efficace de caractéristiques élément par élément avec une complexité linéaire, remplaçant l'agrégation globale coûteuse.
3. Performances de l'État de l'Art : Démontre que l'Attention Q est un bloc de construction pratique et transférable qui atteint des résultats SOTA sur divers benchmarks (BEE24, MOT17, MOT20, SportsMOT) sans surapprentissage à des architectures spécifiques.

4. Résultats Expérimentaux

GateMOT a été évalué sur quatre benchmarks majeurs, montrant des performances supérieures tant en précision qu'en efficacité.

• BEE24 (Abeilles Denses) : A atteint un HOTA 48,4, un MOTA 67,8 et un IDF1 64,5, établissant un nouveau SOTA. Il a considérablement réduit les changements d'identité par rapport à des bases de référence comme ByteTrack et OC-SORT, prouvant sa robustesse face à une occlusion extrême.
• SportsMOT (Mouvement Rapide/Apparence Similaire) : A atteint un HOTA 76,3 et un IDF1 79,0, démontrant un fort pouvoir discriminatif pour le ReID même lorsque les athlètes portent des uniformes similaires.
• MOT17 & MOT20 (Urbain/Encombré) :
  • MOT17 : HOTA 63,3, MOTA 78,0, IDF1 77,9.
  • MOT20 : HOTA 62,8, MOTA 77,6, IDF1 77,3.
  • Ces résultats indiquent une localisation et une association robustes dans des environnements urbains complexes.

Analyse de l'Efficacité :

• GateMOT (Q-Attn) surpasse l'auto-attention classique, l'attention déformable et l'attention linéaire en HOTA tout en maintenant des GFLOPs plus bas et un FPS plus élevé.
• Sur MOT17-val, Q-Attn a atteint 64,4 HOTA à 13,3 FPS (159,7 GFLOPs), tandis que l'Attention Déformable a atteint 63,8 HOTA à 11,8 FPS (182,5 GFLOPs).

5. Signification et Impact

• Combler le Fossé : GateMOT comble avec succès le fossé entre la puissance de représentation des mécanismes d'attention et les exigences d'efficacité du suivi d'objets dense.
• Changement de Paradigme de Conception : Il remet en question l'idée que l'attention doit être sparse ou découplée pour les tâches denses. En réimaginant la Requête comme une porte, il permet un apprentissage multi-tâches dense, parallèle sans le coût quadratique.
• Généralisabilité : La méthode est agnostique au backbone (testée sur DLA, ResNet, YOLOX) et se transfère bien à travers différents scénarios de suivi, suggérant que l'Attention Q est un bloc de construction fondamental pour les futures tâches de compréhension vidéo dense.
• Praticité : La complexité linéaire permet une inférence en temps réel sur des caractéristiques haute résolution, la rendant adaptée à des applications comme la conduite autonome et la robotique où le suivi dense est critique.