Résumé Technique : HDST-GNN pour le Suivi Multi-Objets par UAV

Énoncé du Problème

Le suivi multi-objets (MOT) dans l'imagerie par Véhicule Aérien Sans Pilote (UAV) présente des défis distincts par rapport au suivi au niveau du sol. Le document identifie quatre difficultés principales :

1. Variation d'Altitude : L'altitude du drone fluctue considérablement, ce qui fait varier la taille apparente des objets d'un ordre de grandeur. Les rayons de voisinage spatiaux fixes utilisés dans les trackers basés sur les graphes existants entraînent une sur-connexion à basse altitude et une sous-connexion à haute altitude.
2. Petite Taille et Densité des Objets : Les objets sont souvent minuscules (par exemple, <10×10 pixels) et densément regroupés, ce qui rend l'extraction de caractéristiques d'apparence difficile et augmente la dépendance au contexte spatial et de mouvement.
3. Occlusion Fréquente : La perspective et les ombres provoquent des disparitions temporaires, nécessissant une ré-identification robuste à partir d'indices limités.
4. États d'Objets Hétérogènes : Les graphes de suivi contiennent simultanément des entités qualitativement différentes : de nouvelles détections (sans historique), des trajectoires confirmées (avec vitesse) et des trajectoires temporairement perdues. Les méthodes existantes traitent souvent ces cas de manière uniforme, ignorant leurs sémantiques d'appariement distinctes.

Les trackers basés sur les graphes de pointe actuels (par exemple, MPNTrack, GNNMatch) ne parviennent pas à traiter ces contraintes aériennes spécifiques, car ils reposent sur des contextes spatiaux fixes et des représentations de nœuds homogènes.

Méthodologie : HDST-GNN

Les auteurs proposent HDST-GNN (Réseau de Neurones sur Graphes Spatio-Temporels Hétérogènes et Dynamiques), un cadre entraînable de bout en bout conçu pour répondre aux limitations susmentionnées. Le pipeline se compose de cinq étapes :

1. Extraction d'Apparence

Un backbone ResNet-18 (pré-entraîné sur ImageNet) extrait des plongements (embeddings) de dimension 128 normalisés en L2 pour :

• Les nœuds de détection : Découpes de l'image actuelle.
• Les nœuds de trajectoire (tracklet) : Découpes de l'observation la plus récente ($t-1$).
• Les nœuds perdus : Découpes de la dernière image observée avant la disparition.

2. Construction de Graphe Adaptative à l'Altitude (Contribution C1)

Au lieu d'un rayon fixe, le système estime un proxy d'altitude de la caméra $\hat{z}$ basé sur l'aire apparente moyenne des objets $\bar{a}$ dans l'image actuelle :
$$\hat{z} = -\log\left(\frac{\bar{a}}{a_{ref}} + \epsilon\right)$$
Le rayon de connexion effectif $r_{eff}$ est ajusté dynamiquement :
$$r_{eff} = r_0 \cdot \exp(-\beta\hat{z})$$
Cela contracte le rayon à haute altitude (où les objets sont petits et denses en pixels) et l'étend à basse altitude, évitant ainsi des connexions erronées entre des régions spatiales non liées.

3. Représentation de Graphe Hétérogène (Contribution C2)

Le graphe $G=(V, E)$ modélise trois types de nœuds distincts :

• Type-D (Détection) : Nouvelles détections.
• Type-T (Trajectoire/Tracklet) : Trajectoires actives confirmées.
• Type-L (Perdu/Lost) : Trajectoires récemment perdues (dans une fenêtre de mémoire).

Chaque type possède des projections d'entrée dédiées. Le graphe inclut cinq relations d'arêtes typées (par exemple, l'appariement détection-vers-trajectoire, l'interaction entre trajectoires, la ré-identification perdu-vers-détection), permettant au réseau d'apprendre des sémantiques relationnelles séparées pour chaque couplage.

4. Agrégation Temporelle à Porte d'Occlusion (Contribution C3)

Pendant le passage de messages, le réseau utilise un mécanisme d'Attention à Porte d'Occlusion (Occlusion-Gated Attention). Chaque nœud source $j$ porte un score de confiance d'occlusion $\phi_j \in [0, 1]$, calculé selon qu'il s'agit d'une trajectoire confirmée, d'une trajectoire perdue ou d'une détection.
Le message $m_{j \to i}$ est mis à l'échelle par cette porte :
$$m_{j \to i} = \alpha_{ij} \cdot \phi_j \cdot W_{msg} h_j$$
Cela garantit que les nœuds fortement occultés ou récemment perdus contribuent proportionnellement moins aux mises à jour des plongements de leurs voisins, empêissant la "pollution" de l'état du graphe.

5. Association et Entraînement

• Tête (Head) : Une tête d'assignation Sinkhorn différentiable (inspirée de SuperGlue) calcule les assignations souples pendant l'entraînement. À l'inférence, un algorithme de Hongrie en deux étapes (suivant ByteTrack) résout les assignations strictes.
• Perte (Loss) : Le modèle est entraîné avec une perte conjointe combinant l'entropie croisée binaire (pour l'appariement) et la perte de marge triplet (pour l'apprentissage métrique sur les plongements d'apparence).

Contributions Clés

Le papier revendique explicitement trois contributions novatrices :

1. Construction d'Arêtes Adaptative à l'Altitude : Un mécanisme pour ajuster dynamiquement la connectivité du graphe en fonction de l'altitude estimée de la caméra, résolvant le mode de défaillance du rayon fixe dans les séquences aériennes.
2. Types de Nœuds et d'Arêtes Hétérogènes : Une structure de graphe qui distingue explicitement les détections, les trajectoires actives et les trajectoires perdues, permettant l'apprentissage de sémantiques d'appariement distinctes pour différents états de cycle de vie.
3. Agrégation Temporelle à Porte d'Occlusion : Un mécanisme de porte différentiable qui module les poids d'attention en fonction de la confiance d'occlusion, améliorant la robustesse face à la disparition temporaire d'objets.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données VisDrone2019-MOT.

Protocole Oracle-Detection

En utilisant les boîtes englobantes de vérité terrain comme entrée (pour isoler la performance d'association) :

• HDST-GNN a atteint 94,51 % de MOTA et 97,24 % d'IDF1.
• Cela a surpassé la ligne de base SORT de +5,0 points de MOTA.
• Les changements d'identité (ID) ont été réduits de 81 % (passant de 144 à 28 par séquence en moyenne).
• Le modèle a récupéré nettement plus de vraies détections (848 FN contre 1493 pour SORT), démontrant une ré-identification efficace.

Protocole Noisy-Detection

En utilisant des détections bruitées simulées (15 % de faux négatifs, 10 % de faux positifs) :

• HDST-GNN a réduit les changements d'identité de 49 % par rapport à SORT (638 contre 1264).
• Bien que SORT ait obtenu un MOTA légèrement supérieur dans ce contexte bruité spécifique en raison d'une politique d'appariement IoU plus permissive, HDST-GNN a démontré une intégrité d'identité supérieure, une priorité pour les applications de surveillance.

Études d'Ablation

• C1 (Adaptation à l'Altitude) : Le composant le plus critique. Son retrait a provoqué une chute de 6,07 points de pourcentage de MOTA, avec une performance s'effondrant sur les séquences présentant une forte variation d'altitude.
• C2 & C3 : Le retrait des types hétérogènes ou de la porte d'occlusion a entraîné des changements de MOTA négligeables dans l'ablation rapportée (probablement dus à la variance de l'entraînement), bien que les auteurs notent que ces composants interagissent avec la profondeur de l'entraînement.

Signification et Revendications

Le papier positionne HDST-GNN comme un nouveau état de l'art pour le MOT par UAV sous conditions d'oracle-detection. Les auteurs affirment que la signification de ce travail réside dans :

1. L'Adressage des Modes de Défaillance Systématiques : S'attaquer directement à la limitation du rayon fixe qui affecte les trackers par graphes existants sur les données aériennes.
2. La Modélisation Sensible au Cycle de Vie : Aller au-delà des graphes homogènes pour modéliser explicitement les états distincts des objets suivis (détection, suivi, perdu).
3. Une Ré-identification Robuste : Démontrer que les caractéristiques d'apparence apprises, combinées à la porte d'occlusion, peuvent récupérer efficacement les trajectoires après une occlusion et des changements d'altitude là où les méthodes traditionnelles basées sur l'IoU échouent.

Les auteurs concluent que, bien que les performances actuelles soient limitées par la qualité du détecteur (spécifiquement l'absence de détecteurs affinés sur VisDrone dans l'évaluation de bout en bout), le cadre d'association lui-même fournit un biais inductif robuste et structurellement conscient pour le suivi aérien. Des travaux futurs sont suggérés, notamment l'entraînement conjoint avec de vrais détecteurs et l'extension au suivi multi-classe.