Résumé technique : Transformer distillé à double branche pour le suivi asymétrique efficace de drones (EATrack)

1. Énoncé du problème

Le suivi de véhicules aériens sans pilote (UAV) fait face à un compromis critique entre l'efficacité computationnelle et la robustesse du suivi. Bien que les Transformers de vision (ViT) offrent des capacités de modélisation globale supérieures aux réseaux de neurones convolutifs (CNN) et aux filtres de corrélation discriminatifs (DCF), leur coût computationnel élevé les rend peu pratiques pour les plateformes embarquées de drones aux ressources limitées.

Les approches légères existantes tentent de résoudre ce problème en simplifiant les architectures de réseau (par exemple, élagage des couches, suppression de tokens ou calcul adaptatif). Cependant, l'article soutient que de telles simplifications structurelles affaiblissent souvent la capacité discriminative des représentations de la cible, entraînant une dégradation des performances dans des scénarios complexes impliquant des mouvements rapides, des occlusions et des variations d'apparence. De plus, les méthodes de distillation de connaissances antérieures dans le suivi opèrent souvent à un niveau global, échouant à exploiter explicitement des priors spatiaux ou à concentrer la supervision sur la région de la cible, ce qui peut entraîner une perte de focalisation du modèle étudiant sur la cible ou une dégradation de la localisation.

2. Méthodologie

Les auteurs proposent EATrack, un cadre de suivi de drones efficace et asymétrique centré sur une stratégie de distillation à double branche guidée par un enseignant. La philosophie centrale consiste à transférer les riches représentations de caractéristiques et les capacités de localisation précises d'un ViT « Enseignant » complet à un ViT « Étudiant » léger pendant l'entraînement, sans engendrer de coûts computationnels supplémentaires lors de l'inférence.

2.1. Architecture

• Modèle Enseignant : Un Transformer de vision complet (12 couches) servant de source de connaissances.
• Modèle Étudiant : Un ViT léger et asymétrique (8 couches) conçu pour une inférence en temps réel. Il traite les images modèle et de recherche indépendamment dans la première étape (Étape 1) et les fusionne dans la deuxième étape (Étape 2).
• Pipeline d'inférence : L'étudiant opère de manière indépendante. Pour gérer les variations temporelles, un Stockage de Cible accumule des caractéristiques de cible fiables. Périodiquement, des embeddings représentatifs sont échantillonnés à partir de ce stockage pour mettre à jour le modèle, permettant une adaptation temporelle avec une surcharge minimale.

2.2. Stratégie de distillation à double branche

Le processus d'entraînement emploie deux branches de distillation complémentaires pour guider le modèle étudiant :

1. Distillation au niveau des caractéristiques focalisée spatialement :

   • Objectif : Compenser l'affaiblissement des représentations de caractéristiques causé par l'élagage.
   • Mécanisme : Un masque de poids spatial, dérivé de la boîte englobante de vérité terrain, est appliqué aux caractéristiques de l'enseignant et de l'étudiant. Cela force la perte de distillation (erreur quadratique moyenne) à se concentrer sur la région de la cible tout en supprimant le bruit de fond.
   • Effet : Améliore la capacité de l'étudiant à apprendre des représentations de cible fortes et fines, et renforce la robustesse face aux encombrements de fond.

2. Distillation au niveau des prédictions :

   • Objectif : Améliorer la précision de la localisation spatiale.
   • Mécanisme : Une perte de divergence de Kullback–Leibler (KL) masquée aligne les distributions de confiance de l'étudiant et de l'enseignant spécifiquement au sein de la région de la cible.
   • Effet : Guide l'étudiant à reproduire le comportement de localisation précis et la cohérence des limites de l'enseignant.

2.3. Entraînement et fonction de perte

La perte totale d'entraînement combine les objectifs standards de suivi avec les termes de distillation :
$$L = L_{cls} + \lambda_1 L_1 + \lambda_2 L_{GIoU} + \lambda_3 L_{feat} + \lambda_4 L_{pred}$$
Où $L_{feat}$ et $L_{pred}$ sont les pertes de distillation au niveau des caractéristiques et au niveau des prédictions, respectivement. Crucialement, le modèle enseignant et les pertes de distillation sont supprimés après l'entraînement ; le modèle étudiant n'engendre aucune computation supplémentaire lors de l'inférence.

3. Contributions clés

L'article expose trois contributions principales :

1. Cadre de distillation à double branche : Une conception novatrice qui transfère sélectivement des connaissances spécifiques à la cible via une supervision de caractéristiques pondérée spatialement et un alignement au niveau des prédictions masqué. Cela adresse les limites de la distillation purement globale en concentrant la supervision au sein de la région de la cible.
2. Entraînement fin et conscient de la cible : Une stratégie qui guide explicitement le modèle à capturer les variations d'apparence en focalisant la supervision sur le premier plan. Cela améliore la robustesse face aux changements subtils et dynamiques sans augmenter la latence d'inférence.
3. Cadre léger asymétrique : L'intégration d'une colonne vertébrale asymétrique avec un mécanisme d'amélioration temporelle (Stockage de Cible) crée un cadre qui équilibre la précision du suivi et l'efficacité computationnelle, permettant aux transformers élagués de maintenir une précision compétitive.

4. Résultats expérimentaux

Les auteurs ont évalué EATrack sur cinq benchmarks de drones : DTB70, UAVDT, VisDrone2018, UAV123 et UAV123@10fps.

• Performance : EATrack-DeiT (utilisant une colonne vertébrale DeiT-tiny) a obtenu des résultats à l'état de l'art (SOTA) sur les cinq jeux de données, surpassant les trackers légers précédents comme Aba-ViTrack et SGLATrack. Par exemple, sur UAV123, il a atteint un taux de succès de 68,1 %, dépassant le meilleur précédent d'une marge significative.
• Efficacité : Le modèle fonctionne à 33,6 FPS sur une plateforme embarquée NVIDIA Jetson TX2 sans outils d'accélération (par exemple, TensorRT), démontrant une capacité temps réel. Sur un GPU haut de gamme (A100), il atteint 241,9 FPS.
• Études d'ablation :
  • Distillation : La suppression de la distillation a entraîné une baisse de 1,4 % de la précision et de 1,1 % du taux de succès sur UAV123. Les deux branches, au niveau des caractéristiques et au niveau des prédictions, se sont révélées complémentaires.
  • Indices temporels : L'intégration d'indices temporels a considérablement amélioré les performances sur les jeux de données dynamiques (par exemple, +3,2 % sur DTB70, +5,8 % sur VisDrone), confirmant la valeur de la modélisation temporelle dans des scénarios de mouvement complexes.
  • Analyse de la profondeur : L'étude a identifié un équilibre optimal entre la profondeur des couches et l'efficacité, sélectionnant une configuration qui maximise les performances tout en maintenant l'objectif de légèreté.

5. Signification et affirmations

L'article affirme qu'EATrack comble efficacement le fossé entre l'efficacité et la précision dans le suivi de drones. En exploitant une stratégie de distillation guidée par un enseignant et consciente de la cible, la méthode permet aux transformers structurellement élagués de préserver les capacités discriminatives et de localisation des modèles plus grands sans la surcharge d'inférence associée.

Les auteurs soulignent que leur approche se distingue des trackers existants basés sur la distillation par :

• Le dépassement de la guidance globale pour une supervision fine et consciente de la cible.
• La combinaison de guidage au niveau des caractéristiques et au niveau des prédictions pour traiter simultanément la qualité de la représentation et la précision de la localisation.
• L'atteinte d'une robustesse face aux variations d'apparence grâce à un mécanisme d'adaptation temporelle opérant à un coût ultra-faible.

Les résultats suggèrent qu'EATrack est une solution viable pour les applications aériennes en temps réel où sont requises à la fois une haute précision de suivi et des contraintes computationnelles strictes.