Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

Résumé Technique : Attention Croisée Déformable par Voisinage de Pixels Progressif pour la Détection d'Objets Multispectraux

Énoncé du Problème
La détection d'objets multispectraux, qui fusionne l'imagerie visible (RGB) et infrarouge thermique (TIR), est confrontée à deux défis principaux : un faible alignement spatial entre les modalités et le coût de calcul élevé de l'interaction globale des caractéristiques.

1. Faible Alignement : En raison du déplacement des capteurs, des erreurs de calibration et des différences de champs de vision, les images visibles et thermiques présentent souvent des décalages spatiaux non linéaires. Les méthodes de fusion conventionnelles supposant un enregistrement strict au niveau du pixel souffrent de fantômes de caractéristiques (feature ghosting), de contours flous et de biais de localisation.
2. Efficacité Computationnelle : Bien que les architectures basées sur les Transformers (ex. ICAFusion) offrent une forte modélisation à longue portée via l'attention croisée globale, leur complexité de calcul augmente de manière quadratique avec la résolution de l'image ($O((HW)^2)$). Cela impose une surcharge de mémoire prohibitive et limite le déploiement sur des plateformes aux ressources limitées. De plus, l'attention globale introduit souvent du bruit de fond non pertinent, diluant le pouvoir discriminatif des cibles saillantes.

Méthodologie : PNAFusion
Les auteurs proposent PNAFusion (Progressive Pixel-Neighborhood Deformable Cross-Attention), un cadre conçu pour équilibrer la précision de l'alignement et l'efficacité de la mémoire. L'architecture se compose d'un backbone à double flux pour l'extraction de caractéristiques, suivi d'une étape de fusion itérative et d'une tête de détection. Les innovations clés sont :

1. Attention Croisée par Voisinage de Pixels (PNCA) :

   • Au lieu d'une correspondance globale, la PNCA restreint l'interaction cross-modale à un voisinage local de $k \times k$ autour de chaque pixel de requête.
   • Cela réduit la complexité dominante de l'attention de $O((HW)^2)$ à $O(HWk^2)$, diminuant considérablement la consommation de mémoire et les FLOPs.
   • Elle supprime le bruit de fond en évitant la correspondance globale non pertinente, en concentrant l'interaction sur des régions locales sémantiquement pertinentes.

2. Alignement Déformable Adaptatif (ADA) :

   • Pour traiter les décalages spatiaux non linéaires, l'ADA prédit des décalages d'échantillonnage sensibles au contenu (content-aware) pour la modalité clé (ex. TIR) basés sur la modalité de requête (ex. RGB).
   • En utilisant un réseau d'offsets appris, l'ADA effectue un échantillonnage bilinéaire déformable pour aligner les caractéristiques avant le calcul de l'attention.
   • Crucialement, ces offsets sont contraints dans le voisinage local, corrigeant le désalignement local sans effectuer d'échantillonnage global arbitraire.

3. Mécanisme de Rétroaction Itérative :

   • Le cadre utilise une boucle récurrente où les blocs PNDCA à double flux (PNCA + ADA) sont empilés et exécutés de manière itérative ($N$ fois).
   • Cet affinement progressif permet au modèle de corriger de manière récursive les erreurs d'alignement résiduelles et d'approfondir l'interaction sémantique, en utilisant la sortie d'une itération comme le préalable de la suivante.

4. Fusion Légère :

   • Après l'affinement itératif, les flux de caractéristiques alignés sont concaténés et compressés via un module Network-in-Network (NiN) (convolution $1 \times 1$) avant la tête de détection, évitant ainsi d'autres interactions spatiales coûteuses.

Contributions Clés

• Conception de Cadre : Introduction de PNAFusion, qui traite explicitement le compromis entre la précision de l'alignement cross-modal et la scalabilité de la mémoire/FLOPs dans la fusion de caractéristiques à haute résolution, plutôt que de revendiquer un avantage de latence stricte.
• Modules Nouveaux :
  • ADA : Apprend des offsets sensibles au contenu pour compenser le désalignement local non linéaire.
  • PNCA : Restreint l'interaction cross-modale à un voisinage $k \times k$, réduisant la complexité de $O((HW)^2)$ à $O(HWk^2)$.
• Affinement Itératif : Démontre qu'un mécanisme de rétroaction progressive gère mieux le faible alignement qu'une simple augmentation de la profondeur du réseau.

Résultats Expérimentaux
La méthode a été évaluée sur trois benchmarks : FLIR, M3FD et DroneVehicle.

• Précision :
  • Sur FLIR, PNAFusion a atteint 84,2 mAP@0.5 (YOLOv5) et 86,8 mAP@0.5 (Co-DETR).
  • Sur M3FD, il a atteint 90,5 mAP@0.5 (YOLOv5) et 90,8 mAP@0.5 (Co-DETR).
  • Sur DroneVehicle, il a obtenu 85,5 mAP@0.5.
  • Notamment, la méthode a montré des gains significatifs en mAP@0.75, indiquant une meilleure précision de localisation et une réduction des fantômes de caractéristiques.
• Efficacité :
  • Comparé à la ligne de base d'attention croisée globale (ICAFusion), PNAFusion a réduit la mémoire GPU allouée de 33,0 % (de 775,09 Mo à 519,61 Mo).
  • Les FLOPs théoriques ont été réduits de 194,8 G à 156,4 G.
  • Compromis de Latence : Les auteurs reconnaissent qu'en raison de l'échantillonnage déformable et de l'affinement itératif, la latence d'inférence absolue a augmenté (ex. 36,80 ms contre 25,67 ms pour ICAFusion sur RTX 4090D). Ainsi, le bénéfice est présenté comme un compromis précision–mémoire/FLOPs plutôt qu'un avantage de vitesse.

Signification et Revendications
L'article affirme que PNAFusion fournit une solution pratique pour la détection d'objets multispectraux faiblement alignés en :

1. Corrigeant le Désalignement Local : Gérant efficacement les décalages spatiaux non linéaires grâce à l'échantillonnage déformable sensible au contenu dans un voisinage contraint.
2. Optimisant l'Utilisation des Ressources : Atteignant une haute précision de détection tout en réduant considérablement l'empreinte mémoire et le coût computationnel par rapport aux mécanismes d'attention globale, le rendant plus adapté aux plateformes à ressources limitées.
3. Améliorant la Robustesse : Améliorant la complétude de la détection et la localisation des contours dans des conditions difficiles (faible luminosité, éblouissement, encombrement) en supprimant l'activation du bruit de fond non pertinent.

Les auteurs notent modestement des limitations, notamment l'absence de vérité terrain (ground truth) de décalage au niveau du pixel pour une évaluation directe des offsets, l'absence d'étiquettes jour/nuit officielles dans les jeux de données publics pour une analyse d'illumination spécifique, et l'inefficacité matérielle des modèles d'accès mémoire irréguliers pour l'échantillonnage déformable sur certaines plateformes. Des travaux futurs sont suggérés pour se concentrer sur l'échantillonnage déformable compatible avec le matériel et la supervision explicite des offsets.