💻 informatique

Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention

Cet article propose DRGF-YOLOv10n, une méthode de détection de piétons RGB-IR légère et en temps réel qui intègre un DualBranchStem avec une amélioration des détails par DoG et une attention spatiale guidée par région afin d'améliorer la précision et la robustesse dans des environnements complexes tout en maintenant une vitesse d'inférence élevée.

Auteurs originaux : LinXi Zhong, Zhaohui Xiao

Publié 2026-10-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : LinXi Zhong, Zhaohui Xiao

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la vision par ordinateur, les machines apprennent constamment à voir, mais elles sont souvent confrontées aux mêmes limites qui tourmentent l'œil humain dans des conditions difficiles. Une caméra s'appuyant uniquement sur la lumière visible, le type que nous utilisons quotidiennement, peut être facilement déroutée par l'obscurité, de fortes pluies ou un éblouissement aveuglant, ce qui peut la conduire à manquer des personnes se tenant dans l'ombre. À l'inverse, les caméras qui détectent la chaleur, connues sous le nom de capteurs infrarouges, peuvent repérer un corps chaud dans le noir complet, mais elles échouent souvent à montrer l'apparence de ce corps, le rendant sous la forme d'une masse floue et sans texture. Pour résoudre ce problème, les chercheurs tentent depuis longtemps de combiner ces deux types de vision, espérant fusionner les détails nets d'une photo standard avec la puissance de détection thermique d'une caméra thermique. Le défi consiste à apprendre à un ordinateur à mélanger ces deux flux d'informations très différents sans perdre les forces spécifiques de l'un ou de l'autre, tout en maintenant un système assez rapide pour fonctionner en temps réel sur un ordinateur portable ou une caméra de surveillance.

Une équipe de chercheurs de l'Université de technologie de Chongqing a développé une nouvelle approche à ce problème, créant un système conçu pour détecter les piétons avec une grande fiabilité, même dans des environnements désordonnés et complexes. Leur méthode, basée sur un cadre de détection léger, traite l'image en lumière visible et l'image thermique comme deux flux d'informations distincts dès le départ, plutôt que de les fusionner immédiatement. Ils ont découvert qu'en gardant ces deux vues distinctes pour le traitement initial, l'ordinateur peut mieux comprendre la texture et les contours d'une personne grâce à la lumière visible tout en suivant simultanément sa signature thermique. Cette stratégie à double flux empêche le système d'être perturbé par les différences entre les deux types d'images, lui permettant de construire une image bien plus claire de qui se trouve dans la scène.

Pour rendre l'image en lumière visible encore plus utile, les chercheurs ont ajouté une étape spécifique avant même que l'ordinateur ne commence son analyse principale. Ils ont appliqué une technique qui agit comme un filtre de netteté, spécifiquement conçu pour accentuer les contours et les bords des objets. Ce processus fait ressortir plus clairement les détails fins des vêtements d'une personne ou la courbe d'une épaule par rapport à un arrière-plan encombré, compensant ainsi le fait que la caméra thermique manque souvent de ces détails précis. En injectant cette image améliorée et plus nette dans le système aux côtés des données thermiques brutes, l'ordinateur dispose d'un ensemble d'indices plus riche, ce qui facilite la distinction entre une véritable personne et une zone confuse de l'arrière-plan.

Le système comprend également un mécanisme de focalisation intelligent qui intervient après que l'ordinateur a traité les images jusqu'à une certaine profondeur. Au lieu d'essayer de prêter attention à chaque partie de l'image de manière égale, ce qui gaspillerait la puissance de calcul, ce mécanisme apprend à ignorer les détails non pertinents de l'arrière-plan comme les arbres, les clôtures ou les ombres. Il concentre son énergie spécifiquement sur les zones où une personne est susceptible de se trouver, augmentant efficacement le volume du piéton et baissant celui du reste du monde. Cette attention sélective aide le système à éviter les fausses alertes, garantissant que lorsqu'il signale une détection, il est très confiant sur le fait qu'une personne est réellement présente.

Lors de tests sur un ensemble de données standard contenant des images appariées de piétons en lumière visible et en infrarouge, le nouveau système a montré une amélioration significative de la précision par rapport aux méthodes précédentes. Il a atteint un score de précision de 0,9204, ce qui signifie que lorsque le système disait avoir vu une personne, il avait raison plus de 92 % du temps. Bien que le système ait manqué certains cibles lointaines ou très petites, entraînant un taux plus faible de capture de chaque personne, sa capacité à éviter les fausses alertes a été son point fort. Les chercheurs ont noté que le système fonctionne à une vitesse d'environ 31 images par seconde sur une carte graphique d'ordinateur portable standard, ce qui est assez rapide pour une surveillance vidéo en temps réel.

Les auteurs suggèrent que cet outil n'est pas nécessairement destiné à être la première ligne de défense d'un système de sécurité, mais plutôt un second avis hautement fiable. Dans une configuration de surveillance typique, un premier détecteur pourrait scanner un flux vidéo et signaler de nombreuses cibles potentielles pour s'assurer de ne rien manquer, même s'il signale par erreur des objets inoffensifs. Ce nouveau système agirait ensuite comme une étape de vérification, réexaminant ces zones signalées avec son accentuation des contours et son attention focalisée pour confirmer lesquelles sont réellement des personnes. Cette approche en deux étapes permet aux systèmes de sécurité de maintenir des normes de sécurité élevées sans être submergés par des alertes incorrectes et constantes, ce qui rend l'outil particulièrement précieux pour la surveillance nocturne ou les zones où les fausses alertes sont coûteuses et perturbatrices.

Résumé Technique : Détection de Piétons RGB-IR Légère en Temps Réel Basée sur l'Amélioration des Détails par DoG et l'Attention Guidée par Région

Énoncé du Problème
La détection de piétons est cruciale pour la surveillance intelligente et la conduite autonome, mais elle fait face à des défis importants dans des environnements complexes. La détection mono-modale RGB peine face à une faible illumination, un rétroéclairage ou des arrière-plans encombrés, tandis que la détection mono-modale infrarouge (IR) manque de détails de texture et de contours sémantiques malgré ses avantages de saillance thermique. Les approches de fusion multimodales existantes reposent souvent sur des architectures lourdes ou une simple concaténation de canaux, ce qui peut échouer à préserver les caractéristiques spécifiques à chaque modalité ou ne pas répondre aux exigences d'inférence en temps réel. De plus, les mécanismes d'attention standards peuvent être coûteux en termes de calcul ou peuvent involontairement supprimer des détails locaux utiles lorsqu'ils sont appliqués trop tôt dans le réseau.

Méthodologie
L'article propose DRGF-YOLOv10n, un cadre de détection de piétons léger et en temps réel basé sur l'architecture YOLOv10n. La méthode intègre trois composants clés pour remédier aux limites de la détection mono-modale et aux stratégies de fusion complexes :

Structure d'Entrée DualBranchStem :
Au lieu de concaténer les canaux RGB et IR en une seule entrée de six canaux pour une convolution standard, les auteurs introduisent un DualBranchStem. Ce module traite les images RGB et IR via deux branches parallèles distinctes lors de l'étape initiale. La branche RGB extrait les textures, les bords et les contours, tandis que la branche IR extrait les informations de saillance thermique. Ces caractéristiques ne sont fusionnées qu'après l'extraction initiale, préservant ainsi les caractéristiques distinctes de chaque modalité avant de les combiner pour le réseau de base (backbone).
Amélioration des Détails par DoG (Prétraitement) :
Pour compenser les détails limités de texture et de bordure dans les images IR et pour renforcer la perception des cibles faibles par la branche RGB, une opération de Différence de Gaussiennes (DoG) est appliquée lors de l'étape de prétraitement des données RGB.
- L'opération est formulée comme une amélioration résiduelle : $I_{rgb\_dog} = I_{rgb} + \alpha \cdot (G_{\sigma1}(I_{rgb}) - G_{\sigma2}(I_{rgb}))$ , où $\alpha = 0,025$ .
- Cette étape met en évidence les hautes fréquences des bords et les variations structurelles locales sans altérer les caractéristiques de saillance thermique de l'entrée IR. Elle est appliquée comme une étape de prétraitement fixe, et non comme une couche apprenable au sein du réseau.
Attention Spatiale Guidée par Région (RG-SA) :
Un module léger d'Attention Spatiale Guidée par Région (RG-SA) est intégré dans la huitième couche du backbone de YOLOv10n (une étape sémantique profonde).
- Mécanisme : Le module utilise un Module de Guidage de Région (RGM) pour compresser les caractéristiques d'entrée en caractéristiques régionales à basse résolution ( $X_r$ ). Il génère ensuite une Requête ( $Q$ ) à partir des caractéristiques haute résolution originales et une Clé/Valeur ( $K, V$ ) à partir des caractéristiques régionales.
- Justification : En utilisant des caractéristiques régionales à basse résolution pour $K$ et $V$ , le module réduit la complexité de calcul par rapport à l'auto-attention globale. Le placer dans la couche profonde garantit que le mécanisme d'attention opère sur des informations sémantiques riches plutôt que sur du bruit de texture superficiel, renforçant ainsi les régions liées aux piétons tout en supprimant les interférences de l'arrière-plan.

Contributions Clés
Les auteurs résument leurs contributions comme suit :

DualBranchStem : Une structure d'entrée à double branche qui extrait séparément les textures-bords RGB et les saillances thermiques IR, atténuant les limites de la détection mono-modale et évitant les pièges du mélange précoce des caractéristiques superficielles.
Intégration de la RG-SA : L'intégration d'un mécanisme d'attention guidé par région léger dans la branche RGB profonde pour renforcer les réponses des régions de piétons et supprimer les interférences de l'arrière-plan.
Amélioration des Détails par DoG : L'introduction d'une stratégie de prétraitement basée sur le DoG pour la branche RGB afin de renforcer les détails locaux des bords et des contours, répondant à la dégradation des détails causée par des arrière-plans complexes.

Résultats Expérimentaux
Les expériences ont été menées sur le jeu de données de piétons RGB-IR CVC-14 en utilisant un GPU portable NVIDIA RTX 5060.

Performance : Le modèle DRGF-YOLOv10n proposé a atteint une Précision de 0,9204, un Rappel de 0,1912, un mAP50 de 0,5231 et un mAP50-95 de 0,2361.
Comparaisons : Le modèle a surpassé les bases mono-modales (RGB uniquement et IR uniquement) ainsi qu'une base de référence de simple concaténation à six canaux. Il a également démontré une Précision et un mAP supérieurs par rapport à d'autres stratégies de fusion telles que CBAM-6ch et la fusion SE-6ch, malgré une taille de modèle plus petite (32,01 Mo).
Efficacité : Le modèle maintient des performances en temps réel avec 2,894M de paramètres, 1,908 GFLOPs et une latence d'inférence de 31,47 ms (environ 31,78 FPS), satisfaisant l'exigence de 25–30 FPS pour la vidéosurveillance.
Ablation : Le retrait des augmentations de données fortes (ex: Mosaic, MixUp) s'est avéré crucial, car elles pourraient amplifier les textures locales de l'arrière-plan et contrebalancer les bénéfices de l'amélioration par DoG.

Signification et Positionnement
L'article positionne explicitement DRGF-YOLOv10n non pas comme un détecteur de haut rappel autonome pour l'ensemble du pipeline de détection, mais comme un module de vérification de haute confiance post-étape pour les systèmes de surveillance sensibles aux fausses alarmes.

Haute Précision, Rappel Plus Faible : Le modèle présente une haute précision mais un rappel plus faible, indiquant une tendance à ne produire que des cibles hautement confiantes. Cette caractéristique est exploitée pour filtrer les faux positifs générés par un détecteur de première étape (qui utilise un seuil plus bas pour assurer un rappel élevé).
Scénario d'Application : Les auteurs suggèrent un déploiement en cascade où un détecteur de première étape identifie les régions candidates, et DRGF-YOLOv10n effectue une vérification secondaire pour filtrer les fausses alarmes causées par les ombres, les sources de chaleur ou les objets non humains. Cette approche est particulièrement adaptée aux scénarios où les fausses alarmes sont coûteuses, comme la détection d'intrusion dans les parcs industriels, la surveillance de l'entreposage nocturne et la sécurité périmétrique.
Perspectives Futures : Les auteurs reconnaissent que le modèle éprouve encore des difficultés avec les cibles distantes, de petite échelle ou fortement occultées. Les travaux futurs pourraient se concentrer sur l'amélioration du rappel grâce à un meilleur alignement cross-modal et des stratégies de fusion dynamiques, mais la contribution actuelle est présentée comme une solution robuste pour affiner la fiabilité de la détection dans des environnements complexes et en temps réel.

Articles similaires