🤖 machine learning

End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

Cet article présente un cadre de détection de personnes en temps réel de bout en bout pour la surveillance par drone qui exploite un modèle YOLOv8-nano entraîné sur le jeu de données VisDrone2019 afin de gérer efficacement les variations d'échelle causées par les changements d'altitude, atteignant une détection fiable à plus de 41 FPS à des altitudes comprises entre 16 et 25 mètres.

Auteurs originaux : Payel Sarmah, Ayush Ranjan, Piyush Kaushik Bhattacharyya, Anil Kr. Shaw, Pradip Kr. Das

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Payel Sarmah, Ayush Ranjan, Piyush Kaushik Bhattacharyya, Anil Kr. Shaw, Pradip Kr. Das

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous pilotez un drone comme un cerf-volant technologique de pointe, mais qu'au lieu de simplement prendre des photos, il essaie de jouer à un jeu de « Je vois... » avec les gens au sol. C'est exactement ce que cette équipe de chercheurs a entrepris de faire : construire un système qui permet à un drone de repérer des personnes en temps réel pendant qu'il décolle et se déplace, en renvoyant la vidéo vers un ordinateur au sol pour effectuer le gros du travail.

L'idée majeure : Un drone doté d'un super-cerveau
Considérez le drone comme les yeux et l'ordinateur au sol comme le cerveau. Le processeur propre au drone est trop petit pour être un super-génie, donc il diffuse la vidéo sans fil vers une station de travail puissante équipée d'une carte graphique (GPU) qui agit comme un détective ultra-rapide. Ce détective utilise un modèle d'IA spécial appelé YOLOv8-nano. Vous pouvez imaginer YOLOv8-nano comme un étudiant très rapide et très affamé qui a étudié des milliers d'images de personnes vues d'en haut. Il est conçu pour être assez rapide pour suivre les mouvements du drone sans se fatiguer ou prendre du retard.

Le défi : Le problème du « Zoom »
Les chercheurs ont découvert que repérer des personnes depuis le ciel est délicat. Si le drone vole trop haut, les gens ressemblent à de minuscules fourmis ; si le drone vole trop bas ou selon un angle étrange, l'arrière-plan devient désordonné. Les anciennes méthodes, comme essayer de soustraire l'arrière-plan (imaginez essayer de trouver une personne en regardant seulement ce qui n'est pas là), échouent lamentablement car le drone est toujours en mouvement, ce qui fait que tout le monde bouge autour. L'article soutient que ces vieilles astuces ne fonctionnent pas pour les caméras volantes et que l'apprentissage profond (l'approche du « super-génie ») est la seule façon de gérer le chaos d'un ciel en mouvement.

L'expérience : Voler haut et bas
Pour tester leur système, l'équipe a fait voler son drone à l'Institut Indien de Technologie de Guwahati. Ils n'ont pas fait que deviner ; ils ont fait voler le drone à différentes hauteurs et angles pour voir ce qui fonctionnait le mieux.

Voici ce qu'ils ont découvert, mesuré avec des chiffres réels :

Le point idéal : Le système fonctionne mieux lorsque le drone vole entre 16 et 25 mètres au-dessus du sol. Dans cette zone, la détection est hautement fiable, et le système reste extrêmement rapide, tournant à 41 FPS (images par seconde) ou atteignant même un pic de 50 FPS. C'est comme regarder un film à une vitesse fluide et élevée, sans saccades.
L'entraînement : Avant le vol réel, ils ont enseigné à l'IA en utilisant un ensemble de données massif appelé VisDrone2019, qui contient plus de 10 000 images et 263 séquences vidéo de personnes dans des villes et des villages. Après un entraînement de 200 époques (cycles d'apprentissage), le modèle a obtenu des scores spécifiques :
- Précision : 57,4 % (Quand il dit « Je vois une personne », il a généralement raison).
- Rappel : 41 % (Il trouve environ 41 % de toutes les personnes réellement présentes).
- mAP (précision moyenne) : 44,8 % (Un score général de la capacité à trouver et à encadrer les personnes).
- mAP50:95 : 20,3 % (Un score plus strict qui vérifie si la boîte autour de la personne est dessinée parfaitement).

Les « pièges » : Là où il éprouve des difficultés
L'article est très honnête sur les points où le système trébuche. Ce n'est pas une baguette magique qui voit tout parfaitement.

Le camouflage vert : Si une personne porte des vêtements qui se fondent dans l'herbe (comme des couleurs vertes ou à faible contraste) et se tient sur une pelouse, le drone pourrait la manquer. Les couleurs se ressemblent trop, ce qui confond l'IA.
L'arrière-plan encombré : Si des bannières, des panneaux ou des tables ressemblent à des personnes vues d'en haut, le drone s'embrouille et pourrait manquer les vraies personnes ou dessiner des boîtes sur les mauvais objets. Les chercheurs ont spécifiquement noté que dans les zones encombrées avec ces distractions, le système manque certaines cibles dans ces endroits précis.
Les angles extrêmes : Si le drone regarde droit vers le bas (vue zénithale) ou si la personne est au bord de la vidéo, le système perd en fiabilité car il n'y a pas assez de caractéristiques pour reconnaître la personne.

Le verdict
Les chercheurs suggèrent que cette configuration est une étape solide vers la surveillance en temps réel, prouvant que l'on peut détecter des personnes en direct depuis un drone si l'on vole à la bonne hauteur et si l'on utilise le bon ordinateur. Cependant, ils admettent que le problème n'est pas encore résolu. Le système manque encore certaines personnes, surtout dans les éclairages difficiles, les zones encombrées ou les arrière-plans chargés. Ils prévoient de corriger cela à l'avenir en ajoutant le « suivi » (pour que le drone se souvienne d'une personne même s'il cligne des yeux un instant) et en essayant de mettre le cerveau sur le drone lui-même afin qu'il n'ait pas besoin d'un lien avec le sol.

En bref, ils ont construit un drone capable de repérer des personnes tout en volant, mais il a encore besoin d'un peu d'aide pour voir à travers l'herbe et les rues animées. C'est un prototype fonctionnel qui montre de grandes promesses, mais il est encore en train d'apprendre les rouages du monde réel.

Résumé Technique : Cadre de détection de personnes en temps réel par drone de bout en bout

Énoncé du problème
Les véhicules aériens sans pilote (UAV) sont de plus en plus utilisés pour la sécurité, la recherche et le sauvetage, ainsi que pour la surveillance des frontières. Cependant, les cadres de surveillance existants échouent souvent à maintenir la cohérence de la détection lorsque les cibles subissent des variations d'échelle significatives causées par des changements d'altitude de vol. Les techniques de vision par ordinateur traditionnelles, telles que la soustraction de l'arrière-plan et la différenciation de trames, se dégradent rapidement dans les environnements aériens en raison des changements de scène globaux, des angles de vue abrupts et de l'illumination dynamique. De plus, bien que les modèles d'apprentissage profond comme YOLO aient fait progresser le domaine, de nombreuses études s'appuient sur des jeux de données statiques ou l'analyse de vidéos hors ligne, laissant un vide dans la détection d'objets épars en temps réel avec des arrière-plans complexes lors d'opérations aériennes en direct.

Méthodologie
Les auteurs proposent un pipeline de détection intégré en temps réel conçu pour identifier des personnes via des flux vidéo sans fil provenant de drones. L'architecture du système comprend trois étapes principales :

Acquisition du flux en direct : Le système utilise un drone commercial (DJI Mini 4 Pro) pour capturer des vidéos haute définition. En raison de la puissance de calcul limitée des processeurs embarqués du drone, le flux vidéo est transmis sans fil à une station au sol distante. Une interface mobile agit comme un relais de réseau local, diffusant le flux vers une station de travail haute performance pour l'analyse. Cette configuration garantit que le drone reste concentré sur la stabilité du vol tandis que la station au sol gère l'inférence lourde.
Détection accélérée par GPU : Le moteur de détection central utilise l'architecture YOLOv8-nano. Ce modèle a été choisi pour son équilibre optimal entre vitesse d'inférence et précision, ce qui est crucial pour la surveillance aérienne à faible latence. Le système exploite un matériel compatible CUDA pour contourner les goulots d'étranglement du CPU. Le modèle effectue une détection à étape unique, sortant des boîtes englobantes (bounding boxes) et des scores de confiance. Une étape de post-traitement filtre les prédictions basées sur un seuil de confiance ( $\theta$ ) et restreint la sortie à la classe « personne » (ID de classe 0).
Surveillance des performances en temps réel : Le pipeline calcule la latence de traitement ( $\tau_{proc}$ ) pour chaque trame afin de déterminer le nombre d'images par seconde (FPS) instantané. Cette métrique est superposée directement sur le flux vidéo pour garantir que le taux d'inférence reste synchronisé avec le flux d'entrée, évitant ainsi le dépassement de tampon (buffer overflow).

Jeu de données et entraînement
Le modèle a été affiné sur le jeu de données VisDrone2019, qui comprend plus de 10 000 images statiques et séquences vidéo capturées dans divers environnements urbains et ruraux. Pour s'aligner sur l'objectif spécifique de la détection de personnes, les catégories distinctes « Piéton » et « Gens » ont été fusionnées en une classe unifiée « Personne ». Le jeu de données a été partitionné en ensembles d'entraînement (6 471 images), de validation (548 images) et de test (1 610 images). Toutes les images ont été redimensionnées en 640×640 pixels pour l'entrée. L'entraînement a été réalisé pendant 200 époques en utilisant un optimiseur SGD avec un taux d'apprentissage de 0,01 sur un GPU NVIDIA GeForce RTX 4060.

Principales contributions
L'article présente trois contributions principales :

Intégration du système : La conception et la mise en œuvre d'un pipeline de détection par UAV qui intègre YOLOv8-nano avec la diffusion vidéo sans fil, permettant l'inférence en temps réel sur des séquences aériennes en direct plutôt que sur des enregistrements hors ligne.
Analyse opérationnelle : Une analyse empirique de la relation entre l'altitude de vol, l'inclinaison de la nacelle de la caméra et les performances de détection (FPS et stabilité) afin d'établir des directives pour un déploiement optimal des UAV.
Visualisation : Le développement d'un système de visualisation en temps réel qui affiche simultanément les résultats de détection et les métriques de performance.

Résultats

Performance quantitative : Sur le jeu de test VisDrone2019, le modèle YOLOv8-nano a atteint une précision de 57,4 %, un rappel de 41 %, un mAP@50 de 44,8 % et un mAP@50:95 de 20,3 %. Les auteurs notent que la précision plus élevée indique que le système est fiable lorsqu'il signale une détection, filtrant efficacement le désordre de l'arrière-plan.
Validation sur le terrain : Des tests de vol approfondis ont été menés à l'Indian Institute of Technology (IIT) Guwahati à des altitudes allant de 15 à 30 mètres.
- Performance optimale : Le système a démontré une fiabilité de détection quasi totale et une performance de pointe à une altitude de 25 mètres avec une inclinaison de la nacelle de la caméra de -50°, atteignant un taux de rafraîchissement de 48,53 FPS.
- Impact de l'altitude : À des altitudes plus basses (16 mètres), la stabilité de la détection s'est améliorée grâce à une résolution spatiale plus élevée et un meilleur contraste entre les cibles et l'arrière-plan, bien que le taux de rafraîchissement soit tombé à 35,31 FPS.
- Défis : L'étude a identifié des limitations spécifiques, notamment une fiabilité de détection réduite lorsque les cibles se trouvent aux extrémités extrêmes du cadre, dans des vues verticales descendantes strictes (en raison de l'absence de caractéristiques visibles), ou dans des zones d'homogénéité chromatique (par exemple, l'herbe verte se confondant avec les sujets) ou d'arrière-plans complexes (par exemple, des bannières ressemblant à des formes humaines).

Signification et affirmations
Les auteurs affirment que ce travail répond efficacement au double défi de l'identification de cibles à des échelles variables et de la garantie d'une localisation proche de l'exactitude lors de l'observation aérienne. En démontrant qu'un modèle léger (YOLOv8-nano) peut atteindre des taux de rafraîchissement élevés (>41 FPS) et une détection fiable dans des scénarios réels de diffusion en direct, l'article valide la faisabilité de l'utilisation de drones commerciaux couplés à des stations de travail au sol équipées de GPU pour une conscience situationnelle immédiate. L'étude conclut que, bien que le système soit robuste dans des limites d'altitude et d'angle spécifiques (16–25 mètres), des travaux futurs sont nécessaires pour traiter les échecs de cas limites et pour migrer le traitement vers des unités de bord (edge units) pour des opérations pleinement autonomes dans des zones privées de communication.

Résumé Technique : Cadre de détection de personnes en temps réel par drone de bout en bout

Articles similaires