Person Detection and Tracking from an Overhead Crane LiDAR

Cet article présente la création d'un jeu de données spécifique pour la détection et le suivi de personnes à l'aide d'un LiDAR monté sur une grue aérienne, en adaptant des détecteurs 3D existants pour combler le fossé entre les benchmarks de conduite et la vision industrielle en vue plongeante, tout en validant la faisabilité temps réel et en rendant les ressources disponibles publiquement.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si nous en discutions autour d'un café.

🏭 Le Contexte : Un Gardien Invisible dans l'Usine

Imaginez une grande usine ou un entrepôt où des grues immenses se déplacent au-dessus de la tête des ouvriers. C'est un peu comme un jeu de "Tetris" géant, mais avec des humains en bas et des machines lourdes au-dessus. Le danger ? Si la grue ne "voit" pas un humain, elle pourrait l'écraser ou le blesser.

Habituellement, pour voir les gens, on utilise des caméras (comme des yeux). Mais dans une usine, la poussière, les ombres et la lumière changeante peuvent aveugler une caméra. De plus, les caméras prennent des photos de visages, ce qui pose des problèmes de vie privée.

La solution proposée ? Installer un lidar (un scanner laser) directement sur la grue, qui regarde vers le bas, comme un œil de dieu ou un faucon en vol. Ce laser ne voit pas les visages (donc pas de problème de confidentialité), il ne se soucie pas de la lumière, et il mesure la distance exacte en 3D.

🎯 Le Problème : Un Décalage Culturel

Le hic, c'est que la plupart des "cerveaux" (les algorithmes d'intelligence artificielle) qui savent détecter des humains ont été entraînés pour des voitures autonomes. Ces voitures regardent de face (comme vous regardez un piéton qui traverse la rue).

Mais ici, notre lidar regarde de haut. C'est comme si vous essayiez d'enseigner à un chien à attraper une balle en l'air, alors qu'il a toujours appris à attraper des os au sol. La forme de l'humain vue de dessus est très différente (on voit le dessus de la tête et les épaules, pas le visage). De plus, il n'existait aucune "carte" (dataset) pour apprendre à ces IA à voir ainsi.

🛠️ La Solution : Une Nouvelle École de Chasse

Les chercheurs ont donc fait trois choses principales :

1. Ils ont créé leur propre "livre de cuisine" (Dataset) : Ils ont filmé des gens bouger sous la grue et ont dessiné manuellement des boîtes 3D autour d'eux pour montrer à l'IA à quoi ressemble un humain vu du ciel. C'est comme si on donnait à l'IA un manuel d'instructions spécifique pour son nouveau métier.
2. Ils ont testé plusieurs "entraîneurs" (Modèles) : Ils ont pris plusieurs IA connues (comme VoxelNeXt ou SECOND) et les ont "recalées" (fine-tuning) avec leurs nouvelles données. C'est comme prendre un champion de football et lui apprendre à jouer au rugby.
   • Résultat : Les modèles VoxelNeXt et SECOND sont devenus les meilleurs élèves. Ils sont très précis à courte distance (comme un gardien de but vigilant) et restent bons même un peu plus loin.
3. Ils ont ajouté un "gardien du temps" (Tracking) : Détecter une personne une seule fois ne suffit pas. Il faut savoir qui est qui d'une seconde à l'autre. Ils ont utilisé deux méthodes simples et rapides (AB3DMOT et SimpleTrack) pour suivre les trajectoires, comme si un gardien de but suivait le ballon avec les yeux pour ne pas le perdre de vue.

📊 Les Résultats : Une Performance Solide

• Précision : À moins de 1 mètre de la grue, le système détecte les humains avec une fiabilité de 97 %. C'est presque parfait ! Même à 5 mètres, il reste très performant (84 %).
• Vitesse : Le système est assez rapide pour fonctionner en temps réel. C'est crucial : si la grue doit s'arrêter, elle doit le faire en une fraction de seconde.
• Le défi restant : Parfois, il est difficile de placer la boîte 3D exactement au bon endroit (est-ce que le pied est ici ou là ?). Mais pour la sécurité, savoir qu'il y a quelqu'un est plus important que de savoir exactement où est son petit orteil.

🚀 Conclusion : Pourquoi c'est important ?

Ce papier est comme une recette de gâteau que les chercheurs ont partagée gratuitement. Ils ont dit : "Voici comment on fait pour que les robots voient les humains dans les usines, même en regardant du plafond."

Ils ont prouvé que :

1. On peut adapter des technologies de voitures pour les usines.
2. Le lidar vu du haut est excellent pour la sécurité (pas de lumière, pas de visages).
3. Ils ont rendu leur "ingrédient secret" (les données et le code) disponible sur internet pour que d'autres chercheurs puissent construire dessus.

En résumé, c'est une avancée majeure pour rendre nos usines plus sûres, en donnant aux machines des "yeux" qui ne clignent jamais et qui respectent la vie privée.

Résumé technique

Voici un résumé technique détaillé de l'article « Person Detection and Tracking from an Overhead Crane LiDAR », rédigé en français.

1. Problématique et Contexte

L'article aborde le défi critique de la détection et du suivi des personnes dans des environnements industriels intérieurs (usines, entrepôts), spécifiquement dans le cadre de la sécurité des travailleurs opérant à proximité de systèmes automatisés comme les ponts roulants.

• Défi principal : La plupart des benchmarks existants pour la détection LiDAR 3D sont centrés sur les véhicules (vue frontale) et les scénarios de conduite autonome. L'application d'un LiDAR monté sur un pont roulant introduit un décalage de domaine (domain shift) significatif dû à la vue aérienne (overhead view).
• Limitations actuelles :
  • Manque de données publiques annotées pour la détection de personnes sous un angle aérien.
  • Difficultés spécifiques liées à la densité de points : les humains apparaissent comme des cibles petites avec une distribution de points sparse et variable selon la distance et l'angle d'incidence.
  • Les méthodes existantes, souvent optimisées pour des vues frontales, peinent à généraliser à cette perspective top-down.

2. Méthodologie

Les auteurs proposent une approche complète intégrant la collecte de données, l'adaptation de modèles de détection et l'intégration de modules de suivi.

A. Collecte de Données et Configuration

• Capteur : Un LiDAR 3D (RS-Bpearl, 32 canaux) monté sur un pont roulant à une hauteur de 2,94 m.
• Jeu de données : Création d'un jeu de données spécifique au site avec des annotations de boîtes englobantes 3D (3D bounding boxes) pour des cibles humaines.
  • Entraînement/Validation : 29 + 1 nuages de points (3 participants).
  • Test : 76 nuages de points (10 participants différents pour évaluer la généralisation).
• Infrastructure : Traitement des données sur un ordinateur de bord (Jetson Orin NX) et entraînement des modèles sur un cluster HPC (NVIDIA Tesla V100).

B. Architecture du Système

Le pipeline se compose de deux modules principaux :

1. Module de Détection (Transfer Learning) :
   • Adaptation et fine-tuning de cinq architectures de détection 3D populaires issues du domaine de la conduite autonome : PointPillars, SECOND, PV-RCNN, VoxelNeXt, et Voxel RCNN.
   • Tous les modèles sont initialisés avec des poids pré-entraînés sur des jeux de données standards (KITTI, nuScenes) puis affinés sur le jeu de données aérien.
   • Critères de sélection : Compatibilité avec les représentations BEV (Bird's Eye View), faible latence, et implémentation open-source.
2. Module de Suivi (Tracking-by-Detection) :
   • Intégration de deux trackers légers ne nécessitant pas d'apprentissage (pas de données d'entraînement supplémentaires) : AB3DMOT et SimpleTrack.
   • Ces trackers utilisent un filtre de Kalman (KF) pour la prédiction de mouvement et l'appariement (matching) via l'algorithme hongrois (Hungarian matching) basé sur la distance de Mahalanobis et l'IoU (Intersection over Union) en vue BEV.

C. Protocole d'Évaluation

• Évaluation par tranches de distance (Distance-sliced evaluation) : La performance est analysée en fonction de la distance radiale horizontale ($r$) par rapport au capteur (de 1,0 m à 5,0 m) pour définir l'enveloppe opérationnelle pratique.
• Métriques : Précision (Precision), Rappel (Recall), F1-score, Précision Moyenne (AP), et IoU moyen (mIoU) pour la détection. Pour le suivi : MOTA, MOTP et IDF1.

3. Résultats Clés

A. Performance de Détection

• Meilleurs modèles : VoxelNeXt et SECOND se distinguent comme les backbones les plus fiables.
  • VoxelNeXt excelle à courte distance (< 3 m) avec une AP (Average Precision) atteignant 0,97 à 1,0 m.
  • SECOND démontre une plus grande robustesse aux distances plus grandes (> 3 m), où la densité de points diminue, maintenant une AP de 0,84 dans un rayon de 5,0 m.
• Impact du décalage de domaine : Les modèles pré-entraînés sans fine-tuning (sans adaptation) montrent des performances très faibles (Recall et AP bas), confirmant la nécessité d'un transfert d'apprentissage spécifique pour la vue aérienne.
• Latence : Les modèles adaptés (sauf PV-RCNN) offrent des temps d'inférence compatibles avec le temps réel (ex: ~35 ms pour VoxelNeXt sur CPU).

B. Performance de Suivi

• La qualité du suivi dépend fortement de la qualité de la détection en amont.
• AB3DMOT est significativement plus rapide (1,08 ms) que SimpleTrack (6,30 ms), mais les deux sont suffisants pour le temps réel.
• Les meilleurs résultats de suivi (MOTA ~0,83, IDF1 ~0,93) sont obtenus en combinant le tracker AB3DMOT avec les détections de VoxelNeXt.
• La précision de localisation (MOTP) reste modérée, soulignant la difficulté de placer précisément des boîtes 3D sur des humains dans des nuages de points épars.

4. Contributions Principales

1. Jeu de données ouvert : Publication d'un ensemble de données LiDAR 3D annoté spécifiquement pour la détection de personnes sous un angle aérien dans un environnement industriel.
2. Benchmark et Évaluation : Une évaluation comparative rigoureuse de plusieurs architectures de détection 3D adaptées à la vue aérienne, incluant une analyse détaillée par distance.
3. Validation du transfert de domaine : Démonstration que le fine-tuning de modèles de conduite autonome permet de combler le fossé entre les données de conduite et les données de surveillance industrielle aérienne.
4. Faisabilité temps réel : Preuve que la détection et le suivi de personnes peuvent être réalisés en temps réel sur du matériel embarqué (Edge computing) dans ce contexte.

5. Signification et Perspectives

Ce travail comble un vide important dans la littérature en fournissant des solutions pratiques pour la sécurité des travailleurs dans les environnements industriels automatisés. Il démontre que l'utilisation de LiDARs montés sur des ponts roulants est une alternative viable et robuste aux caméras, offrant une meilleure résistance à l'éclairage et une préservation de la vie privée (pas d'images visuelles).

Les auteurs soulignent que l'extension du jeu de données à des environnements plus diversifiés et dynamiques, ainsi que l'amélioration des annotations de suivi (IDs réels plutôt que pseudo-GT), constituent les prochaines étapes pour affiner ces systèmes. Le code et les données sont publiés en open-source pour soutenir la recherche future.