Multi-View In-Cabin Monitoring System for Public Transport Vehicles

Cet article présente un ensemble de données de surveillance multi-vues de l'intérieur des cabines pour les véhicules de transport public, comprenant des images RGB et de profondeur synchronisées avec des annotations 3D, ainsi qu'un pipeline de calibration et des outils d'évaluation pour tester les modèles de détection 3D multi-vues.

L'essentiel

Imaginez un bus urbain bondé comme un salon animé en mouvement. Habituellement, si vous vouliez savoir exactement où chacun est assis, debout ou en train de se déplacer dans cette pièce, il vous faudrait une équipe de personnes avec des carnets de notes observant depuis tous les angles. Mais dans le monde des bus autonomes, nous avons besoin que des ordinateurs fassent ce travail automatiquement.

Ce document présente une nouvelle « école de formation » pour ces cerveaux informatiques. Voici la décomposition de ce que les chercheurs ont construit et comment ils l'ont fait, en utilisant des comparaisons simples :

1. Le Problème : Le Bus avec un « Angle Mort »

La plupart des technologies de conduite autonome sont comme une voiture avec des yeux regardant par la fenêtre pour voir la route. Mais qu'en est-il de ce qui se passe à l'intérieur du bus ?

• Le Défi : À l'intérieur d'un bus, les gens se bloquent mutuellement (occlusion), les sièges sont réfléchissants et les caméras ne voient souvent qu'une petite tranche de la pièce. Si vous n'avez qu'une seule caméra, c'est comme essayer de comprendre tout un film en regardant juste une seule image depuis un siège unique. Vous manquez la moitié de l'action.
• La Lacune : Il n'existait pas de bon « manuel scolaire » (jeu de données) contenant suffisamment d'exemples de personnes à l'intérieur d'un bus, vues sous plusieurs angles, pour apprendre aux ordinateurs à voir clairement.

2. La Solution : Un « Bus Intelligent » avec une Super-Vision

L'équipe a construit un bus urbain spécial, numérisé, en Allemagne, équipé d'un système de « super-vision ».

• Les Yeux : Ils ont installé quatre caméras tournées vers l'intérieur (comme des gardiens de sécurité debout dans les coins de la pièce) et un scanner laser rotatif (LiDAR) qui agit comme une chauve-souris utilisant l'écholocalisation pour cartographier la pièce en 3D.
• Les Données : Ils ont enregistré plus de 9 000 moments synchronisés où ces capteurs travaillaient ensemble. C'est comme avoir un film en 4D où vous pouvez voir la pièce sous quatre angles à la fois, plus une carte de profondeur en 3D.

3. Le Tour de Magie : Apprendre à l'Ordinateur à « Voir » Sans Professeur

Habituellement, pour apprendre à un ordinateur à reconnaître une personne, les humains doivent dessiner des boîtes autour d'elle dans des milliers de photos. Cela prend un temps infini.

• Le Pipeline : Au lieu de dessiner chaque boîte à la main, les chercheurs ont créé un pipeline d'« assistant robotique » :
  1. Le Détective : Ils ont utilisé une IA pour trouver les personnes dans la vidéo.
     2. Le Sculpteur 3D : Ils ont utilisé une autre IA pour deviner la forme 3D du corps de la personne en se basant uniquement sur les images de la caméra 2D.
  2. L'Arbitre : Puisque quatre caméras peuvent voir la même personne de quatre manières légèrement différentes, ils ont construit un système pour agir comme un arbitre. Il prend les quatre prédictions différentes, les compare et choisit la position 3D « moyenne » la plus précise.
  3. Le Résultat : Ils ont obtenu un jeu de données où chaque personne possède un « squelette » 3D précis et une boîte 3D autour d'elle, le tout généré automatiquement avec très peu d'aide humaine.

4. Le Test : Les Ordinateurs Peuvent-ils Apprendre ?

Les chercheurs n'ont pas seulement créé les données ; ils ont testé si des cerveaux informatiques existants pouvaient apprendre grâce à elles.

• L'Examen : Ils ont pris des modèles d'IA célèbres (comme « Lift-Splat-Shoot » et « BEVFusion ») et ont essayé de leur apprendre à repérer des personnes dans ce bus en utilisant les nouvelles données.
• Le Score : Les modèles ont fait un travail décent, surtout lorsqu'on leur accorde une petite marge d'erreur. Cependant, le test a également montré que regarder une seule vue de caméra est risqué (manquant environ 19 % à 60 % des personnes selon l'angle), prounant que vous avez réellement besoin de plusieurs caméras pour obtenir une image complète.

5. Qu'y a-t-il dans la Boîte ?

Les chercheurs offrent gratuitement l'ensemble de ce paquet à d'autres scientifiques. Cela comprend :

• Les données vidéo et laser.
• Les outils de l'« assistant robotique » pour générer des étiquettes 3D.
• Un format qui s'intègre dans les logiciels de conduite autonome standards (format nuScenes).

Résumé

Considérez ce papier comme la construction d'une salle de sport de haute technologie pour les bus autonomes. Avant cela, les bus essayaient d'apprendre à voir à l'intérieur de la cabine avec un seul œil flou. Désormais, ils ont une salle de sport avec quatre caméras haute définition, un scanner laser 3D et un ensemble de tests d'entraînement « parfaitement notés » (le jeu de données) pour apprendre à suivre les passagers, même lorsqu'ils se cachent derrière des sièges ou qu'ils sont entassés.

Ce qu'ils n'ont EXPLICITEMENT PAS fait :
Le papier se concentre strictement sur la détection de l'endroit où se trouvent les gens et de ce qu'ils font (assis, debout, marchant). Ils n'ont pas testé ce système sur de vrais bus circulant dans le trafic, ni prétendu qu'il puisse résoudre des urgences médicales ou remplacer les conducteurs humains pour le moment. C'est un outil fondamental pour la recherche future.

Résumé technique

Résumé Technique : Système de Surveillance Multi-Vues de l'Intérieur d'un Véhicule pour les Transports Publics

Énoncé du Problème
Bien que la conduite autonome ait progressé de manière significative en matière de perception externe, la compréhension de l'intérieur des véhicules — spécifiquement dans les transports publics — reste sous-développée. La surveillance de l'habitacle est cruciale pour le comptage des passagers, la localisation, l'assistance à l'accessibilité et la sécurité (par exemple, la détection d'agressivité ou de vandalisme). Cependant, les solutions existantes sont confrontées à un goulot d'étranglement de données : les ensembles de données actuels pour l'intérieur des cabines sont souvent limités en échelle, reposent sur des vues de caméras uniques et manquent de la synchronisation multi-modale requise pour gérer les occlusions sévères, l'encombrement et les surfaces réfléchissantes courants dans les intérieurs de bus. De plus, le calibrage multi-capteurs est difficile dans les bus car les caméras orientées vers l'intérieur présentent un chevauchement de champ de vision minimal, rendant les techniques de calibrage standard difficiles à appliquer.

Méthodologie
Les auteurs présentent un pipeline complet pour la capture, le calibrage et l'annotation d'un ensemble de données multi-vues de l'intérieur d'un bus urbain allemand numérisé.

1. Acquisition de Données :

   • Capteurs : La configuration utilise quatre caméras Intel RealSense D435i orientées vers l'intérieur (fournissant l'RGB et la profondeur stéréoscopique) et un LiDAR rotatif Ouster OS0-128.
   • Synchronisation : Les caméras fonctionnent à 15 Hz et le LiDAR à 10 Hz. Les données sont synchronisées via des horodatages, associant chaque trame LiDAR aux trames de caméra temporellement les plus proches.
   • Contenu : L'ensemble de données capture 1 à 2 occupants effectuant diverses activités (s'asseoir, se tenir debout, marcher, boire, fumer) et des événements critiques pour la sécurité (vandalisme, bagarre, entrée de fauteuil roulant).

2. Calibrage des Capteurs :

   • Extrinsèques : En raison du chevauchement limité des caméras, les auteurs emploient un processus de calibrage en deux étapes. D'abord, ils reconstruisent la géométrie de la cabine via COLMAP (Structure from Motion et Multi-View Stereo) basé sur des marqueurs ArUco dispersés.
   • Alignement Métrique : La reconstruction est mise à l'échelle et orientée à l'aide d'un marqueur de taille connue et d'un « marqueur d'origine » spécifique placé au centre du véhicule pour établir un référentiel métrique aligné au sol.
   • Alignement LiDAR : Le nuage de points LiDAR est enregistré sur la reconstruction COLMAP via l'algorithme ICP (Iterative Closest Point), atteignant une erreur quadratique moyenne (RMSE) de 0,0071 m.

3. Pipeline de Pseudo-Étiquetage :

   • Détection 2D : Un détecteur 2D identifie des candidats humains, suivi d'un filtrage manuel pour éliminer les faux positifs (ex: affiches).
   • Estimation de Pose 3D : Le pipeline utilise SAM 3 Body 3D pour générer des maillages humains 3D et des squelettes à partir des détections 2D et des intrinsèques de caméra connus.
   • Agrégation Multi-Vues : Pour résoudre les divergences entre les vues (qui peuvent différer jusqu'à environ 1 m), les auteurs implémentent une agrégation en trois étapes :
     1. Clustering contraint par la caméra : Regroupe les hypothèses de pose tout en garantissant qu'aucune détection provenant de la même caméra n'entre dans le même cluster.
     2. Sélection de la pose médiane : Sélectionne l'hypothèse la plus proche du centroïde du cluster pour réduire l'impact des valeurs aberrantes.
     3. Affinement : Optimise la translation globale de la pose sélectionnée pour minimiser l'erreur de reprojection multi-vues en utilisant l'algorithme de Nelder–Mead.
   • Boîtes Englobantes 3D : Des boîtes englobantes 3D orientées sont dérivées des maillages 3D affinés, définies par le centre, les dimensions et l'angle de lacet relatif à la rotation des hanches du sujet.

4. Format de l'Ensemble de Données :

   • L'ensemble de données final est converti au format nuScenes, facilitant la compatibilité avec les bases de code de perception existantes pour la conduite autonome.

Contributions Clés

• Ensemble de Données : Un ensemble de données multi-vues et multi-modales (RGB, profondeur, LiDAR) contenant 9 136 échantillons synchronisés avec des annotations de pose humaine 3D et des boîtes englobantes 3D orientées. C'est le premier ensemble de données de ce type rendu public avec des annotations de pose 3D.
• Pipeline : Un pipeline pratique de calibrage et de pseudo-étiquetage capable de générer des annotations 3D de haute qualité dans un environnement multi-vues complexe à faible chevauchement.
• Benchmark : Résultats de base pour les modèles de détection 3D multi-vues de pointe (Lift-Splat-Shoot, BEVFusion) sur les données de l'intérieur de la cabine.

Résultats Expérimentaux
Les auteurs ont évalué plusieurs modèles sur une répartition entraînement/validation de 7 128/2 008 :

• Modèles Uniquement Caméra : Lift-Splat-Shoot (LSS) avec des backbones ResNet-50 et SwinT a obtenu des performances solides, avec une précision moyenne (AP) à 0,5 m atteignant 0,9630 (ResNet) et 0,7563 (SwinT).
• Modèles Multi-Modaux : BEVFusion (fusionnant LiDAR et caméras) a moins bien performé (AP@0,5m : 0,7337) que les variantes LSS uniquement caméras. Les auteurs attribuent cela à la forte dépendance du modèle au LiDAR, qui est moins efficace dans l'environnement intérieur contraint et clairsemé par rapport aux caractéristiques denses des caméras.
• Analyse des Vues : Les taux de manque de détection en vue unique varient de 18,78 % (Avant Gauche) à 60,69 % (Centre Gauche), démontrant que la fusion multi-vues est essentielle pour une perception robuste de l'intérieur.

Signification et Revendications
Ce travail positionne cette étude comme une étape fondamentale vers une perception robuste de l'intérieur des transports publics. Les auteurs affirment que :

1. La Rareté des Données est Traitée : L'ensemble de données comble une lacune critique en fournissant une ressource multi-modale à grande échelle spécifiquement conçue pour la géométrie complexe des intérieurs de véhicules.
2. Faisabilité du Calibrage : Le pipeline de calibrage proposé gère avec succès les contraintes de faible chevauchement des caméras orientées vers l'intérieur, permettant une reconstruction 3D métriquement cohérente.
3. Utilité de Benchmark : La conversion au format nuScenes et les résultats de base fournissent un banc d'essai standardisé pour les recherches futures sur la perception multi-vues de l'intérieur.
4. Limitations Modestes : Les auteurs reconnaissent que, bien que le pipeline soit efficace, il n'est pas exempt d'échecs ; la fusion ou la division d'identités peut survenir sous une occlusion importante, et le bruit d'étiquetage persiste à des seuils de détection serrés. Ils notent que l'ensemble de données est actuellement limité à un seul type de véhicule et à des scénarios stationnaires, suggérant que les travaux futurs devraient se concentrer sur l'augmentation de la diversité et de la généralisation.