Multi-View In-Cabin Monitoring System for Public Transport Vehicles

Dit artikel introduceert een multi-view in-cabin monitoring dataset voor openbaar vervoer voertuigen, bestaande uit gesynchroniseerde RGB- en dieptebeelden met 3D-annotaties, samen met een kalibratiepipeline en benchmarkingtools voor het evalueren van multi-view 3D detectiemodellen.

De kern

Stel je een drukke stadsbus voor als een volle, bewegende woonkamer. Normaal gesproken, als je precies wilde weten waar iedereen zit, staat of beweegt in die kamer, zou je een team mensen met klembord nodig hebben die vanuit elke hoek toezicht houden. Maar in de wereld van zelfrijdende bussen moeten computers dit werk automatisch doen.

Dit artikel introduceert een nieuwe "trainingsschool" voor die computerbreinen. Hier is de uitsplitsing van wat de onderzoekers hebben gebouwd en hoe ze dat hebben gedaan, met eenvoudige vergelijkingen:

1. Het Probleem: De Bus met de "Blinde Vlek"

De meeste zelfrijdende technologie is als een auto met ogen die naar buiten kijken door het raam om de weg te zien. Maar hoe zit het met wat er ín de bus gebeurt?

• De Uitdaging: In een bus blokkeren mensen elkaar (occlusie), stoelen zijn reflecterend en camera's zien vaak slechts een klein deel van de ruimte. Als je slechts één camera hebt, is het alsof je probeert een hele film te begrijpen door slechts één frame vanuit één specifieke stoel te bekijken. Je mist de helft van de actie.
• Het Gat: Er was geen goede "leerboek" (dataset) met genoeg voorbeelden van mensen binnenin een bus, gezien vanuit meerdere hoeken, om computers te leren hoe ze helder kunnen zien.

2. De Oplossing: Een "Slimme Bus" met Supervisie

Het team heeft een speciale, gedigitaliseerde stadsbus gebouwd in Duitsland, uitgerust met een "super-visie" systeem.

• De Ogen: Ze hebben vier camera's geïnstalleerd die naar binnen gericht zijn (als beveiligers die in de hoeken van de kamer staan) en een draaiende laserscanner (LiDAR) die werkt als een vleermuis die echolocatie gebruikt om de kamer in 3D in kaart te brengen.
• De Data: Ze hebben meer dan 9.000 gesynchroniseerde momenten opgenomen waarbij deze sensoren samenwerkten. Het is alsof je een 4D-film hebt waarbij je de kamer tegelijkertijd vanuit vier hoeken kunt zien, plus een 3D-dieptekaart.

3. De Magische Truk: De Computer Leren "Zien" Zonder een Leraar

Normaal gesproken, om een computer te leren een persoon te herkennen, moeten mensen duizenden foto's handmatig omkaderen met boxen. Dat duurt eeuwig.

• De Pipeline: In plaats van elke box handmatig te tekenen, creëerden de onderzoekers een "robotassistent"-pipeline:
  1. De Detective: Ze gebruikten een AI om mensen in de video te vinden.
  2. De 3D-Beeldhouwer: Ze gebruikten een andere AI om de 3D-vorm van het lichaam van de persoon te raden op basis van alleen de 2D-camerabeelden.
  3. De Scheidsrechter: Omdat vier camera's dezelfde persoon op vier licht verschillende manieren kunnen zien, bouwden ze een systeem dat als scheidsrechter fungeert. Het neemt de vier verschillende schattingen, vergelijkt ze en kiest de meest nauwkeurige "gemiddelde" 3D-positie.
  4. Het Resultaat: Ze kwamen uit op een dataset waarbij elke persoon een precieze 3D-"skelet" en een 3D-box heeft, allemaal automatisch gegenereerd met zeer weinig menselijke hulp.

4. De Test: Kunnen de Computers Leren?

De onderzoekers hebben niet alleen de data gemaakt; ze hebben getest of bestaande computerbreinen ervan kunnen leren.

• Het Examen: Ze namen beroemde AI-modellen (zoals "Lift-Splat-Shoot" en "BEVFusion") en probeerden deze te leren om mensen in deze bus te spotten met behulp van de nieuwe data.
• De Score: De modellen deden een redelijk werk, vooral wanneer ze een kleine foutmarge kregen toegestaan. De test liet echter ook zien dat kijken vanuit slechts één camerabeeld riskant is (het missen van ongeveer 19% tot 60% van de mensen, afhankelijk van de hoek), wat bewijst dat je echt meerdere camera's nodig hebt om een volledig beeld te krijgen.

5. Wat Zit Er in de Doos?

De onderzoekers geven dit hele pakket gratis weg aan andere wetenschappers. Het bevat:

• De video- en laserdata.
• De "robotassistent"-tools om 3D-labels te genereren.
• Een formaat dat past in standaard zelfrijdende software (nuScenes-formaat).

Samenvatting

Beschouw dit artikel als de constructie van een high-tech trainingsgym voor zelfrijdende bussen. Voorheen probeerden de bussen te leren hoe ze binnen in de cabine moesten zien met slechts één wazig oog. Nu hebben ze een gym met vier high-definition camera's, een 3D-laserscanner en een reeks "perfect beoordeelde" oefentoetsen (de dataset) om te leren hoe ze passagiers kunnen volgen, zelfs wanneer ze achter stoelen verborgen zijn of dicht op elkaar staan.

Wat ze expliciet NIET hebben gedaan:
Het artikel richt zich strikt op het detecteren waar mensen zijn en wat ze doen (zitten, staan, lopen). Ze hebben dit systeem niet getest op echte rijdende bussen in het verkeer, noch hebben ze beweerd dat het medische noodgevallen kan oplossen of menselijke bestuurders kan vervangen. Het is een fundamenteel hulpmiddel voor toekomstig onderzoek.

Technische samenvatting

Technische Samenvatting: Multi-View In-Cabin Monitoring Systeem voor Openbaar Vervoer Voertuigen

Probleemstelling
Hoewel autonoom rijden aanzienlijk is gevorderd op het gebied van externe perceptie, blijft het begrijpen van het interieur van voertuigen—specifiek in het openbaar vervoer—onderontwikkeld. In-cabin monitoring is cruciaal voor het tellen van inzittenden, lokalisatie, toegankelijkheidshulp en veiligheid (bijv. het detecteren van agressie of vandalisme). Bestaande oplossingen kampen echter met een databottleneck: huidige in-cabin datasets zijn vaak beperkt in schaal, vertrouwen op single-camera beelden en missen de multi-modale synchronisatie die vereist is om ernstige occlusie, drukte en reflecterende oppervlakken die gebruikelijk zijn in businterieurs te verwerken. Bovelijk is multi-sensor kalibratie uitdagend in bussen omdat naar binnen gerichte camera's een minimale overlap in gezichtsveld hebben, waardoor standaard kalibratietechnieken moeilijk toe te passen zijn.

Methodologie
De auteurs presenteren een uitgebreide pipeline voor het vastleggen, kalibreren en annoteren van een multi-view in-cabin dataset van een gedigitaliseerde Duitse stadsbus.

1. Data-acquisitie:

   • Sensoren: De opstelling maakt gebruik van vier naar binnen gerichte Intel RealSense D435i camera's (die RGB en stereo diepte bieden) en een roterende Ouster OS0-128 LiDAR.
   • Synchronisatie: Camera's draaien op 15 Hz en de LiDAR op 10 Hz. Data wordt gesynchroniseerd via tijdstempels, waarbij elk LiDAR-frame wordt gekoppeld aan de tijdelijk dichtstbijzijnde cameraframes.
   • Inhoud: De dataset legt 1–2 inzittenden vast die diverse activiteiten uitvoeren (zitten, staan, lopen, drinken, roken) en veiligheidskritische gebeurtenissen (vandalisme, vechten, instappen met een rolstoel).

2. Sensor Kalibratie:

   • Extrinsics: Vanwege de beperkte overlap tussen camera's gebruiken de auteurs een tweestaps kalibratieproces. Eerst reconstrueren ze de cabinegeometrie met behulp van COLMAP (Structure from Motion en Multi-View Stereo) gebaseerd op verspreide ArUco-markers.
   • Metrische Uitlijning: De reconstructie wordt geschaald en georiënteerd met behulp van een bekende markergrootte en een specifieke "origin marker" geplaatst op de middellijn van het voertuig om een grond-gealigneerd metrisch frame te vestigen.
   • LiDAR Uitlijning: De LiDAR-puntenwolk wordt geregistreerd op de COLMAP-reconstructie met behulp van Iterative Closest Point (ICP), wat een Root Mean Square Error (RMSE) van 0,0071 m oplevert.

3. Pseudo-Labeling Pipeline:

   • 2D Detectie: Een 2D-detector identificeert kandidaten voor personen, gevolgd door handmatige filtering om fout-positieven (bijv. posters) te verwijderen.
   • 3D Pose Estimatie: De pipeline gebruikt SAM 3 Body 3D om 3D menselijke meshes en skeletten te genereren vanuit de 2D-detecties en bekende camera-intrinsics.
   • Multi-View Aggregatie: Om discrepanties tussen weergaven op te lossen (die tot wel ~1 m kunnen verschillen), implementeren de auteurs een driestaps aggregatie:
     1. Camera-beperkte clustering: Clustert pose-hypothesen terwijl wordt gewaarborgd dat niet twee detecties van dezelfde camera in hetzelfde cluster terechtkomen.
     2. Mediaan pose selectie: Selecteert de hypothese die het dichtst bij het clustercentrum ligt om de impact van uitschieters te verminderen.
     3. Verfijning: Optimaliseert de globale translatie van de geselecteerde pose om de multi-view reprojectiefout te minimaliseren met behulp van het Nelder–Mead algoritme.
   • 3D Bounding Boxes: Georiënteerde 3D bounding boxes worden afgeleid van de verfijnde 3D meshes, gedefinieerd door centrum, dimensies en de yaw-hoek ten opzichte van de heuprotatie van het onderwerp.

4. Dataset Formaat:

   • De uiteindelijke dataset wordt geconverteerd naar het nuScenes formaat, wat compatibiliteit met bestaande codebases voor autonome rij-perceptie vergemakkelijkt.

Belangrijkste Bijdragen

• Dataset: Een multi-view, multi-modale (RGB, diepte, LiDAR) in-cabin dataset met 9.136 gesynchroniseerde samples inclusief 3D menselijke pose en georiënteerde 3D bounding box annotaties. Het is de eerste publiek beschikbare dataset van dit type met 3D pose annotaties.
• Pipeline: Een praktische kalibratie- en pseudo-labeling pipeline die in staat is om hoogwaardige 3D-annotaties te genereren in een uitdagende in-cabin omgeving met lage overlap.
• Benchmark: Baselines voor state-of-the-art multi-view 3D detectiemodellen (Lift-Splat-Shoot, BEVFusion) op in-cabin data.

Experimentele Resultaten
De auteurs evalueerden verschillende modellen op een 7.128/2.008 train/validatie split:

• Camera-alleen Modellen: Lift-Splat-Shoot (LSS) met ResNet-50 en SwinT backbones behaalde sterke prestaties, met een Average Precision (AP) bij 0,5 m van respectievelijk 0,9630 (ResNet) en 0,7563 (SwinT).
• Multi-Modale Modellen: BEVFusion (fusie van LiDAR en camera's) presteerde slechter (AP@0,5m: 0,7337) dan de camera-alleen LSS varianten. De auteurs schrijven dit toe aan de zware afhankelijkheid van het model van LiDAR, wat minder effectief is in de beperkte, ijle binnenomgeving vergeleken met de dichte camera-features.
• View Analyse: De missingspercentages bij single-view detectie varieerden van 18,78% (Front Left) tot 60,69% (Center Left), wat aantoont dat multi-view fusie essentieel is voor robuuste in-cabin perceptie.

Betekenis en Claims
Het artikel positioneert dit werk als een fundamentele stap naar robuuste in-cabin perceptie voor openbaar vervoer. De auteurs stellen dat:

1. Data-schaarste wordt aangepakt: De dataset vult een kritiek gat door een grootschalige, multi-modale bron te bieden die specifiek gericht is op de uitdagende geometrie van voertuiginterieurs.
2. Kalibratie haalbaarheid: De voorgestelde kalibratiepipeline handelt de beperkingen van lage overlap tussen naar binnen gerichte camera's succesvol af, wat een metrisch consistente 3D-reconstructie mogelijk maakt.
3. Benchmarking nut: De conversie naar nuScenes-formaat en de baseline resultaten bieden een gestandaardiseerde testomgeving voor toekomstig onderzoek naar multi-view in-cabin perceptie.
4. Bescheiden Beperkingen: De auteurs erkennen dat hoewel de pipeline effectief is, deze niet foutloos is; identity merging/splitting kan voorkomen onder zware occlusie, en labelruis blijft aanwezig bij strikte detectiedrempels. Ze merken op dat de dataset momenteel beperkt is tot één voertuigtype en stationaire scenario's, wat suggereert dat toekomstig werk zich moet richten op het vergroten van diversiteit en generalisatie.