Multi-View In-Cabin Monitoring System for Public Transport Vehicles

Sintesi Tecnica: Sistema di Monitoraggio dell'Interno Cabina Multi-Vista per Veicoli del Trasporto Pubblico

Problematica
Mentre la guida autonoma ha fatto progressi significativi nella percezione esterna, la comprensione dell'interno dei veicoli — specificamente nel trasporto pubblico — rimane sottosviluppata. Il monitoraggio dell'interno cabina è critico per il conteggio degli occupanti, la localizzazione, l'assistenza all'accessibilità e la sicurezza (ad esempio, il rilevamento di aggressioni o vandalismo). Tuttavia, le soluzioni esistenti affrontano un collo di bottiglia nei dati: gli attuali dataset per l'interno cabina sono spesso limitati in scala, si affidano a viste a singola telecamera e mancano della sincronizzazione multi-modale necessaria per gestire le severe occlusioni, l'affollamento e le superfici riflettenti comuni negli interni degli autobus. Inoltre, la calibrazione multi-sensore è problematica negli autobus perché le telecamere rivolte verso l'interno hanno una sovrapposizione minima del campo visivo, rendendo difficile l'applicazione delle tecniche di calibrazione standard.

Metodologia
Gli autori presentano una pipeline completa per la cattura, la calibrazione e l'annotazione di un dataset multi-vista dell'interno cabina da un autobus cittadino tedesco digitalizzato.

1. Acquisizione dei Dati:

   • Sensori: L'allestimento utilizza quattro telecamere Intel RealSense D435i rivolte verso l'interno (che forniscono RGB e profondità stereo) e un LiDAR rotante Ouster OS0-128.
   • Sincronizzazione: Le telecamere funzionano a 15 Hz e il LiDAR a 10 Hz. I dati sono sincronizzati tramite timestamp, accoppiando ogni frame del LiDAR ai frame della telecamera temporalmente più vicini.
   • Contenuto: Il dataset cattura 1–2 occupanti che compiono varie attività (seduti, in piedi, camminano, bevono, fumano) ed eventi critici per la sicurezza (vandalismo, combattimenti, ingresso di carrozzine).

2. Calibrazione dei Sensori:

   • Estrinseci: A causa della limitata sovrapposizione delle telecamere, gli autori impiegano un processo di calibrazione in due fasi. Per prima fase, ricostruiscono la geometria della cabina utilizzando COLMAP (Structure from Motion e Multi-View Stereo) basandosi su marker ArUco sparsi.
   • Allineamento Metrico: La ricostruzione viene scalata e orientata utilizzando una dimensione nota del marker e un "marker di origine" specifico posizionato sulla linea centrale del veicolo per stabilire un sistema metrico allineato al suolo.
   • Allineamento LiDAR: La nuvola di punti del LiDAR viene registrata alla ricostruzione COLMAP utilizzando l'Iterative Closest Point (ICP), raggiungendo un errore quadratico medio (RMSE) di 0,0071 m.

3. Pipeline di Pseudo-Labeling:

   • Rilevamento 2D: Un rilevatore 2D identifica i candidati persone, seguito da un filtraggio manuale per rimuovere i falsi positivi (ad esempio, poster).
   • Stima della Posa 3D: La pipeline utilizza SAM 3 Body 3D per generare mesh umane 3D e scheletri partendo dalle rilevazioni 2D e dalle intrinseche note della telecamera.
   • Aggregazione Multi-Vista: Per risolvere le discrepanze tra le viste (che possono differire fino a circa ~1 m), gli autori implementano un'aggregazione in tre fasi:
     1. Clustering vincolato dalla telecamera: Raggruppa le ipotesi di posa garantendo che non due rilevazioni dalla stessa telecamera entrino nello stesso cluster.
     2. Selezione della posa mediana: Seleziona l'ipotesi più vicina al centroide del cluster per ridurre l'impatto degli outlier.
     3. Raffinamento: Ottimizza la traslazione globale della posa selezionata per minimizzare l'errore di riproiezione multi-vista utilizzando l'algoritmo Nelder–Mead.
   • Bounding Box 3D: I bounding box 3D orientati sono derivati dalle mesh 3D raffinate, definiti da centro, dimensioni e angolo di yaw rispetto alla rotazione dell'anca del soggetto.

4. Formato del Dataset:

   • Il dataset finale viene convertito nel formato nuScenes, facilitando la compatibilità con i database di codice esistenti per la percezione della guida autonoma.

Contributi Chiave

• Dataset: Un dataset multi-vista e multi-modale (RGB, profondità, LiDAR) dell'interno cabina che contiene 9.136 campioni sincronizzati con annotazioni di posa umana 3D e bounding box 3D orientati. È il primo dataset di questo tipo reso pubblico con annotazioni di posa 3D.
• Pipeline: Una pipeline pratica di calibrazione e pseudo-labeling capace di generare annotazioni 3D di alta qualità in un ambiente multi-vista con bassa sovrapposizione e sfide elevate.
• Benchmark: Risultati di base per modelli di rilevamento 3D multi-vista allo stato dell'arte (Lift-Splat-Shoot, BEVFusion) su dati in-cabin.

Risultati Sperimentali
Gli autori hanno valutato diversi modelli su un split di addestramento/validazione di 7.128/2.008:

• Modelli Solo-Camera: Lift-Splat-Shoot (LSS) con backbone ResNet-50 e SwinT ha ottenuto prestazioni solide, con una precisione media (AP) a 0,5 m che raggiunge lo 0,9630 (ResNet) e lo 0,7563 (SwinT).
• Modelli Multi-Modali: BEVFusion (fusione di LiDAR e telecamere) ha performato peggio (AP@0,5 m: 0,7337) rispetto alle varianti LSS solo-camera. Gli autori attribuiscono ciò alla forte dipendenza del modello dal LiDAR, che è meno efficace nell'ambiente ristretto e rado dell'interno rispetto alle dense caratteristiche della telecamera.
• Analisi delle Viste: I tassi di mancato rilevamento (miss rate) della singola vista variavano dal 18,78% (Front Left) al 60,69% (Center Left), dimostrando che la fusione multi-vista è essenziale per una percezione robusta dell'interno cabina.

Significatività e Rivendicazioni
Il lavoro posiziona questa ricerca come un passo fondamentale verso una percezione robusta dell'interno cabina per il trasporto pubblico. Gli autori affermano che:

1. La scarsità di dati è affrontata: Il dataset colma una lacuna critica fornendo una risorsa su larga scala e multi-modale specificamente per la geometria impegnativa degli interni dei veicoli.
2. Fattibilità della Calibrazione: La pipeline di calibrazione proposta gestisce con successo i vincoli di bassa sovrapposizione delle telecamere rivolte verso l'interno, consentendo una ricostruzione 3D metricamente coerente.
3. Utilità del Benchmark: La conversione in formato nuScenes e i risultati di base forniscono un banco di prova standardizzato per la futura ricerca sulla percezione multi-vista in-cabin.
4. Limiti Modesti: Gli autori riconoscono che, sebbene la pipeline sia efficace, non è priva di fallimenti; possono verificarsi problemi di unione o divisione delle identità sotto forte occlusione, e il rumore delle etichette rimane presente a soglie di rilevamento strette. Notano inoltre che il dataset è attualmente limitato a un singolo tipo di veicolo e scenari stazionari, suggerendo che il lavoro futuro dovrebbe concentrarsi sull'aumento della diversità e della generalizzazione.