Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion

Sintesi Tecnica: Verso una Percezione di Guida Autonoma Compatta con Apprendimento Bilanciato e Fusione Multi-sensore

Definizione del Problema
I sistemi di percezione per la guida autonoma affrontano sfide significative nel comprendere ambienti che cambiano dinamicamente, caratterizzati da condizioni meteorologiche variabili, scarsa illuminazione e traffico imprevedibile. Gli approcci tradizionali spesso si affidano a modelli a compito singolo o a singole modalità sensoriali (ad esempio, telecamere RGB), che possono fallire in condizioni specifiche come la scarsa luminosità o la pioggia intensa. Inoltre, gli esistenti approcci di apprendimento multi-task (MTL) soffrono spesso di un apprendimento sbilanciato nel gestire compiti eterogenei con funzioni di perdita differenti, portando a prestazioni subottimali o instabilità nell'addestramento. Inoltre, combinare più modelli recenti per coprire tutti i compiti di percezione comporta elevati costi computazionali, dimensioni del modello estese e un uso eccessivo della memoria GPU, ostacolando l'implementazione in tempo reale.

Metodologia
Gli autori propongono un modello di apprendimento multi-task (MTL) profondo e compatto, progettato per eseguire molteplici compiti di percezione in un unico passaggio in avanti (forward pass) senza fare affidamento su modelli esterni.

• Architettura e Fusione Sensoriale: Il modello utilizza un'architettura encoder-decoder con encoder specifici per diverse modalità di input: quattro telecamere RGB, quattro sensori di visione dinamica (DVS) e un LiDAR a 360°. Il sistema elabora quattro viste (Anteriore, Sinistra, Destra, Posteriore) per RGB e DVS, e una vista dall'alto per il LiDAR.

  • Fusione Intermedia: Ispirandosi alle strategie di fusione intermedia, il modello impiega due strati di bottleneck (blocchi convoluzionali) per fondere le caratteristiche estratte. Il primo bottleneck aggrega lo spazio latente degli encoder RGB, DVS e LiDAR per supportare la Segmentazione Semantica (SS), la Stima della Profondità (DE) e la Segmentazione LiDAR (LS). Il secondo bottleneck aggrega le informazioni da questi compiti per eseguire la Proiezione Bird's Eye View (BEVP).
  • Decoder Specifici per il Compito: La rete si dirama in decoder specifici per il compito per SS, DE, LS e BEVP. Vengono utilizzate connessioni skip per migliorare le prestazioni combinando le caratteristiche dell'encoder e del decoder.
  • Pre-elaborazione LiDAR: Per sfruttare le informazioni verticali, gli autori propongono una rappresentazione LiDAR a 15 strati. Questa impila 14 canali basati sulla coordinata di altezza (z) della nuvola di punti e un canale contenente le nuvole di punti appiattite, preservando meglio la struttura verticale rispetto alle proiezioni a singolo strato.

• Ponderazione Adattiva della Perdita (MGN): Per affrontare il problema dell'apprendimento sbilanciato inerente all'MTL, gli autori introducono un algoritmo di Normalizzazione del Gradiente Modificato (MGN).

  • A differenza del GradNorm standard che aggiorna i pesi frequentemente, MGN aggiorna i pesi della perdita solo una volta per epoca (al passaggio finale) per ridurre l'overhead computazionale.
  • L'algoritmo regola dinamicamente i pesi della perdita in base al tasso di addestramento inverso relativo di ciascun compito, garantendo che i compiti con caratteristiche diverse (ad esempio, SS vs BEVP) vengano appresi a ritmi simili.
  • La perdita totale è una somma ponderata della Huber loss (per DE) e di una combinazione di Binary Cross-Entropy e Dice loss (per SS, LS e BEVP).

• Dataset: Gli esperimenti sono stati condotti su tre dataset di simulazione CARLA (con diversa diversità di mappe e volume di dati) e un dataset del mondo reale (nuScenes-lidarseg). Per nuScenes, il modello è stato adattato per utilizzare solo input RGB (senza DVS) e sono state generate verità di base (ground truth) sintetiche dai punti LiDAR per i compiti SS e DE.

Contributi Chiave

1. Modello Multi-Task Compatto: Un modello unificato che esegue simultaneamente segmentazione semantica multi-vista, stima della profondità, segmentazione LiDAR e proiezione bird's eye view, eliminando la necessità di più modelli separati.
2. Strategia di Ponderazione Adattiva della Perdita: Un algoritmo GradNorm modificato, adattato per un'architettura multi-modale e multi-vista con due bottleneck condivisi, che bilancia efficacementamente il processo di apprendimento tra compiti eterogenei.
3. Rappresentazione LiDAR Migliorata: Una tecnica di pre-elaborazione a 15 strati per le nuvole di punti LiDAR che mantiene le informazioni di altezza verticale, dimostrando prestazioni migliorate nei compiti di segmentazione e stima della profondità.
4. Valutazione Esaustiva: Uno studio di ablazione rigoroso e un'analisi comparativa contro una combinazione di modelli single-task e multi-task allo stato dell'arte (PolarNet, Chen et al., e GradNorm) attraverso scenari di simulazione e del mondo reale.

Risultati

• Prestazioni: La variante del modello addestrata con dati LiDAR a 15 strati e l'algoritmo MGN (15L+MGN) ha ottenuto le migliori prestazioni complessive, indicate dal punteggio di Total Metric (TM) più basso e dalla Metric Variance (MV) più bassa nella maggior parte dei dataset.
  • Sui dataset di simulazione, il modello 15L+MGN ha superato la combinazione di modelli recenti (Chen et al. + PolarNet + GradNorm) in termini di punteggi TM sui dataset A, B e nuScenes, sebbene la combinazione sia stata leggermente superiore sul dataset C (attribuito alle capacità superiori di PolarNet nella segmentazione LiDAR).
  • L'input LiDAR a 15 strati ha costantemente migliorato le prestazioni della segmentazione LiDAR (LS) e ha generalmente potenziato i compiti SS e DE rispetto all'input a 1 strato.
  • L'algoritmo MGN ha bilanciato con successo la dinamica dell'addestramento, riducendo la discrepanza tra i compiti (MV più bassa), anche se occasionalmente ha comportato un compromesso in cui compiti specifici (come DE o SS) ottenevano prestazioni leggermente migliori con pesi statici.
• Efficienza: Il modello proposto è significativamente più efficiente della combinazione dei modelli recenti. Possiede meno del 2% dei parametri totali dei modelli di base combinati.
  • Velocità di Inferenza: Il modello raggiunge circa 54 FPS sui dataset di simulazione e 65 FPS sul dataset del mondo reale nuScenes.
  • Utilizzo delle Risorse: Richiede molta meno memoria GPU (circa 20 MB rispetto a oltre 1000 MB per la combinazione) e ha una dimensione del modello molto più ridotta.

Significatività
L'articolo sostiene che la sua principale significatività risieda nel dimostrare che un approccio compatto a modello singolo può ottenere prestazioni superiori o comparabili a una combinazione di modelli specializzati, riducendo drasticamente le risorse computazionali. Integrando la fusione multi-sensore e una strategia di ponderazione adattiva della perdita, il modello fornisce una soluzione robusta per la percezione della guida autonoma che è più veloce, più efficiente in termini di memoria e più adatta all'implementazione in tempo reale su dispositivi edge. Il lavoro evidenzia come bilanciare l'apprendimento multi-task attraverso la ponderazione adattiva e sfruttare rappresentazioni sensoriali ricche (come i dati LiDAR verticali) siano elementi critici per ottenere una comprensione olistica ed efficiente dell'ambiente di guida. Gli autori sottolineano che il loro modello mantiene prestazioni costanti attraverso diversi scenari di simulazione e del mondo reale, validandone il potenziale per l'applicazione pratica.