Easy3D-Labels: Supervising Semantic Occupancy Estimation with 3D Pseudo-Labels for Automotive Perception

1. Il Problema

Nel campo della percezione per veicoli autonomi, la sicurezza è fondamentale, specialmente per gli utenti vulnerabili della strada (pedoni, ciclisti). I metodi di rappresentazione tradizionali, come la Bird's Eye View (BEV), collassano le informazioni verticali, creando ambiguità nella localizzazione 3D degli oggetti e limitando la comprensione dell'ambiente per compiti a valle come la pianificazione del movimento.

Sebbene l'estimazione dell'occupazione semantica (Semantic Occupancy Estimation) offra una rappresentazione 3D completa, l'approccio supervisionato richiede dati annotati manualmente (spesso da LiDAR), il che è costoso e non scalabile. Gli approcci auto-supervisionati attuali cercano di ovviare a questo utilizzando pseudo-etichette 2D (derivate da modelli fondazionali come VLM e VFM) proiettate nello spazio 3D. Tuttavia, questi metodi presentano gravi svantaggi:

• Costi computazionali elevati: Richiedono tecniche di sintesi di nuove viste (Novel View Synthesis) e rendering volumetrico (es. NeRF, 3D Gaussian Splatting) durante l'addestramento.
• Limiti nella qualità: Tendono a produrre duplicazione degli oggetti, stime di profondità imprecise e bias verso oggetti vicini.
• Ambiguità: La supervisione avviene nello spazio 2D, il che non risolve direttamente le ambiguità geometriche 3D.

2. Metodologia: Easy3D-Labels

Gli autori propongono Easy3D-Labels, un metodo per generare pseudo-ground-truth 3D direttamente nello spazio 3D, eliminando la necessità di rendering 2D durante l'addestramento.

Il processo di generazione si articola in tre fasi principali:

1. Generazione della Nuvola di Punti Semantica:
   • Vengono utilizzati Grounded-SAM per ottenere mappe semantiche 2D e Metric3Dv2 per ottenere mappe di profondità metriche 2D.
   • I pixel 2D vengono proiettati nello spazio 3D globale utilizzando le matrici intrinseche della camera e le trasformazioni camera-mondo, creando una nuvola di punti semantica ($P_{sem}$).
2. Densificazione Temporale (Temporal Aggregation):
   • Per aumentare la densità dei punti e migliorare la copertura spaziale, si aggregano le nuvole di punti di frame temporali precedenti ($T-\Delta$).
   • Filtro Dinamico: È cruciale rimuovere i punti dinamici (veicoli, pedoni) dai frame precedenti per evitare la duplicazione degli oggetti in movimento, mantenendo solo gli oggetti statici (strade, marciapiedi).
   • I punti statici vengono trasformati nel sistema di coordinate del veicolo ego alla corrente $T$.
3. Voxelizzazione:
   • La nuvola di punti densificata viene convertita in una griglia di voxel 3D.
   • Viene applicata una soglia di occupazione (minimo 10 punti per voxel) per filtrare i punti spuri e assegnare l'etichetta semantica basata sulla classe maggioritaria.

Modelli Proposti e Adattamenti:

• Integrazione: Easy3D-Labels possono essere integrati come funzione di perdita ausiliaria ($L_{Pseudo}$) in modelli esistenti (SelfOcc, OccNeRF, GaussianOcc).
• EasyOcc: Viene introdotto un modello semplificato che utilizza esclusivamente Easy3D-Labels per la supervisione. Elimina componenti complesse come la stima della posa, la sintesi di nuove viste e la coerenza fotometrica multi-frame, riducendo drasticamente la complessità.

3. Contributi Chiave

1. Generazione di Pseudo-Label 3D: Un approccio innovativo che combina Grounded-SAM e Metric3Dv2 per creare etichette 3D dirette, evitando il rendering 2D costoso.
2. Miglioramento delle Classi Dinamiche: La segmentazione delle classi dinamiche (es. pedoni) viene migliorata drasticamente (oltre il 600% di aumento nell'IoU per SelfOcc), cruciale per la sicurezza.
3. Rappresentazione Olistica: Riduzione della duplicazione degli oggetti e miglioramento della stima della profondità, come dimostrato dal metrico RayIoU.
4. Modello Semplificato (EasyOcc): Dimostrazione che un modello addestrato solo su queste etichette 3D, senza rendering complesso, può raggiungere prestazioni competitive.

4. Risultati Sperimentali

I modelli sono stati valutati sul dataset Occ3D-nuScenes e OpenOccv2.

• Prestazioni (mIoU e RayIoU):
  • Applicando Easy3D-Labels a OccNeRF, si ottiene un aumento del 45% nel mIoU e del 49% nel RayIoU.
  • EasyOcc raggiunge un mIoU di 15.7 su Occ3D-nuScenes, superando metodi basati su Gaussian Splatting più complessi come GaussTR.
  • Il miglioramento nel RayIoU indica una maggiore accuratezza nella stima della profondità e una riduzione delle sovrastime (overprediction) che spesso gonfiano artificialmente il mIoU.
• Efficienza:
  • EasyOcc elimina il tempo di rendering durante l'addestramento (0ms di rendering time vs 1061ms per OccNeRF), riducendo il tempo totale di addestramento per epoca.
  • Non richiede sensori LiDAR né l'uso di modelli fondazionali durante l'inferenza.
• Analisi Qualitativa:
  • I modelli con Easy3D-Labels mostrano una migliore capacità di stimare regioni occluse (es. sotto il veicolo) e strutture come sporgenze degli edifici, riducendo la duplicazione degli oggetti tipica dei metodi auto-supervisionati precedenti.

5. Significato e Impatto

Questo lavoro segna un passo significativo verso l'addestramento di modelli di occupazione semantica scalabili ed efficienti.

• Superamento del Rendering 2D: Spostando la supervisione direttamente nello spazio 3D, si eliminano i colli di bottiglia computazionali e i bias legati alla proiezione 2D.
• Ruolo dei Modelli Fondazionali: Dimostra come l'uso combinato di modelli fondazionali (SAM per la semantica, Metric3D per la profondità) e informazioni temporali possa generare dati di addestramento di alta qualità senza annotazione manuale.
• Sicurezza: Il miglioramento sostanziale nella rilevazione di utenti vulnerabili (pedoni) e nella precisione della profondità rende questi sistemi più affidabili per la guida autonoma.

In sintesi, Easy3D-Labels offre una via d'uscita efficace dal compromesso tra costi di annotazione e prestazioni, dimostrando che pseudo-etichette 3D ben costruite possono competere o superare metodi supervisionati complessi, aprendo la strada a sistemi di percezione più sicuri ed economici.