SAM-Enhanced Segmentation on Road Datasets: Balancing Critical Classes in Autonomous Driving

Sintesi Tecnica: Segmentazione Potenziata da SAM su Dataset Stradali

Dichiarazione del Problema
La segmentazione semantica densa è un requisito fondamentale per la percezione nell' guida autonoma, tuttavia lo sviluppo di modelli robusti è ostacolato dalla scarsità di dataset multi-modali con annotazioni di alta qualità a livello di pixel. Il Zenseact Open Dataset (ZOD), sebbene ricco di dati multi-sensore (camera-LiDAR) provenienti da ambienti dell'Europa settentrionale, fornisce solo etichette di bounding box 2D. Questa limitazione ne riduce l'utilità per la ricerca sulla segmentazione semantica supervisionata. Inoltre, gli approcci di etichettatura automatizzata esistenti spesso falliscono in domini critici per la sicurezza a causa di allucinazioni, errori sui confini o prestazioni scadenti su oggetti piccoli e occlusi. Inoltre, i dataset per la guida autonoma soffrono di uno squilibrio estremo delle classi, dove classi critiche per la sicurezza come pedoni, ciclisti e segnali stradali costituiscono meno dell'1% dei pixel totali, causando prestazioni inadeguate dei modelli standard su queste categorie rare.

Metodologia
Gli autori propongono una pipeline completa per colmare il divario tra bounding box sparse e maschere di segmentazione dense, utilizzando il Segment Anything Model (SAM) come fondamento.

1. Pipeline di Annotazione Basata su SAM:

   • Preprocessing: Le bounding box ZOD grezze subiscono un filtraggio per rimuovere il rumore (ad esempio, rilevamenti estremamente piccoli, artefatti allungati) e la deduplicazione tramite fusione basata sull'IoU. Viene applicato un limite di 75 oggetti per frame per bilanciare completezza ed efficienza.
   • Generazione delle Maschere: Le box filtrate servono come prompt per il modello ViT-H di SAM. Per risolvere le maschere sovrapposte, viene adottato uno schema di fusione basato sulla priorità in cui gli utenti vulnerabili della strada (pedoni, ciclisti) hanno la precedenza su segnali e veicoli.
   • Output: Le maschere risultanti vengono ridimensionate a una risoluzione di 768×768. La pipeline genera due varianti di annotazione: Solo Camera (maschere dense che preservano il campo visivo completo) e Solo LiDAR (maschere proiettate strettamente sui punti di ritorno LiDAR validi per riflettere la sparsità del sensore).
   • Cura dei Dati: Da oltre 100.000 frame elaborati, è stato stabilito un subset curato manualmente di 2.300 frame (tasso di accettazione del 36%) per servire come benchmark affidabile.

2. Miglioramento del Dataset Iseauto:

   • Per la piattaforma Iseauto, viene applicato un algoritmo di raffinamento dei bordi basato su SAM alle etichette manuali esistenti. Questo processo utilizza SAM per eseguire un'espansione e una contrazione conservativa dei bordi, correggendo le imprecisioni sui confini preservando al contempo l'intento semantico.

3. Architetture dei Modelli:

   • Lo studio valuta due paradigmi: CLFT (Trasformatori di Fusione Camera-LiDAR), che utilizza l'attenzione multi-testa incrociata per il ragionamento congiunto, e DeepLabV3+, un'architettura basata su CNN con pooling piramidale spaziale atrous esteso per la fusione multi-modale.
   • Specializzazione del Modello: Per affrontare lo squilibrio delle classi, vengono addestrati modelli specializzati per singole classi (Veicolo, Segnale, Umano) e combinazioni a coppie, insieme a un approccio di ensemble con parametri fusi.

4. Transfer Learning:

   • Vengono condotti esperimenti di transfer learning bidirezionale tra i dataset ZOD e Iseauto per valutare la generalizzazione cross-dominio.

Contributi Chiave

• Pipeline di Annotazione: Una pipeline innovativa basata su SAM che converte bounding box sparse in maschere semantiche dense a livello di pixel per il dataset ZOD.
• Dataset di Benchmark: Un dataset pilota curato di 2.300 frame verificati manualmente, che abilita il primo benchmark di segmentazione su ZOD.
• Valutazione Architettonica: Un'analisi comparativa di architetture basate su Transformer (CLFT) e CNN (DeepLabV3+) in diverse condizioni meteorologiche (Giorno/Notte, Sereno/Pioggia/Neve).
• Specializzazione delle Classi: Dimostrazione che modelli specializzati e ensemble migliorano significativamente le prestazioni di segmentazione per classi rare e critiche per la sicurezza.
• Validazione Cross-Dataset: Validazione riuscita sulla piattaforma Iseauto e analisi del transfer learning bidirezionale, che mostra una convergenza accelerata quando si inizializzano i modelli da un dataset all'altro.

Risultati

• Prestazioni su ZOD: Il modello di fusione ibrido CLFT ha ottenuto le migliori prestazioni di base con 48,1% mIoU in condizioni di Giorno Sereno. I modelli basati su Transformer hanno dimostrato maggiore stabilità nelle condizioni meteorologiche avverse rispetto a DeepLabV3+.
• Miglioramento delle Classi Rare: I modelli specializzati hanno prodotto guadagni sostanziali per le classi rare. Ad esempio, un modello "Solo Segnale" ha migliorato l'IoU dei Segnali dal 29,7% al 43,5%. Un ensemble di modelli specializzati ha raggiunto 51,3% mIoU, sebbene con una velocità di inferenza ridotta (10,3 FPS contro 27,8 FPS per la base).
• Impatto dell'Annotazione: Le valutazioni hanno rivelato che l'uso di annotazioni sparse proiettate sul LiDAR ha portato a punteggi IoU significativamente inferiori rispetto alle maschere dense generate da SAM, evidenziando il valore della supervisione densa per inferire l'estensione degli oggetti.
• Prestazioni Iseauto: Sulla piattaforma Iseauto, il modello di fusione ibrido CLFT ha raggiunto 77,5% mIoU in condizioni di Giorno Sereno, superando i risultati di ZOD grazie a confini degli oggetti più chiari e scene meno complesse.
• Transfer Learning: Il transfer learning bidirezionale ha accelerato la convergenza, con modelli inizializzati dal dataset opposto che hanno raggiunto prestazioni competitive entro 20–30 epoche.

Significato e Affermazioni
Il documento afferma di fornire la prima analisi completa della segmentazione multi-modale densa sul dataset ZOD, trasformandolo da una risorsa dedicata solo al rilevamento a un benchmark per la segmentazione. Gli autori affermano che le rappresentazioni derivate da SAM si trasferiscono efficacemente tra diverse configurazioni di sensori e dataset, supportando l'apprendimento di caratteristiche trasferibili. Pur riconoscendo le limitazioni — come le difficoltà di SAM con oggetti piccoli/distanti e l'alto costo computazionale degli ensemble di transformer — il lavoro stabilisce una base per la ricerca riproducibile nella percezione densa. Gli autori posizionano il loro approccio di ensemble principalmente come insegnante offline per l'auto-etichettatura o la distillazione della conoscenza piuttosto che come soluzione in tempo reale, e identificano lavori futuri nell'espansione del dataset curato e nel miglioramento della segmentazione di oggetti piccoli. Tutto il codice, i modelli e i dataset elaborati sono rilasciati per supportare la comunità di ricerca.