RangeSAM: On the Potential of Visual Foundation Models for Range-View represented LiDAR segmentation

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover insegnare a un'auto a guida autonoma a "vedere" il mondo non con gli occhi umani (che vedono foto colorate), ma con un sonar laser (il LiDAR). Questo laser spara milioni di puntini invisibili nell'aria per creare una mappa 3D della strada. Il problema? Questi puntini sono disordinati, come una nuvola di polvere, e per un computer è molto difficile capire dove finisce un'auto e dove inizia un albero.

Il Problema: La "Cucina" troppo complessa

Fino a poco tempo fa, i ricercatori cercavano di analizzare questi puntini uno per uno o in piccoli cubi (voxel). È come se un cuoco volesse preparare una cena per 100 persone tagliando ogni singolo chicco di riso a mano: funziona, ma è lentissimo, costa tantissimo e il computer si surriscalda.

La Soluzione: Trasformare il caos in un "Panorama"

Gli autori di questo paper hanno pensato: "E se invece di guardare i puntini singolarmente, li trasformassimo in una foto piatta, come un panorama?"
Hanno preso i puntini 3D e li hanno proiettati su un foglio 2D (chiamato Range View). Ora, invece di una nuvola di punti, abbiamo un'immagine che assomiglia a una mappa panoramica. Questo permette di usare le tecniche di intelligenza artificiale che già funzionano benissimo per le foto normali (come quelle dei social network).

La Star: SAM2 (Il "Coltellino Svizzero" della visione)

Qui entra in gioco il vero protagonista: SAM2 (Segment Anything Model 2).
Immagina SAM2 come un super-esperto di ritagli che ha visto milioni di foto su internet. Se gli mostri un'immagine, sa esattamente dove finisce un cane e inizia l'erba, anche se non gli hai mai detto che si tratta di un cane (sa farlo "a zero-shot", cioè senza addestramento specifico).

Il paper si chiede: "Possiamo usare questo super-esperto, nato per le foto normali, per leggere le nostre mappe panoramiche del laser?"

RangeSAM: L'Adattamento Geniale

La risposta è RangeSAM. Ma non è stato semplice incollare il modello. È stato come adattare un abito da sera a un corpo che ha bisogno di un'armatura da battaglia. Hanno dovuto fare tre modifiche importanti al "cervello" del modello:

L'Obiettivo Orizzontale (Stem Module): Le mappe del laser hanno una struttura particolare: sono molto lunghe orizzontalmente (come un panorama) ma corte verticalmente. Hanno modificato l'ingresso del modello per prestare molta più attenzione a ciò che succede "da sinistra a destra", proprio come un fotografo che inquadra un orizzonte infinito.
Gli Occhi Speciali (Attention Window): I modelli normali guardano l'immagine a quadrati (come una griglia). Ma qui, i quadrati non funzionano bene perché la distorsione è diversa. Hanno creato finestre di visione allungate orizzontalmente (come occhiali da sole a forma di striscia) per seguire meglio le curve della strada e degli edifici.
Il Motore Potente (Hiera Blocks): Hanno usato un motore specifico (Hiera) che è veloce ed efficiente, perfetto per gestire la geometria strana di queste proiezioni.

I Risultati: Veloce e Preciso

Il risultato è un sistema che:

È veloce: Non deve calcolare milioni di puntini singolarmente, ma "legge" l'immagine panoramica velocemente.
È preciso: Riusce a distinguere auto, pedoni, segnali stradali e alberi con una precisione che compete con i metodi più complessi e lenti.
È semplice: Sfrutta tutto il lavoro fatto finora per le immagini 2D, invece di reinventare la ruota per il 3D.

In Sintesi

Pensa a RangeSAM come a un traduttore universale. Prende il linguaggio confuso e disordinato del laser 3D, lo traduce in una "foto panoramica" che un'intelligenza artificiale esperta (SAM2) può capire perfettamente, e poi la traduce di nuovo indietro per dire all'auto: "Ehi, lì c'è un pedone, frenare!".

È un passo importante perché dimostra che non serve sempre costruire macchine enormi e complesse per il 3D; a volte, basta guardare il mondo da una prospettiva diversa e usare gli strumenti giusti.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

La segmentazione delle nuvole di punti LiDAR è fondamentale per la guida autonoma e la comprensione delle scene 3D. Attualmente, la ricerca è dominata da metodi basati su voxel e punti, che offrono ottime prestazioni ma presentano svantaggi significativi:

Costo computazionale elevato: Richiedono molta memoria e potenza di calcolo.
Accesso irregolare alla memoria: La natura non strutturata delle nuvole di punti rende difficile l'ottimizzazione hardware.
Efficienza limitata: Difficoltà di scalabilità su grandi dataset outdoor.

Al contrario, i metodi basati sulla vista di portata (Range-View) proiettano le nuvole di punti 3D in rappresentazioni 2D dense, permettendo di riutilizzare tecniche mature di segmentazione semantica 2D. Tuttavia, questo approccio è stato finora sottoutilizzato a causa di sfide legate alle occlusioni e alla perdita di risoluzione. Il paper si pone l'obiettivo di colmare il divario tra i modelli fondazionali visivi (VFM) avanzati e la segmentazione LiDAR in vista di portata.

2. Metodologia: RangeSAM

Gli autori propongono RangeSAM, il primo framework che adatta il modello SAM2 (Segment Anything Model 2), uno stato dell'arte per la segmentazione visiva, alla segmentazione di nuvole di punti LiDAR in vista di portata.

La pipeline si articola in quattro fasi principali:

A. Preprocessing: Proiezione di Portata

Ogni scansione LiDAR (insieme di punti non ordinati) viene trasformata in un'immagine 2D proiettando i punti sul sistema di coordinate sferiche del sensore.

I punti sono discretizzati in un'immagine cilindrica di risoluzione 64x2048 pixel.
Se più punti proiettano sullo stesso pixel, viene mantenuto quello con la distanza minima (range).
I pixel non coperti vengono riempiti con zero.

B. Architettura del Modello

RangeSAM adotta una struttura simile a SAM2-UNet, ma con modifiche critiche per adattarsi alla natura delle immagini di portata LiDAR:

Stem Module: Trasforma l'input da $(B, 6, H, W)$ a $(B, 96, H, W)$ tramite trasformazioni lineari, normalizzazione di livello (LayerNorm) e attivazione GELU. Sostituisce l'embedding posizionale standard di SAM2 con una nuova matrice di embedding (4, 128) per migliorare la sensibilità alle dipendenze spaziali orizzontali, tipiche delle immagini di portata.
Encoder (Basato su Hiera): Utilizza il backbone pre-addestrato Hiera (una variante di ViT).
- Modifiche agli Hiera Blocks: I blocchi sono configurati per le proprietà geometriche delle proiezioni sferiche.
- Meccanismo di Attenzione Asimmetrico: A differenza delle finestre quadrate standard, RangeSAM utilizza finestre di attenzione asimmetriche e allungate orizzontalmente (es. 8x64 o 16x128). Questo è cruciale per catturare le strutture orizzontali continue e le discontinuità tipiche dei dati LiDAR proiettati.
- L'attenzione è locale (finestrata) nelle fasi iniziali e globale nelle fasi successive per catturare dipendenze a lungo raggio.
Decoder: Utilizza blocchi Receptive Field (RFB) per la decodifica delle feature.
- Sostituisce BatchNorm e ReLU con LayerNorm e GELU per una migliore compatibilità con le architetture Transformer.
  Concatena le feature multiscala e le proietta sulle classi target, includendo anche teste di classificazione ausiliarie (Aux) per migliorare il flusso del gradiente.

C. Post-processing e Loss

Propagazione delle etichette: Per valutare su dataset come SemanticKITTI, le etichette vengono propagate dalla griglia 2D alla nuvola di punti originale completa tramite interpolazione k-NN (con $k=7$ ) e votazione a maggioranza.
Funzione di Loss Composita: Adotta una combinazione di quattro termini per bilanciare le classi e migliorare i bordi:
- Cross-Entropy pesata ( $L_{WCE}$ )
- Loss Dice ( $L_{Dice}$ )
- Loss di confine ( $L_{Boundary}$ )
- Loss Jaccard/IoU ( $L_{IoU}$ )

3. Contributi Chiave

Primo Framework Range-View con VFM: RangeSAM è il primo sistema che adatta SAM2 per la segmentazione LiDAR tramite rappresentazioni in vista di portata.
Architettura Ibrida Personalizzata: Progettazione di un encoder multi-componente che combina un backbone Hiera pre-addestrato, un nuovo modulo Stem, una matrice di embedding personalizzata e finestre di attenzione asimmetriche ottimizzate per la geometria LiDAR.
Validazione Sperimentale: Dimostrazione di prestazioni competitive su SemanticKITTI, validando la fattibilità dei VFM come backbone generici per la segmentazione di nuvole di punti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente sul dataset SemanticKITTI.

Prestazioni Generali: Il modello raggiunge un mIoU (mean Intersection over Union) del 60,9% sulla sequenza di validazione. Sebbene inferiore ai metodi SOTA puramente basati su Transformer (es. RangeFormer che arriva al 73,3%), RangeSAM dimostra che i VFM possono essere adattati con successo a questo dominio.
Analisi per Classe:
- Alta IoU (80-90%): Classi frequenti e grandi come auto, strade, edifici e vegetazione competono direttamente con lo stato dell'arte.
- Media IoU (60-70%): Classi come camion, recinzioni e terreno rimangono competitive.
- Bassa IoU (29-47%): Oggetti rari e piccoli (moto, biciclette, pedoni) sono più difficili, un limite comune anche ad altri approcci moderni.
Efficienza e Scalabilità: L'uso del backbone SAM2-tiny (63M parametri) offre un ottimo compromesso tra prestazioni e costo computazionale, superando varianti più grandi di SAM2 che non portavano a guadagni significativi.
Ablation Study:
- L'uso di augmentations specifiche per la vista di portata (come mixing e copy-paste) ha migliorato le prestazioni di circa il 10%.
- Il transfer learning da dataset 2D (Cityscapes) ha invece peggiorato le prestazioni, suggerendo un mismatch di dominio tra immagini RGB e immagini di portata LiDAR quando si parte da pesi pre-addestrati su immagini 2D. L'addestramento diretto su dati LiDAR (o multi-dataset 3D) è preferibile.

5. Significato e Conclusioni

Il lavoro di RangeSAM è significativo per diversi motivi:

Viabilità dei VFM: Dimostra che i Visual Foundation Models, progettati per immagini 2D, possono essere adattati efficacemente alla segmentazione 3D LiDAR con modifiche architetturali mirate (in particolare sulle finestre di attenzione).
Efficienza Operativa: Sfrutta la maturità delle pipeline 2D, offrendo potenzialmente velocità di inferenza e semplicità di deployment superiori rispetto ai metodi basati su voxel/punti.
Direzione Futura: Apre la strada verso una segmentazione LiDAR guidata da modelli fondazionali unificati.

Limitazioni e Lavoro Futuro:
La principale limitazione attuale è la complessità computazionale introdotta dai blocchi RFB nel decoder, che impedisce ancora il deployment in tempo reale. Il lavoro futuro si concentrerà sull'ottimizzazione di questi componenti per ridurre il collo di bottiglia computazionale, mantenendo le prestazioni elevate.