Investigating the performance of novel class discovery (NCD) approach for semantic segmentation on realworld SLAM LiDAR point cloud data

Nel mondo moderno della cartografia, una tecnologia chiamata LiDAR è diventata uno strumento potente per vedere la forma tridimensionale del nostro ambiente. Emettendo rapidi impulsi di luce e misurando quanto tempo impiegano per rimbalzare, questi sensori creano vaste nuvole composte da milioni di singoli punti, ognuno dei quali rappresenta un punto specifico su un edificio, un albero o il terreno. Sebbene questi dati siano incredibilmente dettagliati, interpretarli automaticamente è un compito difficile. I computer sono spesso addestrati per riconoscere solo gli oggetti che sono già stati mostrati loro in precedenza, come strade, case o alberi. Se il computer incontra qualcosa di nuovo, come un tipo unico di recinzione o un cumulo di detriti da costruzione, spesso forza quell'oggetto in una delle sue categorie note, anche se l'adattamento è scarso. Questa limitazione significa che, in ambienti reali complessi, le mappe automatizzate possono perdere dettagli importanti o identificarli erroneamente. Per risolvere questo problema, i ricercatori stanno esplorando un metodo chiamato "scoperta di nuove classi" (novel class discovery), che mira a insegnare ai computer non solo a riconoscere ciò che già conoscono, ma anche a notare quando appare qualcosa di nuovo e raggruppare queste nuove entità autonomamente.

Un team di ricercatori dell'Universitas Gadjah Mada in Indonesia si è proposto di testare questa idea utilizzando dati catturati da un dispositivo portatile che si muove in un ambiente esterno. A differenza degli scanner stazionari, questo dispositivo, noto come sistema LiDAR SLAM, permette a una persona di camminare attraverso un campus mentre il sensore mappa contemporaneamente l'area e traccia la propria posizione. Ciò crea un registro continuo e fluido del mondo, ma introduce anche sfide come la variazione della densità dei punti e lievi errori di posizione che non si verificano in contesti di laboratorio controllati. I ricercatori si sono concentrati su un'area specifica del campus universitario, coprendo circa diciotto ettari, che conteneva un mix di edifici, vegetazione e superfici pavimentate. Hanno percorso quindici percorsi diversi in quest'area, raccogliendo una enorme quantità di dati grezzi di nuvole di punti che rappresentavano la complessità del mondo reale di uno spazio esterno.

Il primo passo nel loro lavoro è stato pulire questi dati grezzi e insegnare a un modello computazionale a riconoscere le tre cose principali che gli interessavano: il terreno, la vegetazione e gli edifici. Hanno etichettato manualmente una parte dei dati per fungere da guida, mostrando al computer come apparivano queste tre categorie. Una volta addestrato, il modello è stato testato nella sua capacità di identificare questi oggetti noti attraverso l'intero dataset. I risultati sono stati incoraggianti per il terreno, che il modello ha identificato con un'accuratezza molto elevata. Anche la vegetazione è stata riconosciuta bene, sebbene i bordi dove gli alberi incontravano gli edifici causassero talvolta confusione. Gli edifici si sono rivelati i più difficili, probabilmente perché le loro forme variano ampiamente e lo scanner portatile a volte ha mancato parti di pareti o tetti a causa dell'angolo di percorrenza. Nonostante queste imperfezioni, il modello è riuscito con successo a distinguere le tre categorie principali attraverso il terreno complesso.

Il vero banco di prova, tuttavia, è stato ciò che è accaduto successivamente. I ricercatori hanno chiesto al modello di esaminare i punti su cui non era sicuro e di trattarli come "sconosciuti". Invece di forzare questi punti incerti nelle categorie di terreno, vegetazione o edificio, il sistema è stato progettato per raggrupparli in nuovi cluster separati. Questo è il cuore dell'approccio della scoperta di nuove classi: lasciare che il computer trovi i propri gruppi per le cose che non comprende. Il modello ha identificato una piccola percentuale del totale dei punti come sconosciuti, circa il nove percento dei dati. Ha poi smistato questi punti sconosciuti in tre nuovi gruppi. Quando i ricercatori hanno esaminato cosa contenessero questi nuovi gruppi, hanno riscontrato un mix di successi e limitazioni. Uno dei nuovi gruppi ha isolato con successo alcuni oggetti distinti, come pali della luce e cavi, che erano effettivamente diversi dalle categorie principali.

Tuttavia, lo studio ha rivelato che questo metodo non è ancora perfetto per i dati esterni del mondo reale. Una parte significativa dei punti inseriti in questi nuovi gruppi "sconosciuti" apparteneva in realtà alle categorie note. Ad esempio, frammenti di edifici o parti di alberi di cui il modello non era sicuro sono stati erroneamente raggruppati con i nuovi oggetti. Ciò è accaduto perché il modello iniziale non era abbastanza sicuro nelle proprie previsioni, causando l'errata etichettatura di parti di oggetti noti come nuove scoperte. I ricercatori hanno scoperto che la qualità di questi nuovi gruppi dipendeva fortemente da quanto bene il modello comprendesse le tre categorie originali. Se il modello faticava con un edificio specifico o un cespuglio denso, questi errori si ripercuotevano nel sistema, creando nuovi gruppi disordinati che non erano veri nuovi oggetti, ma piuttosto pezzi confusi di vecchi oggetti.

Lo studio ha anche evidenziato come la natura fisica dei dati abbia influenzato i risultati. Poiché il sensore era in movimento, la densità dei punti cambiava a seconda di quanto velocemente l'operatore camminasse o di quanto fosse vicino a un oggetto. Nelle aree in cui i punti erano scarsi o rumorosi, il modello trovava più difficile distinguere tra un oggetto noto e uno nuovo. Inoltre, i ricercatori hanno dovuto decidere un numero fisso di nuovi gruppi da cercare, e questa scelta rigida ha talvolta costretto oggetti non correlati nello stesso contenitore o ha diviso un singolo tipo di oggetto in più gruppi. Senza una guida di riferimento perfetta su cosa dovessero essere questi nuovi oggetti, i ricercatori si sono affidati all'ispezione visiva per giudicare i risultati, confermando che, sebbene il sistema potesse trovare nuovi pattern, tali pattern erano spesso instabili e mescolati con errori provenienti dalle classi note.

In definitiva, la ricerca dimostra che, sebbene il concetto di scoperta di nuove classi sia molto promettente per la mappatura del mondo reale, esso affronta ostacoli significativi quando applicato a dati catturati da sensori in movimento in ambienti complessi. Il sistema può identificare che qualcosa è diverso, ma fatica a separare nettamente quella differenza dal rumore e dall'incertezza dei dati stessi. Il successo nel trovare nuove classi è profondamente legato all'accuratezza del riconoscimento iniziale degli oggetti noti. Se il computer non è sicuro di un edificio, non può essere sicuro che un palo nelle vicinanze sia qualcosa di nuovo. Gli autori concludono che, affinché questa tecnologia diventi affidabile per l'uso nel mondo reale, i modelli sottostanti devono essere più robusti, i metodi per individuare gli oggetti sconosciuti devono essere più flessibili e la valutazione di questi nuovi gruppi deve essere più sistematica. La strada da seguire consiste nel perfezionare il modo in cui questi sistemi apprendono dai dati disordinati e imperfetti del mondo reale, assicurando che, quando scoprono qualcosa di nuovo, stiano realmente vedendo qualcosa di nuovo e non solo un errore.