Investigating the performance of novel class discovery (NCD) approach for semantic segmentation on realworld SLAM LiDAR point cloud data

In de moderne wereld van cartografie is een technologie genaamd LiDAR een krachtig hulpmiddel geworden om de driedimensionale vorm van onze omgeving te zien. Door razendsnelle lichtpulsen af te vuren en te meten hoe lang het duurt voordat ze terugkaatsen, creëren deze sensoren enorme wolken van miljoenen individuele punten, die elk een specifieke plek op een gebouw, een boom of de grond vertegenwoordigen. Hoewel deze data ongelooflijk gedetailleerd is, is het automatisch begrijpelijk maken ervan een moeilijke taak. Computers worden vaak getraind om alleen de objecten te herkennen die ze eerder hebben gezien, zoals wegen, huizen of bomen. Als de computer iets nieuws tegenkomt, zoals een uniek type hek of een stapel bouwafval, dwingt hij dat object vaak in een van zijn bekende categorieën, zelfs als de match slecht is. Deze beperking betekent dat geautomatiseerde kaarten in complexe, echte omgevingen belangrijke details kunnen missen of ze volledig verkeerd kunnen identificeren. Om dit op te lossen, onderzoeken onderzoekers een methie genaamd 'novel class discovery', die erop gericht is computers niet alleen te leren wat ze al weten te herkennen, maar ook te laten merken wanneer er iets nieuws verschijnt en die nieuwe dingen op hun eigen manier bij elkaar te groeperen.

Een team van onderzoekers aan de Universitas Gadjah Mada in Indonesië zette zich met dit idee om de hoogte in met behulp van data die is vastgelegd door een handheld apparaat dat door een buitenomgeving beweegt. In tegenstelling tot stationaire scanners, stelt dit apparaat, bekend als een SLAM LiDAR-systeem, een persoon in staat om over een campus te lopen terwijl de sensor tegelijkertijd het gebied in kaart brengt en de eigen positie bijhoudt. Dit creëert een continu, stromend verslag van de wereld, maar het introduceert ook uitdagingen zoals verschuivende puntendichtheden en kleine fouten in de positie die niet voorkomen in gecontroleerde laboratoriuminstellingen. De onderzoekers concentreerden zich op een specifiek gebied van de universiteitscampus, dat ongeveer achttien hectare beslaat en een mix bevat van gebouwen, vegetatie en verharde oppervlakken. Ze liepen vijftien verschillende paden door dit gebied en verzamelden een enorme hoeveelheid ruwe puntenwolkdata die de werkelijke complexiteit van een buitenruimte vertegenwoordigde.

De eerste stap in hun werk was het opschonen van deze ruwe data en het trainen van een computermodel om de drie belangrijkste zaken te herkennen waar zij belang aan hechtten: de grond, vegetatie en gebouwen. Ze labelden handmatig een deel van de data om als gids te dienen, waarbij ze de computer lieten zien hoe deze drie categorieën eruit zagen. Zodra het model getraind was, testten ze het vermogen om deze bekende objecten over de gehele dataset te identificeren. De resultaten waren bemoedigend voor de grond, die het model met een zeer hoge nauwkeurigheid identificeerde. Vegetatie werd ook goed herkend, hoewel de randen waar bomen en gebouwen elkaar ontmoetten soms voor verwarring zorgden. Gebouwen bleken het moeilijkst, waarschijnlijk omdat hun vormen sterk variëren en de handheld scanner soms delen van muren of daken miste door de hoek van het lopen. Ondanks deze imperfecties slaagde het model erin om onderscheid te maken tussen de drie hoofdcategorieën in het complexe terrein.

De echte test was echter wat er daarna gebeurde. De onderzoekers vroegen het model om naar de punten te kijken waar het niet zeker over was en deze als "onbekend" te behandelen. In plaats van deze onzekere punten in de categorieën grond, vegetatie of gebouw te dwingen, was het systeem ontworpen om ze in nieuwe, aparte clusters te groeperen. Dit is de kern van de novel class discovery-aanpak: de computer laten zoeken naar zijn eigen groepen voor dingen die hij niet begrijpt. Het model identificeerde een klein percentage van de totale punten als onbekend, ongeveer negen procent van de data. Het sorteerde deze onbekende punten vervolgens in drie nieuwe groepen. Wanneer de onderzoekers keken naar wat deze nieuwe groepen daadwerkelijk bevatten, zagen ze een mix van succes en beperkingen. Eén van de nieuwe groepen slaagde er wel in om enkele duidelijke objecten te isoleren, zoals nutspalen en kabels, die inderdaad anders waren dan de hoofdcategorieën.

Echter, de studie toonde aan dat deze methode nog niet perfect is voor data uit de echte buitenwereld. Een aanzienlijk deel van de punten die in deze nieuwe "onbekende" groepen zijn geplaatst, behoorde eigenlijk tot de bekende categorieën. Bijvoorbeeld, fragmenten van gebouwen of delen van bomen waar het model niet zeker over was, werden onterecht gegroepeerd met de nieuwe objecten. Dit gebeurde omdat het oorspronkelijke model niet genoeg vertrouwen had in zijn eigen voorspellingen, waardoor het delen van bekende objecten als nieuwe ontdekkingen bestempelde. De onderzoekers ontdekten dat de kwaliteit van deze nieuwe groepen sterk afhing van hoe goed het model de oorspronkelijke drie categorieën begreep. Als het model moeite had met een specifiek gebouw of een dicht struikgewas, sijpelden deze fouten door het systeem en creëerden ze rommelige nieuwe groepen die niet echt nieuwe objecten waren, maar eerder verwarde stukjes van oude objecten.

De studie benadrukte ook hoe de fysieke aard van de data de resultaten beïnvloedde. Omdat de sensor bewoog, veranderde de dichtheid van de punten afhankelijk van hoe snel de operator liep of hoe dicht hij bij een object was. In gebieden waar de punten schaars of ruizig waren, vond het model het moeilijker om het verschil te zien tussen een bekend object en een nieuw object. Bovendien moesten de onderzoekers beslissen op een vast aantal nieuwe groepen waar naar gezocht moest worden, en deze rigide keuze dwong soms ongerelateerde objecten in dezelfde bak of splitste één type object op in meerdere groepen. Zonder een perfecte referentiegids voor wat deze nieuwe objecten precies waren, vertrouwden de onderzoekers op visuele inspectie om de resultaten te beoordelen, waarbij zij bevestigden dat hoewel het systeem nieuwe patronen kon vinden, die patronen vaak instabiel waren en gemengd waren met fouten uit de bekende klassen.

Uiteindelijk laat het onderzoek zien dat hoewel het concept van novel class discovery grote belofte inhoudt voor het in kaart brengen van de echte wereld, het aanzienlijke hindernissen ondervindt bij de toepassing op data die is verzameld door bewegende sensoren in complexe omgevingen. Het systeem kan identificeren dat iets anders is, maar het worstelt om dat verschil te scheiden van de ruis en onzekerheid van de data zelf. Het succes van het vinden van nieuwe klassen is diep verbonden met de nauwkeurigheid van de initiële herkenning van bekende objecten. Als de computer niet zeker is over een gebouw, kan hij niet zeker zijn dat een nabijgelegen paal iets nieuws is. De auteurs concluderen dat voor deze technologie betrouwbaar te worden voor gebruik in de echte wereld, de onderliggende modellen robuuster moeten zijn, de methoden voor het opsporen van onbekende objecten flexibeler moeten zijn en de evaluatie van deze nieuwe groepen systematischer moet worden. De weg vooruit ligt in het verfijnen van hoe deze systemen leren van de rommelige, imperfecte data van de echte wereld, zodat ze wanneer ze iets nieuws ontdekken, ook echt iets nieuws zien en niet slechts een fout maken.