Investigating the performance of novel class discovery (NCD) approach for semantic segmentation on realworld SLAM LiDAR point cloud data

In der modernen Welt der Kartierung ist eine Technologie namens LiDAR zu einem leistungsstarken Werkzeug geworden, um die dreidimensionale Gestalt unserer Umgebung zu erfassen. Durch das Aussenden schneller Lichtimpulse und das Messen, wie lange diese benötigen, um zurückzuprallen, erzeugen diese Sensoren riesige Punktwolken aus Millionen einzelner Punkte, wobei jeder Punkt eine spezifische Stelle an einem Gebäude, einem Baum oder dem Boden repräsentiert. Obwohl diese Daten unglaublich detailliert sind, ist es eine schwierige Aufgabe, sie automatisch interpretierbar zu machen. Computer werden oft darauf trainiert, nur Objekte zu erkennen, die ihnen zuvor gezeigt wurden, wie etwa Straßen, Häuser oder Bäume. Wenn der Computer auf etwas Neues stößt, wie zum Beispiel einen einzigartigen Zauntyp oder einen Haufen Bauschutt, erzwingt er oft, dass dieses Objekt einer seiner bekannten Kategorien zugeordnet wird, selbst wenn die Übereinstimmung schlecht ist. Diese Einschränkung bedeutet, dass automatisierte Karten in komplexen, realen Umgebungen wichtige Details übersehen oder sie völlig falsch identifizieren können. Um dies zu lösen, erforschen Forscher eine Methode namens „Novel Class Discovery“ (Entdeckung neuer Klassen), die darauf abzielt, Computern nicht nur beizubringen, das zu erkennen, was sie bereits kennen, sondern auch zu bemerken, wenn etwas Neues erscheint, und diese neuen Dinge eigenständig zu gruppieren.

Ein Team von Forschern der Universitas Gadjah Mada in Indonesien unternahm den Versuch, diese Idee anhand von Daten zu testen, die mit einem Handgerät aufgenommen wurden, das sich durch eine Außenumgebung bewegt. Im Gegensatz zu stationären Scannern ermöglicht dieses Gerät, bekannt als SLAM-LiDAR-System, einer Person, durch einen Campus zu laufen, während der Sensor gleichzeitig das Gebiet kartiert und die eigene Position verfolgt. Dies erzeugt ein kontinuierliches, fließendes Abbild der Welt, führt aber auch Herausforderungen wie schwankende Punktdichten und leichte Positionsfehler ein, die in kontrollierten Laborumgebungen nicht auftreten. Die Forscher konzentrierten sich auf ein spezifisches Gebiet des Universitätscampus, das etwa achtzehn Hektar umfasst und eine Mischung aus Gebäuden, Vegetation und befestigten Flächen enthielt. Sie gingen fünfzehn verschiedene Wege durch dieses Gebiet und sammelten eine enorme Menge an Rohdaten der Punktwolke, die die reale Komplexität eines Außenraums darstellten.

Der erste Schritt ihrer Arbeit bestand darin, diese Rohdaten zu bereinigen und einem Computermodell beizubringen, die drei Hauptdinge zu erkennen, die sie interessierten: den Boden, die Vegetation und die Gebäude. Sie beschrifteten einen Teil der Daten manuell, um als Leitfaden zu dienen und dem Computer zu zeigen, wie diese drei Kategorien aussah. Sobald das Modell trainiert war, testeten sie seine Fähigkeit, diese bekannten Objekte über den gesamten Datensatz hinweg zu identifizieren. Die Ergebnisse waren ermutigend für den Boden, den das Modell mit sehr hoher Genauigkeit identifizierte. Auch die Vegetation wurde gut erkannt, obwohl die Kanten, an denen Bäume auf Gebäude trafen, gelegentlich für Verwirrung sorgten. Gebäude erwiesen sich als am schwierigsten, was wahrscheinlich daran lag, dass ihre Formen stark variieren und der Handscanner aufgrund des Winkels des Gehens manchmal Teile von Wänden oder Dächern übersah. Trotz dieser Unvollkommenheiten lernte das Modell erfolgreich, zwischen den drei Hauptkategorien in dem komplexen Gelände zu unterscheiden.

Der wahre Test kam jedoch erst danach. Die Forscher baten das Modell, die Punkte, bei denen es sich unsicher war, als „unbekannt“ zu behandeln. Anstatt diese unsicheren Punkte in die Kategorien Boden, Vegetation oder Gebäude zu pressen, wurde das System so konzipiert, dass es sie in neue, separate Cluster gruppiert. Dies ist der Kern des Novel-Class-Discovery-Ansatzes: dem Computer zu erlauben, seine eigenen Gruppen für Dinge zu finden, die er nicht versteht. Das Modell identifizierte einen kleinen Prozentsatz der Gesamtpunkte als unbekannt, etwa neun Prozent der Daten. Es sortierte diese unbekannten Punkte anschließend in drei neue Gruppen. Als die Forscher untersuchten, was diese neuen Gruppen tatsächlich enthielten, fanden sie eine Mischung aus Erfolg und Einschränkung. Eine der neuen Gruppen isolierte erfolgreich einige markante Objekte, wie etwa Versorgungsmasten und Kabel, die in der Tat anders als die Hauptkategorien waren.

Dennoch zeigte die Studie, dass diese Methode für reale Außendaten noch nicht perfekt ist. Ein erheblicher Teil der Punkte, die in diese neuen „unbekannten“ Gruppen eingeordnet wurden, gehörte tatsächlich zu den bekannten Kategorien. Beispielsweise wurden Fragmente von Gebäuden oder Teile von Bäumen, bei denen sich das Modell unsicher war, fälschlicherweise mit den neuen Objekten gruppiert. Dies geschah, weil das ursprüngliche Modell nicht vertrauenswürdig genug in seinen eigenen Vorhersagen war, was dazu führte, dass Teile bekannter Objekte als Neuentdeckungen fehlinterpretiert wurden. Die Forscher stellten fest, dass die Qualität dieser neuen Gruppen stark davon abhing, wie gut das Modell die ursprünglichen drei Kategorien verstand. Wenn das Modell mit einem bestimmten Gebäude oder einem dichten Gebüsch zu kämpfen hatte, pflanzten sich diese Fehler durch das System fort und erzeugten unordentliche neue Gruppen, die keine echten neuen Objekte waren, sondern vielmehr verwirrte Teile alter Objekte.

Die Studie hob auch hervor, wie die physische Natur der Daten die Ergebnisse beeinflusste. Da der Sensor in Bewegung war, änderte sich die Punktdichte je nachdem, wie schnell der Bediener ging oder wie nah er einem Objekt war. In Bereichen, in denen die Punkte spärlich oder verrauscht waren, fiel es dem Modell schwerer, zwischen einem bekannten Objekt und einem neuen Objekt zu unterscheiden. Darüber hinaus mussten die Forscher sich auf eine feste Anzahl neuer Gruppen festlegen, die gesucht werden sollten, und diese starre Entscheidung zwang manchmal unzusammenhängende Objekte in denselben „Eimer“ oder teilte einen einzelnen Objekttyp in mehrere Gruppen auf. Ohend ohne einen perfekten Referenzleitfaden dafür, was diese neuen Objekte sein sollten, verließen sich die Forscher auf visuelle Inspektionen, um die Ergebnisse zu beurteilen, wobei sie bestätigten, dass das System zwar neue Muster finden konnte, diese Muster jedoch oft instabil waren und mit Fehlern aus den bekannten Klassen vermischt waren.

Letztendlich zeigt die Forschung, dass das Konzept der Novel Class Discovery zwar großes Potenzial für die Kartierung der realen Welt besitzt, aber vor erheblichen Hürden steht, wenn es auf Daten angewendet wird, die von beweglichen Sensoren in komplexen Umgebungen erfasst wurden. Das System kann zwar identifizieren, dass etwas anders ist, aber es ringt damit, diesen Unterschied sauber von den Rauschwerten und der Unsicherheit der Daten selbst zu trennen. Der Erfolg beim Finden neuer Klassen ist eng mit der Genauigkeit der ursprünglichen Erkennung bekannter Objekte verknüpft. Wenn sich der Computer bei einem Gebäude nicht sicher ist, kann er auch nicht sicher sein, ob ein nahegelegener Mast etwas Neues ist. Die Autoren kommen zu dem Schluss, dass für den zuverlässigen Einsatz dieser Technologie die zugrunde liegenden Modelle robuster, die Methoden zur Identifizierung unbekannter Objekte flexibler und die Bewertung dieser neuen Gruppen systematischer sein müssen. Der Weg nach vorn besteht darin, zu verfeinern, wie diese Systeme aus den unordentlichen, unvollkommenen Daten der realen Welt lernen, um sicherzustellen, dass sie, wenn sie etwas Neues entdecken, wirklich etwas Neues sehen und nicht bloß einen Fehler.