GhostPoint: Self-Supervised Representation Learning by Hallucinating Occluded LiDAR Structure
GhostPoint ist ein Self-Supervised-Learning-Framework, das die 3D-Objekterkennung aus LiDAR-Punktwolken durch das Halluzinieren latenter Merkmale in okkludierten Regionen mittels Instanz-Voxel-Dilatation verbessert, wodurch es die sichtbare Oberflächenverzerrung bestehender Methoden überwindet und eine State-of-the-Art-Leistung erzielt, insbesondere bei spärlichen Scans und Szenarien mit geringer Label-Verfügbarkeit.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu sehen, aber Sie haben ihm eine Brille gegeben, die ihm nur die glänzenden, reflektierenden Oberflächen von Dingen zeigt. Wenn ein Auto vorbeifährt, sieht der Roboter die vordere Stoßstange und die Seitentür, aber das Heck des Autos ist hinter einem Baum verborgen. In der Welt des autonomen Fahrens ist dies ein riesiges Problem. Roboter verlassen sich auf 3D-Sensoren namens LiDAR, die Laserstrahlen aussenden, um die Umgebung abzubilden. Aber Laser prallen von dem ab, was sie treffen; sie können nicht durch Wände sehen oder um Ecken blicken. Dies hinterlässt „Geister“ in den Daten – leere Räume, in denen ein Auto eigentlich sein sollte, wo der Sensor aber nichts sieht.
Lange Zeit haben Wissenschaftler versucht, diese Roboter mittels „selbstüberwachtem Lernen“ (self-supervised learning) zu trainieren. Betrachten Sie dies als ein Spiel des „Lückenausfüllens“, bei dem der Roboter lernt, indem er Millionen von unbeschrifteten Laserscans betrachtet und versucht, Muster zu erkennen, ohne dass ein Lehrer ihm die Antworten verrät. Das funktioniert hervorragend für Aufgaben wie das Labeln jedes einzelnen Punktes als „Straße“ oder „Gras“. Aber wenn es darum geht, ganze Objekte zu finden – also zu erkennen, dass dort ein Auto ist, selbst wenn die Hälfte davon verborgen ist –, hatten die Roboter Schwierigkeiten. Sie bleiben dabei stecken, sich nur auf die Teile zu konzentrieren, die sie tatsächlich sehen können, und übersehen dabei das große Ganze der wahren Form und Position des Objekts. Dieses Paper mit dem Titel „GhostPoint“ versucht, genau diesen blinden Fleck zu beheben, indem es den Roboter lehrt, sich die unsichtbaren Teile der Welt vorzustellen.
Der Kernaspekt dieser Forschung ist, dass aktuelle Lernmethoden zu sehr von den „sichtbaren“ Daten besessen sind. Wenn man einen Roboter nur auf den Teilen eines Autos trainiert, die der Laser trifft, lernt er, dass ein Auto nur eine Ansammlung schwebender Punkte an der Vorderseite und der Seite ist. Er versteht nicht, dass das Auto ein solides, kontinuierliches Objekt ist, das sich in den leeren Raum hinter dem Baum erstreckt. Die Autoren fanden heraus, dass dieser „Visible-Surface Bias“ (Sichtbarkeitsflächen-Bias) der Grund dafür ist, warum Roboter zwar gut darin sind, einzelne Punkte zu entdecken, aber schlecht darin, ganze Objekte zu erkennen, insbesondere wenn diese teilweise verdeckt sind.
Um dies zu beheben, stellte das Team ein neues Framework namens GhostPoint vor. Stellen Sie sich vor, Sie betrachten eine Skulptur durch ein beschlagenes Fenster. Sie können die Vorderseite sehen, aber die Rückseite bleibt ein Rätsel. Anstatt nur auf den Nebel zu starren, lehrt GhostPoint den Roboter, den Rest der Skulptur zu „halluzinieren“. Dies geschieht, indem das System die Teile des Objekts nimmt, die es tatsächlich sieht, und ein „Nachbarschaftsverhältnis“ um sie herum imaginiert – eine Zone, die den verborgenen, leeren Raum einschließt, in dem der Rest des Objekts wahrscheinlich existiert.
So geschieht die Magie: Das System nimmt einen Laserscan und verbirgt absichtlich einige der sichtbaren Punkte (als würde man dem Roboter für einen kurzen Moment die Augen verbinden). Dann wird der Roboter gefragt, wie diese verborgenen Punkte basierend auf dem umgebenden Kontext aussehen würden. Aber hier kommt der Clou: GhostPoint hört hier nicht auf. Es betrachtet auch die leeren „No-Return“-Räume neben dem Objekt (den nebligen Bereich hinter dem Baum) und fragt den Roboter, was diese Stellen enthalten sollten. Es erschafft einen „Lehrer-Roboter“, der das vollständige, unmaskierte Bild kennt, und einen „Schüler-Roboter“, der die fehlenden Teile erraten muss. Der Schüler wird nicht nur dafür belohnt, die verborgenen Teile des sichtbaren Objekts zu erraten, sondern auch dafür, die unsichtbaren Teile des Objekts korrekt zu imaginieren, die der Laser nie berührt hat.
Die Ergebnisse dieses Ansatzes sind äußerst vielversprechend. Als die Forscher GhostPoint auf zwei großen Fahrdatensätzen, nuScenes und Waymo, testeten, verbesserten sich die Roboter signifikant darin, Autos, Fußgänger und Radfahrer zu finden, insbesondere wenn diese Objekte teilweise blockiert oder der Laserscan sehr spärlich war. Beispielsweise verbesserte die Methode auf dem nuScenes-Datensatz den Detektionswert (ein Maß dafür, wie gut der Roboter Objekte findet und identifiziert) auf 67,5 mAP und 71,2 NDS bei vollständigem Training und schlug damit bisherige Methoden. Noch beeindruckender ist, dass die Roboter, wenn sie nur 10 % der üblichen beschrifteten Daten nutzen durften, eine Leistung erbrachten, die mit älteren Methoden vergleichbar war, die 100 % der Daten verwendeten. Dies deutet darauf das, dass der Roboter wesentlich effizienter lernt, wenn man ihn lehrt, das Unsichtbare zu „sehen“.
Das Paper schließt auch andere Ideen explizit aus. Die Autoren testeten, ob das bloße Hinzufügen eines „Box Regression Head“ (ein Werkzeug, das versucht, eine 3D-Box um die sichtbaren Punkte zu legen) das Problem lösen würde. Sie fanden heraus, dass dies nicht half; tatsächlich machte es die Sache manchmal sogar schlechter. Dies bestätigt, dass das Problem nicht nur darin besteht, eine Box um die Punkte zu zeichnen, sondern darin, dass der Roboter fundamental verstehen muss, dass das Objekt im leeren Raum existiert und nicht nur auf der Oberfläche.
Letztendlich legt GhostPoint nahe, dass Roboter lernen müssen, die Lücken zu füllen, um in der realen Welt sicher fahren zu können. Sie müssen verstehen, dass ein Auto ein vollständiges Objekt ist, selbst wenn der Laser nur einige wenige verstreute Punkte sieht. Indem man sie trainiert, die fehlende Struktur zu halluzinieren, werden die Roboter robuster und können Verdeckungen sowie spärliche Daten viel besser handhaben als zuvor. Obwohl die Methode nicht perfekt ist – sie kann immer noch verwirrt sein, wenn ein Objekt extrem spärlich ist oder wenn es seltsame Hintergrundgeräusche gibt – stellt sie einen bedeutenden Schritt nach vorn dar, um Maschinen beizubringen, das ganze Bild zu sehen und nicht nur die Teile, die sie berühren können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.