GhostPoint: Self-Supervised Representation Learning by Hallucinating Occluded LiDAR Structure
GhostPoint is een self-supervised learning-framework dat 3D-objectdetectie vanuit LiDAR-puntenwolken verbetert door latente kenmerken in geoccludeerde regio's te hallucineren via instantie-voxel-dilatatie, waardoor de zichtbare-oppervlaktebias van bestaande methoden wordt overwonnen en state-of-the-art prestaties worden behaald, met name in scenario's met ijle scans en weinig labels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij de wereld ziet, maar je hebt hem een bril gegeven die alleen de glanzende, reflecterende oppervlakken van dingen laat zien. Als er een auto langsrijdt, ziet de robot de voorbumper en de zijkant van de deur, maar de achterkant van de auto is verborgen achter een boom. In de wereld van autonoom rijden is dit een enorm probleem. Robots vertrouwen op 3D-sensoren genaamd LiDAR, die laserstralen afschieten om de omgeving in kaart te brengen. Maar lasers kaatsen af op wat ze raken; ze zien niet door muren heen of om ho corners heen. Dit laat "geesten" achter in de data—lege ruimtes waar een auto zou moeten zijn, maar waar de sensor niets ziet.
Lamaag heeft wetenschappers geprobeerd deze robots te onderwijzen met behulp van "self-supervised learning" (zelfgesuperviseerd leren). Denk hierbij aan een spelletje "invulteksten", waarbij de robot leert door naar miljoenen ongelabelde laserscans te kijken, waarbij hij probeert patronen te ontdekken zonder dat een leraar hem de antwoorden vertelt. Dit werkt geweldig voor taken zoals het labelen van elk punt als "weg" of "gras". Maar wanneer het gaat om het vinden van hele objecten—zoals beseffen dat er een auto is, zelfs als de helft ervan verborgen is—hebben de robots het moeilijk gehad. Ze blijven hangen in het focussen op alleen de delen die ze daadwerkelijk kunnen zien, waardoor ze het grote plaatje van de werkelijke vorm en locatie van het object missen. Dit papier, getiteld "GhostPoint", probeert dat specifieke blinde vlekprobleem op te lossen door de robot te leren zich de onzichtbare delen van de wereld voor te stellen.
De kern van dit onderzoek is dat huidige leermethoden te geobsedeerd zijn door de "zichtbare" data. Als je een robot alleen traint op de delen van een auto die de laser raakt, leert hij dat een auto slechts een verzameling zwevende puntjes is op de voorkant en de zijkant. Hij begrijpt niet dat de auto een solide, continue doos is die zich uitstrekt in de lege ruimte achter de boom. De auteurs ontdekten dat deze "visible-surface bias" (vooringenomenheid voor zichtbare oppervlakken) de reden is waarom robots zo goed zijn in het spotten van individuele punten, maar slecht in het detecteren van hele objecten, vooral wanneer die objecten gedeeltelijk verborgen zijn.
Om dit op te lossen, introduceerde het team een nieuw framework genaamd GhostPoint. Stel je voor dat je naar een beeldhouwwerk kijkt door een beslagen raam. Je kunt de voorkant zien, maar de achterkant is een mysterie. In plaats van alleen naar de mist te staren, leert GhostPoint de robot om de rest van het beeldhouwwerk te "hallucineren". Het doet dit door de delen van het object te nemen die het wel ziet en zich een "omgeving" rond hen voor te stellen—een zone die ook de verborgen, lege ruimte bevat waar de rest van het object waarschijnlijk bestaat.
Zo werkt de magie: het systeem neemt een laserscan en verbergt opzettelijk enkele van de zichtbare punten (alsof er een blinddoek over de ogen van de robot wordt gedaan voor een fractie van een seconde). Vervolgens vraagt het de robot om te raden hoe die verborgen punten eruitzien op basis van de omringende context. Maar hier komt de twist: GhostPoint stopt daar niet. Het kijkt ook naar de lege, "no-return" ruimtes naast het object (het mistige gebied achter de boom) en vraagt de robot om te raden wat die plekken zouden moeten bevatten. Het creëert een "leraar"-robot die het volledige, ongemaskeerde beeld kent en een "student"-robot die de ontbrekende stukjes moet raden. De student wordt beloond, niet alleen voor het raden van de verborgen delen van het zichtbare object, maar ook voor het correct voorstellen van de onzichtbare delen van het object die de laser nooit heeft geraakt.
De resultaten van deze aanpak zijn zeer veelbelovend. Wanneer de onderzoekers GhostPoint testten op twee belangrijke rij-datasets, nuScenes en Waymo, werden de robots aanzienlijk beter in het vinden van auto's, voetgangers en fietsers, vooral wanneer die objecten gedeeltelijk geblokkeerd waren of de laserscan erg ijl was. Zo verbeterde de methode op de nuScenes-dataset de detectiescore (een maatstaf voor hoe goed de robot objecten vindt en identificeert) naar 67.5 mAP en 71.2 NDS bij volledige training, waarmee het eerdere methoden versloeg. Nog indrukwekkender is dat wanneer de robots slechts 10% van de gebruikelijke gelabelde data mochten gebruiken, GhostPoint even goed presteerde als oudere methoden die 100% van de data gebruikten. Dit suggereert dat door de robot te leren het onzichtbare te "zien", hij veel efficiënter wordt in het leren.
Het papier sluit ook expliciet enkele andere ideeën uit. De auteurs testten of het simpelweg toevoegen van een "box regression" head (een hulpmiddel dat probeert een 3D-doos rond de zichtbare punten te passen) het probleem zou oplossen. Ze ontdekten dat dit niet hielp; het maakte de situatie zelfs soms slechter. Dit bevestigt dat het probleem niet alleen gaat over het tekenen van een doos rond de puntjes; het gaat erom dat de robot fundamenteel begrijpt dat het object bestaat in de lege ruimte, en niet alleen op het oppervlak.
Uiteindelijk suggereert GhostPoint dat voor robots om veilig in de echte wereld te kunnen rijden, ze moeten leren om de gaten in te vullen. Ze moeten begrijpen dat een auto een compleet object is, zelfs wanneer de laser slechts enkele verspreide punten ziet. Door hen te trainen om de ontbrekende structuur te hallucineren, worden de robots veel robuuster, waardoor ze obstructies en ijle data veel beter aankunnen dan voorheen. Hoewel de methode niet perfect is—ze kunnen nog steeds in de war raken als een object extreem ijl is of als er vreemde achtergrondruis is—vertegenwoordigt het een belangrijke stap voorwaarts in het leren van machines om het hele plaatje te zien, en niet alleen de delen die ze kunnen aanraken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.