Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

Autonome voertuigen vertrouwen op een constante, hoogwaardige stroom van gegevens om de wereld om hen heen te begrijpen. Terwijl camera's de visuele rijkdom van een scène vastleggen, kunnen ze moeite hebben bij slecht weer of weinig licht. Om dit te compenseren, gebruiken veel zelfrijdende systemen LiDAR, een sensor die razendsnelle pulsen van laserlicht afvuurt om afstanden te meten en een driedimensionale kaart van de omgeving op te bouwen. Deze kaart verschijnt als een wolk van miljoenen kleine puntjes, die elk een oppervlak vertegenwoordigen dat de laser heeft geraakt. Om deze data bruikbaar te maken voor navigatie, moeten computers leren identificeren waar die punten bij horen—is die cluster een voetganger, een auto of een boom? Bovendien, omdat het voertuig beweegt, moet het systeem deze objecten door de tijd heen volgen, waarbij de punten van het ene moment naar het volgende worden verbonden om beweging en intentie te begrijpen. Dit proces, bekend als vierdimensionale segmentatie, is de ruggengraat van veilig autonoom rijden, maar het staat voor een enorme hindernis: de data die nodig is om deze systemen te onderwijzen is ongelooflijk moeilijk en duur om te creëren.

Voor een computer om te leren hoe hij objecten in een LiDAR-wolk moet herkennen, moeten mensen eerst duizenden frames handmatig labelen, door omlijningen te tekenen rond elke auto en persoon in elk afzonderlijk puntenwolk. Dit is een trage, saaie en foutgevoelige taak. Omdat de punten ijl en verspreid zijn in de driedimensionale ruimte, is het labelen ervan veel minder intuïtief dan tekenen op een platte foto. Als gevolg hiervan wordt de voortgang van deze systemen vaak beperkt door de intelligentie van de algoritmen, maar door het pure gebrek aan hoogwaardige, gelabelde data. Onderzoekers vragen zich al lang af of er een manier is om deze trainingsdata automatisch te genereren, misschien door de visuele kennis te lenen die computers al hebben geleerd van miljarden afbeeldingen en video's.

Een team onderzoekers van KAIST en de Chung-Ang Universiteit heeft een belangrijke stap gezet naar het beantwoorden van die vraag met een nieuw framework genaamd LiDAR-SAM2. Hun werk demonstreert dat het mogelijk is om een krachtige labelingtool voor 3D LiDAR-data te creëren zonder dat een mens ook maar één lijn op een puntenwolk hoeft te tekenen. In plaats van te vertrouwen op handmatige annotatie, hebben ze een systeem gebouwd dat de capaciteiten van een video-gebaseerd kunstmatig intelligentiemodel vertaalt naar de taal van 3D-laserscans. Het kernidee is om een foundation model te gebruiken, een type AI dat getraind is op enorme hoeveelheden videodata om objecten door de tijd heen te volgen, en dit aan te passen om de unieke geometrie van LiDAR-sensoren te begrijpen. Door dit te doen, hebben ze een 2D-video-expert veranderd in een 4D LiDAR-supervisor.

Het proces begint met een gesynchroniseerde set gegevens: een sequentie van 3D LiDAR-scans gekoppeld aan standaard videobeelden van camera's die op hetzelfde voertuig zijn gemonteerd. De onderzoekers voeren de videobeelden eerst in een video foundation model, dat uitstekend is in het identificeren van objecten en het volgen van hun beweging van frame naar frame. Wanneer een gebruiker op een auto klikt in het eerste videoframe, volgt het model die auto automatisch door de gehele videosequentie, waardoor een masker ontstaat dat het voertuig in elk opeenvolgend frame omlijnt. De onderzoekers nemen vervolgens deze 2D-omlijningen en projecteren deze op de overeenkomstige 3D LiDAR-punten. Omdat de camera en de lasersensor gekalibreerd zijn om precies te weten hoe ze zich tot elkaar verhouden, kan het systeem bepalen welke laserpunten overeenkomen met de pixels in het videomasker.

Echter, het simpelweg projecteren van 2D-maskers op 3D-punten is niet genoeg. Een enkele camera kan niet het hele voertuig zien; het ziet misschien de zijkant maar mist de achterkant, of het zicht wordt geblokkeerd door een ander object. Om dit op te lossen, hebben de onderzoekers een methode ontwikkeld om de beelden van meerdere camera's te combineren en deze over de tijd heen aan elkaar te naaien. Ze gebruiken de bekende beweging van het voertuig om te projecteren wat er in het vorige moment werd gezien in het huidige moment, waardoor de gaten worden opgevuld waar het camerazicht beperkt was. Dit creëert een dichte, consistente set labels voor de 3D-punten, wat effectief automatisch een hoogwaardige trainingsdataset genereert. Deze gegenereerde labels, die de onderzoekers pseudo-labels noemen, worden vervolgens gebruikt om een nieuw model te trainen dat specifiek is ontworpen om LiDAR-data te begrijpen.

Het resulterende systeem, LiDAR-SAM2, fungeert als een interactieve tool. Een menselijke operator hoeft alleen maar op een object te klikken in het eerste frame van een LiDAR-sequentie, en het systeem genereert automatisch een consistente, hoogwaardige track voor dat object gedurende de gehele video. De onderzoekers testten deze aanpak op een standaard dataset genaamd SemanticKITTI, die complexe stedelijke rijscènes bevat. Ze ontdekten dat de door hun systeem gegenereerde labels opmerkelijk accuraat waren, waarbij ze hoge precisie- en recall-percentages behaalden. Wanneer ze deze automatisch gegenereerde labels gebruikten om standaard 3D-segmentatiemodellen te trainen, presteerden de modellen bijna net zo goed als die die getraind waren op data die door menselijke experts zorgvuldig was gelabeld. Sterker nog, voor semantische segmentatietaken bereikten de modellen die getraind waren op de automatische labels prestatieniveaus die dicht bij de volledige door mensen geannoteerde ground truth lagen, ondanks het feit dat geen mens handmatig de LiDAR-punten heeft gelabeld die voor de training werden gebruikt.

De studie onderzocht ook de kwaliteit van de labels zelf. Door de output te visualiseren, lieten de onderzoekers zien dat het systeem schone grenzen rond objecten produceert en consistente identiteiten behoudt voor auto's en voetgangers terwijl zij door de scène bewegen. Deze consistentie is cruciaal voor autonoom rijden, waarbij een systeem moet weten dat de auto die het tien seconden geleden zag, dezelfde auto is die het nu ziet. De onderzoekers toonden aan dat dit niveau van kwaliteit bereikt kon worden met minimale menselijke input, waarbij slechts enkele klikken per object nodig zijn om de tracking te initialiseren. Dit suggerealt dat de zware last van data-annotatie voor 3D- en 4D-scènebegrip aanzienlijk kan worden verminderd, wat potentieel de snelle ontwikkeling van veiligere en meer capabele autonome systemen mogelijk maakt zonder de noodzaak van enorme teams van menselijke labelers.

Het werk daagt expliciet de opvatting uit dat hoogwaardige 3D-trainingsdata altijd uit menselijke arbeid moet komen. Terwijl eerdere pogingen tot interactieve 4D-segmentatie vertrouwden op door mensen geannoteerde datasets om het systeem te leren hoe het objecten moest volgen, minimaliseert deze nieuwe aanpak die afhankelijkheid door slechts minimale prompts te vereisen. De onderzoekers stellen dat door gebruik te maken van het temporele begrip dat al aanwezig is in video foundation models, het mogelijk is om een 3D-labelingsysteem vanaf nul op te zetten. Ze toonden aan dat hun methode niet alleen een theoretische mogelijkheid is, maar een praktisch hulpmiddel dat bruikbare, hoogwaardige data produceert. De resultaten wijzen erop dat de kloof tussen geautomatiseerde en door mensen gelabelde data snel wordt gedicht, wat een schaalbaar pad biedt voor de volgende generatie perceptiesystemen.

In de bredere context van kunstmatige intelligentie benadrukt dit onderzoek een verschuiving naar het gebruik van het ene krachtige model om een ander te onderwijzen. Door een 2D-videomodel te behandelen als een bron van supervisie voor 3D-data, heeft het team de traditionele beperkingen van het 3D-domein omzeild. Ze hebben niet een nieuwe manier uitgevonden om de wereld te zien; in plaats daarvan hebben ze een manier gevonden om te vertalen wat een computer al weet over video naar de taal van laserscans. De bevindingen suggereren dat de toekomst van autonome rijdata mogelijk niet ligt in het inhuren van meer annotatoren, maar in het bouwen van slimmere bruggen tussen verschillende soorten visuele data. Naarmate de technologie volwassen wordt, zou dit de creatie van enorme, diverse datasets voor zelfrijdende auto's kunnen mogelijk maken, waardoor de technologie robuuster en toegankelijker wordt. De studie concludeert dat met het juiste framework de droom van automatische, hoogwaardige 3D-annotatie geen verre doelstelling meer is, maar een actuele realiteit.