Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

Autonome Fahrzeuge verlassen sich auf einen konstanten, hochgeschwindigkeitsfähigen Datenstrom, um die Welt um sie herum zu verstehen. Während Kameras den visuellen Reichtum einer Szene erfassen, können sie bei schlechtem Wetter oder schwachem Licht an ihre Grenzen stoßen. Um dies zu kompensieren, nutzen viele selbstfahrende Systeme LiDAR, einen Sensor, der schnelle Impulse aus Laserlicht aussendet, um Entfernungen zu messen und eine dreidimensionale Karte der Umgebung aufzubauen. Diese Karte erscheint als eine Punktwolke aus Millionen winziger Punkte, von denen jeder eine Oberfläche repräsentiert, die der Laser getroffen hat. Um diese Daten für die Navigation nutzbar zu machen, müssen Computer lernen, zu identifizieren, wozu jene Punkte gehören – ist dieser Cluster ein Fußgänger, ein Auto oder ein Baum? Da sich das Fahrzeug zudem bewegt, muss das System diese Objekte über die Zeit verfolgen und die Punkte von einem Moment zum nächsten verbinden, um Bewegung und Absicht zu verstehen. Dieser Prozess, bekannt als vierdimensionale Segmentierung, ist das Rückgrat des sicheren autonomen Fahrens, steht jedoch vor einer massiven Hürde: Die Daten, die benötigt werden, um diese Systeme zu lehren, sind unglaublich schwierig und teuer zu erstellen.

Damit ein Computer lernen kann, wie man Objekte in einer LiDAR-Punktwolke erkennt, müssen Menschen zuerst tausende von Frames manuell beschriften, indem sie Umrisse um jedes Auto und jede Person in jedem einzelnen Punktwolken-Frame zeichnen. Dies ist eine langsame, mühsame und fehleranfällige Aufgabe. Da die Punkte spärlich und im dreidimensionalen Raum verstreut sind, ist das Beschriften weitaus weniger intuitiv als das Zeichnen auf einer flachen Fotografie. Infolgedessen wird der Fortschritt dieser Systeme oft nicht durch die Intelligenz der Algorithmen gebremst, sondern durch den schieren Mangel an hochwertigen, beschrifteten Daten. Forscher haben sich lange gefragt, ob es eine Möglichkeit gibt, diese Trainingsdaten automatisch zu generieren, vielleicht indem man das visuelle Verständnis ausnutzt, das Computer bereits aus Milliarden von Bildern und Videos erlernt haben.

Ein Team von Forschern der KAIST und der Chung-Ang University hat mit einem neuen Framework namens LiDAR-SAM2 einen bedeutenden Schritt zur Beantwortung dieser Frage gemacht. Ihre Arbeit zeigt, dass es möglich ist, ein leistungsstarkes Werkzeug zur Beschriftung von 3D-LiDAR-Daten zu erstellen, ohne dass ein einziger Mensch eine Linie in eine Punktwolke zeichnen muss. Anstatt sich auf die manuelle Annotation zu verlassen, bauten sie ein System, das die Fähigkeiten eines videobasierten KI-Modells in die Sprache von 3D-Laserscans übersetzt. Der Kern der Idee besteht darin, ein Foundation Model zu verwenden – ein Typ von KI, der auf riesigen Mengen an Videodaten trainiert wurde, um Objekte über die Zeit zu verfolgen – und es anzupassen, um die einzigartige Geometrie von LiDAR-Sensoren zu verstehen. Auf diese Weise verwandelten sie einen 2D-Video-Experten in einen 4D-LiDAR-Supervisor.

Der Prozess beginnt mit einem synchronisierten Datensatz: einer Sequenz von 3D-LiDAR-Scans, die gepaart sind mit Standard-Videoaufnahmen von Kameras, die auf demselben Fahrzeug montiert sind. Die Forscher speisen zunächst das Videomaterial in das Video-Foundation-Modell ein, welches exzellent darin ist, Objekte zu identifizieren und deren Bewegung von Frame zu Frame zu verfolgen. Wenn ein Benutzer auf ein Auto im ersten Videoframe klickt, verfolgt das Modell dieses Auto automatisch durch die gesamte Videosequenz und erstellt eine Maske, die das Fahrzeug in jedem nachfolgenden Frame umreißt. Die Forscher nehmen dann diese 2D-Umrisse und projizieren sie auf die entsprechenden 3D-LiDAR-Punkte. Da die Kamera und der Lasersensor kalibriert sind, um genau zu wissen, wie sie zueinander in Beziehung stehen, kann das System bestimmen, welche Laserpunkte den Pixeln der Videomaske entsprechen.

Das bloße Projektieren von 2D-Masken auf 3D-Punkte reicht jedoch nicht aus. Eine einzelne Kamera kann nicht das gesamte Fahrzeug sehen; sie sieht vielleicht die Seite, aber nicht das Heck, oder die Sicht wird durch ein anderes Objekt blockiert. Um dies zu lösen, entwickelten die Forscher eine Methode, um die Ansichten aus mehreren Kameras zu kombinieren und über die Zeit zusammenzufügen. Sie nutzen die bekannte Bewegung des Fahrzeugs, um das, was im vorherigen Moment gesehen wurde, in den aktuellen Moment zu projizieren und so die Lücken zu füllen, in denen die Kamersicht begrenzt war. Dies erzeugt einen dichten, konsistenten Satz von Labels für die 3D-Punkte und generiert so effektiv automatisch einen hochwertigen Trainingsdatensatz. Diese generierten Labels, die die Forscher als Pseudo-Labels bezeichnen, werden dann verwendet, um ein neues Modell zu trainieren, das speziell für das Verständnis von LiDAR-Daten konzipiert ist.

Das resultierende System, LiDAR-SAM2, fungiert als interaktives Werkzeug. Ein menschlicher Operator muss lediglich auf ein Objekt im ersten Frame einer LiDAR-Sequenz klicken, und das System generiert automatisch einen konsistenten, hochwertigen Track für dieses Objekt durch das gesamte Video. Die Forscher testeten diesen Ansatz mit einem Standard-Datensatz namens SemanticKITTI, der komplexe urbane Fahrszenen enthält. Sie fanden heraus, dass die von ihrem System generierten Labels bemerkenswert genau waren und hohe Präzisions- sowie Recall-Raten erreichten. Als sie diese automatisch generierten Labels verwendeten, um Standard-3D-Segmentierungsmodelle zu trainieren, schnitten diese Modelle fast so gut ab wie jene, die auf von menschlichen Experten mühsam beschrifteten Daten basieren. Tatsächlich erreichten die mit den automatischen Labels trainierten Modelle bei semantischen Segmentierungsaufgaben Leistungsniveaus, die nahe an die vollständige, von Menschen annotierte Ground Truth heranreichen, obwohl nie ein Mensch die verwendeten LiDAR-Punkte manuell beschriftet hat.

Die Studie untersuchte auch die Qualität der Labels selbst. Durch die Visualisierung der Ergebnisse zeigten die Forscher, dass das System saubere Grenzen um Objekte zieht und konsistente Identitäten für Autos und Fußgänger beibehält, während diese sich durch die Szene bewegen. Diese Konsistenz ist entscheidend für das autonome Fahren, bei dem ein System wissen muss, dass das Auto, das es vor zehn Sekunden gesehen hat, dasselbe Auto ist, das es jetzt sieht. Die Forscher demonstrierten, dass dieses Qualitätsniveau mit minimalem menschlichem Input erreicht werden konnte, wobei nur wenige Klicks pro Objekt zur Initialisierung des Trackings erforderlich waren. Dies deutet darauf hin, dass die schwere Last der Datenannotation für das 3D- und 4D-Szenenverständnis erheblich reduziert werden kann, was potenziell die schnelle Entwicklung sichererer und leistungsfähigerer autonomer Systeme ermöglicht, ohne dass massive Teams von menschlichen Annotatoren benötigt werden.

Die Arbeit fordert explizit die Vorstellung heraus, dass hochwertige 3D-Trainingsdaten immer aus menschlicher Arbeit stammen müssen. Während frühere Versuche der interaktiven 4D-Segmentierung auf von Menschen annotierte Datensätze zurückgriffen, um dem System das Verfolgen von Objekten beizubringen, minimiert dieser neue Ansatz diese Abhängigkeit, indem er nur minimale Prompts erfordert. Die Forscher argumentieren, dass es durch die Nutzung des bereits in Video-Foundation-Modellen vorhandenen zeitlichen Verständnisses möglich ist, ein 3D-Beschriftungssystem von Grund auf neu aufzubauen (zu bootstrappen). Sie zeigten, dass ihre Methode nicht nur eine theoretische Möglichkeit ist, sondern ein praktisches Werkzeug, das nutbare, hochpräzise Daten produziert. Die Ergebnisse deuten darauf hin, dass die Lücke zwischen automatisierten und von Menschen beschrifteten Daten schnell schrumpft und einen skalierbaren Weg für die nächste Generation von Perzeptionssystemen bietet.

Im breiteren Kontext der künstlichen Intelligenz unterstreicht diese Forschung einen Trend zur Nutzung eines Arten von leistungsstarkem Modell, um ein anderes zu lehren. Indem sie ein 2D-Videomodell als Quelle der Supervision für 3D-Daten behandelten, umging das Team die traditionellen Einschränkungen der 3D-Domäne. Sie haben keinen neuen Weg erfunden, die Welt zu sehen; stattdessen haben sie einen Weg gefunden, das, was ein Computer bereits über Videos weiß, in die Sprache von Laserscans zu übersetzen. Die Ergebnisse legen nahe, dass die Zukunft der Daten für das autonome Fahren nicht darin liegen könnte, mehr Annotatoren einzustellen, sondern in der Schaffung intelligenterer Brücken zwischen verschiedenen Arten von visuellen Daten. Wenn sich die Technologie weiterentwickelt, könnte dies die Erstellung riesiger, vielfältiger Datensätze für selbstfahrende Autos ermöglichen und die Technologie robuster und zugänglicher machen. Die Studie kommt zu dem Schluss, dass mit dem richtigen Framework der Traum der automatischen, hochwertigen 3D-Annotation kein ferneres Ziel mehr ist, sondern eine gegenwärtige Realität.