Stellen Sie sich vor, Sie versuchen, ein perfektes, interaktives Videospiel der realen Welt zu bauen, aber anstatt eine Game-Engine zu verwenden, müssen Sie es von Grund auf neu erschaffen – nur mit einem Haufen Fotos, die aus einem fahrenden Auto aufgenommen wurden. Dies ist die Herausforderung der „neuronalen Rekonstruktion“, ein Bereich, in dem Wissenschaftler Computern beibringen, flache Bilder in 3D-Welten zu verwandeln, durch die man gehen kann. Jahrelang war der beste Weg, dies zu tun, vergleichbar mit dem Schnitzen eines Meisterwerks aus Ton: Man musste eine einzelne Szene nehmen und stundenlang (oder sogar Tage lang) sorgfältig Material abtragen, polieren und jedes winzige Detail von Hand abstimmen. Es war wunderschön, aber es war zu langsam, um eine ganze Stadt, geschweige denn eine ganze Welt, zu bauen.

Das Papier, das Sie gleich lesen werden, stellt ein neues Werkzeug namens Instant NuRec vor. Stellen Sie sich das wie eine „magische Sofortbildkamera“ für 3D-Welten vor. Anstatt eine Szene nach der anderen zu meißeln, betrachtet diese neue Methode ein kurzes Video aus den Kameras eines Autos und spuckt in einem einzigen Verarbeitungsblitz eine vollständig spielbare 3D-Welt aus. Sie unterteilt die Welt in drei Schichten: das langweilige, unbewegliche Zeug wie Straßen und Gebäude; das bewegliche Zeug wie andere Autos und Fußgänger; und den Himmel. Das Ziel ist es, Programmierern von selbstfahrenden Autos zu ermöglichen, ihre Software in diesen künstlichen Welten zu testen, ohne Stunden auf den Aufbau der Welt zu warten, was den gesamten Prozess des Trainierens von Autos sicherer und schneller macht.

Die „magische“ Sofortbildkamera

Stellen Sie sich vor, Sie sind ein Entwickler für selbstfahrende Autos. Sie haben Millionen von Meilen Videomaterial aus Ihrer Fahrzeugflotte und müssen Ihre KI in verschiedenen Szenarien testen. In der Vergangenheit mussten Sie einen langsamen, teuren Prozess durchlaufen, der etwa 75 Minuten pro Szene dauerte, um eines dieser Videoclips in eine 3D-Simulation zu verwandeln. Es war, als müsste man jedes Mal einen Kuchen von Grund auf neu backen, nur um ein einziges Stück zu bekommen. Man konnte nur wenige Kuchen am Tag backen, was bedeutete, dass man seine Rezepte nicht sehr oft testen konnte.

Hier kommt Instant NuRec ins Spiel, ein neues Modell von NVIDIA, das alles verändert. Anstatt einen Kuchen von Grund auf neu zu backen, ist es wie eine Maschine, die in 1,5 Sekunden sofort einen perfekten, essbaren Kuchen drucken kann.

Dieses Modell nimmt einen kurzen Videoclip von den Kameras eines Autos (normalerweise 10 bis 20 Sekunden lang) und baut in einem einzigen „Forward Pass“ (was nur eine schicke Art zu sagen ist: „einem kurzen Blick“) eine vollständige 3D-Welt auf. Diese Welt ist nicht nur ein flaches Video; sie ist eine geschichtete 3D-Umgebung, die aus Millionen winziger, leuchtender Punkte besteht, die Gaussians genannt werden. Denken Sie an diese Punkte wie an eine Wolke aus Glitzer, die der Computer so anordnet, dass sie exakt wie die reale Welt aussieht.

Wie es die Welt baut

Die Magie geschieht, weil das Modell weiß, wie man die Welt in drei verschiedene Teile aufteilt, genau wie bei einem Bühnenbild:

1. Die statische Schicht: Dies ist der Hintergrund, der sich niemals bewegt – Straßen, Gebäude, Bäume und Straßenlaternen. Das Modell erfasst diese als eine feste, unveränderliche 3D-Schicht.
2. Die dynamische Schicht: Dies ist die bewegliche Besetzung – andere Autos, Radfahrer und Fußgänger. Anstatt sie einfach einzufrieren, gibt das Modell ihnen ein „Skript“. Es berechnet ihren Pfad und erstellt eine glatte, bewegliche Linie (eine Trajektorie), damit sie in der Simulation genauso fahren oder gehen können, wie sie es im echten Video getan haben.
3. Das Sky-Cubemap: Da der Himmel weit entfernt ist und keine spezifische Form hat, wickelt das Modell den Himmel in einen riesigen, 360-Grad-Bildwürfel, der außen um die Welt liegt und wie ein Skybox in einem Videospiel wirkt.

Das Modell korrigiert auch die Farben. Da verschiedene Kameras an einem Auto Farben etwas unterschiedlich wahrnehmen können (eine sieht vielleicht etwas rötlicher aus, eine andere etwas bläulicher), wendet das Modell eine schnelle „Farbkorrektur“ an, um sicherzustellen, dass die ganze Welt konsistent aussieht, wie ein professioneller Bildbearbeiter, der ein Foto korrigiert.

Warum Geschwindigkeit wichtig ist

Der beeindruckendste Teil ist nicht nur, dass es funktioniert, sondern wie schnell es ist. Die Forscher haben dies an einem massiven Datensatz von Fahrclips getestet. Während die alte, langsame Methode (genannt NuRec) etwa 75 Minuten benötigte, um eine einzige Szene zu bauen, erledigte Instant NuRec dies in etwa 1,5 Sekunden. Das ist eine Beschleunigung um mehr als das Tausendfache.

Um es in Perspektive zu setzen: Wenn die alte Methode einen ganzen Arbeitstag brauchte, um eine einzige Szene zu erstellen, könnte die neue Methode in ders-selben Zeit über 2.000 Szenen bauen. Das bedeutet, dass Entwickler endlich ihre Software in Millionen von verschiedenen Szenarien testen können, statt nur in einer Handvoll.

Funktioniert es tatsächlich?

Sie fragen sich vielleicht: „Wenn es so schnell ist, ist es dann auch gut?“ Die Autoren haben dies streng geprüft. Sie haben die „instanten“ 3D-Welten mit den langsamen, hochwertigen Welten und sogar mit dem echten Videomaterial verglichen.

• Visuelle Qualität: Als sie die Bilder betrachteten, war die instant-Version schärfer und klarer als andere schnelle Methoden. Bei einem Standardtest namens Waymo Open Dataset erzielte sie eine um 2,01 dB höhere Bildqualität als die nächstbeste schnelle Methode. Das mag wie eine kleine Zahl klingen, aber in der Welt der Bildqualität ist das ein gewaltiger Sprung.
• Fahrtests: Der wahre Test war jedoch, ob ein selbstfahrendes Auto in diesen künstlichen Welten tatsächlich fahren kann. Die Forscher ließen dieselbe Fahrsoftware sowohl in den langsamen, perfekten Welten als auch in den schnellen, instant-Welten laufen. Sie fanden heraus, dass die Software in beiden Fällen exakt dieselben Entscheidungen traf und die gleiche Sicherheitsbilanz aufwies. Die „instanten“ Welten waren gut genug, um sie für ernsthafte Tests zu vertrauen.

Die „selektive“ Abkürzung

Das Papier erwähnt auch einen cleveren Trick, um die Dinge noch schneller zu machen, wenn man keine perfekte Detailtiefe benötigt. Das Modell kann sich entscheiden, weniger „Glitzerpunkte“ (Gaussians) zu verwenden, indem es sich nur auf die wichtigen Teile der Szene konzentriert. Sie nennen dies die Selective-Strategie. Sie reduziert die Anzahl der Punkte um etwa das Dreifache (von etwa 351.000 auf etwa 120.000 pro Ansicht), behält aber die Qualität fast identisch bei. Das ist so, als würde man entscheiden, dass man nur die Hauptcharaktere in einer Filmszene malen muss und nicht jedes einzelne Blatt an jedem Baum, um denselben Effekt zu erzielen.

Was es (noch) nicht kann

Die Autoren sind ehrlich bezüglich der Grenzen. Obwohl das Modell hervorragend darin ist, fahrende Autos und Menschen zu erfassen, kann es winzige, zappelnde Bewegungen wie das Winken eines Arms oder das Schütteln des Fells eines Hundes nicht perfekt einfangen. Es behandelt bewegliche Objekte so, als würden sie sich auf einer glatten, geraden Linie zwischen einigen wenigen Schlüsselpunkten bewegen. Wenn Sie die exakte Fingerbewegung eines Fußgängers benötigen, ist dieses Modell noch nicht so weit. Außerdem funktioniert es am besten mit den spezifischen Kameratypen, für die es trainiert wurde; wenn man ihm ein ungewöhnliches, neues Kamera-Setup gibt, muss es eventuell etwas nachjustiert werden.

Das Fazit

Instant NuRec ist ein Durchbruch in der schnellen und praktischen Erstellung von 3D-Simulationen der realen Welt. Es nimmt den „langsamen und perfekten“ Ansatz der Vergangenheit und verwandelt ihn in einen „schnellen und guten genug“-Ansatz für die reale Welt. Indem es eine 75-minütige Wartezeit in ein 1,5-sekündiges Blinzeln verwandelt, öffnet es die Tür für Unternehmen im Bereich des autonomen Fahrens, ihre Software in einem Ausmaß zu testen, das zuvor unmöglich war. Es baut nicht nur eine Welt; es baut einen Spielplatz, auf dem die Zukunft des Autofahrens mit Lichtgeschwindigkeit getestet, verfeinert und perfektioniert werden kann.