Differentiable Voronoi Ray Tracing Beyond Rasterization Speeds

In der Welt der Computergrafik gibt es seit langem einen grundlegenden Kompromiss zwischen Geschwindigkeit und Flexibilität. Jahrzehntelang war die schnellste Methode, um realistische Bilder auf einem Bildschirm zu erzeugen, eine Technik namens Rasterisierung. Stellen Sie sich einen Maler vor, der auf eine 3D-Szene blickt und diese einfach auf eine flache Leinwand projiziert, indem er die Pixel einzeln ausfüllt. Diese Methode ist unglaublich schnell und treibt die Videospiele und Filme an, die wir jeden Tag sehen, aber sie hat Schwierigkeiten mit komplexen optischen Effekten wie der Unschärfe eines Kameraobjektivs oder der Verzerrung einer Weitwinkelansicht. Um diese Effekte zu erzielen, muss die Software spezielle, komplizierte Regeln zum Malprozess hinzufügen, was den Vorgang oft verlangsamt oder Fehler einführt. Die Alternative ist das Raytracing, eine Methode, die simuliert, wie Licht tatsächlich reist. Anstatt ein flaches Bild zu projizieren, schießt der Computer unsichtbare Lichtstrahlen von der Kamera in die Szene, um zu sehen, was sie treffen. Dieser Ansatz bewältigt alle kniffligen optischen Effekte von Natur aus ohne zusätzliche Regeln, war aber historisch gesehen zu langsam für die Echtzeitnutzung, da er enorme Rechenleistung erforderte, um nur wenige Bilder pro Sekunde zu berechnen.

Ein Forscherteam aus Schweden hat nun die Vorstellung herausgefordert, dass man sich zwischen der Geschwindigkeit des Malers und der Flexibilität des Lichtstrahl-Schützen entscheiden muss. Sie haben ein neues System namens VoroTracing entwickelt, das den Ansatz der Lichtstrahlen nutzt, aber schnell genug ist, um in Echtzeit verwendet zu werden. Ihre Arbeit konzentriert sich auf eine spezifische Art der Organisation des 3D-Raums, indem sie diesen in ein Flickenteppich aus unregelmäßigen Blasen unterteilt, ähnlich wie die Zellen in einer Honigwabe, jedoch mit Formen, die an die Objekte in der Szene angepasst sind. Durch das intelligente und organisierte Navigieren durch diese Blasen kann ihr System Lichtstrahlen durch eine komplexe Umgebung mit einer Geschwindigkeit verfolgen, die mit den schnellsten traditionellen Methoden konkurriert oder diese in einigen Fällen sogar übertrifft.

Die Forscher begannen damit, zu untersuchen, warum Raytracing so langsam geblieben war. Sie fanden heraus, dass der Hauptengpass nicht nur die Mathematik dahinter war, wo ein Lichtstrahl ein Objekt trifft, sondern die schiere Menge an Daten, die der Computer für jeden einzelnen Schritt der Reise laden und verarbeiten musste. In früheren Versuchen, dies zu beschleunigen, blieb der Computer oft stecken, weil er für jeden winzigen Schritt zu viele Informationen laden musste, oder er wanderte zu lange durch leeren Raum, bevor er ein festes Objekt fand. Das Team erkannte, dass sie die gesamte Reise des Lichtstrahls neu gestalten mussten – von der Art und Weise, wie die Szene aufgebaut ist, bis hin zu der Art und Weise, wie der Computerchip die Daten verarbeitet.

Sie begannen damit, die Art und Weise zu ändern, wie die Szene dargestellt wird. Anstatt für jede Blase eine einzige, glatte Farbe zu verwenden, die sich nur basierend auf dem Betrachtungswinkel ändert, gaben sie jeder Blase eine winzige, detaillierte Texturkarte. Dies ermöglichte es einer einzelnen Blase, komplexe Muster und Details zu enthalten, was bedeutete, dass der Computer keine Millionen winziger Blasen erstellen musste, um eine Ziegelwand oder einen belaubten Baum darzustellen. Sie änderten auch die Art und Weise, wie der Computer entscheidet, wann er aufhört zu suchen. Indem sie das System darauf trainierten, den leeren Raum zwischen den Objekten vollkommen unsichtbar und die Oberflächen der Objekte vollkommen solide zu machen, konnten die Lichtstrahlen durch die Luft reisen, ohne langsamer zu werden, und stoppen, sobald sie eine Oberfläche trafen. Dies verhinderte, dass der Computer Zeit mit der Berechnung der Farbe des leeren Raums verschwendete.

Um den Prozess noch schneller zu machen, organisierten die Forscher neu, wie der Computer den Speicher für diese Blasen verwaltet. Sie ordneten die Daten so an, dass Blasen, die sich im 3D-Raum nahe beieinander befinden, auch im Computerspeicher nahe beieinander gespeichert werden. Dies ermöglichte es der Grafikkarte, alle notwendigen Informationen für eine Gruppe von Lichtstrahlen in einem effizienten Schritt abzurufen, anstatt im Speicherbank herumzuspringen. Zudem fügten sie einen intelligenten Filter hinzu, der dem Computer sagt, dass er jede Blase ignorieren soll, die so schwach ist, dass sie das endgültige Bild nicht verändern wird, wodurch die Berechnung komplett übersprungen wird.

Die Ergebnisse dieser Neugestaltung waren beeindruckend. Bei Tests mit einem Standard-Set komplexer 3D-Szenen renderte das neue System Bilder mit 623 Bildern pro Sekunde auf einer High-End-Grafikkarte. Dies ist mehr als dreimal schneller als die bisher beste Methode, die Lichtstrahlen verwendet, und es ist auch signifikant schneller als die schnellsten traditionellen malbasierten Methoden, die derzeit in diesem Bereich eingesetzt werden. Die erzeugten Bilder waren genauso scharf und realistisch wie die der langsameren Methoden, ohne Qualitätsverlust. Vielleicht am wichtigsten ist: Da das System Lichtstrahlen verwendet, konnte es augenblicklich auf das Rendern von Bildern mit unterschiedlichen Kameraeffekten umschalten. Ohne Änderungen an der Kernsoftware konnten die Forscher Bilder mit der Verzerrung eines Fischaugenobjektivs, der Unschärfe einer bewegten Kamera oder der geringen Schärfentiefe eines Porträtobjektivs erzeugen, indem sie einfach den Pfad der Lichtstrahlen änderten.

Diese Arbeit zeigt, dass der alte Glaube – dass Raytracing für Echtzeitanwendungen zu langsam ist – nicht länger wahr sein muss, wenn das System von Anfang an mit Blick auf die Hardware konzipiert wird. Durch die sorgfältige Co-Design der Art und Weise, wie die Szene gespeichert wird, wie die Lichtstrahlen reisen und wie der Computer die Daten verarbeitet, haben die Forscher gezeigt, dass es möglich ist, sowohl die Geschwindigkeit moderner Videospiele als auch die natürliche Flexibilität von echtem Licht zu besitzen. Sie haben ihren Code für andere zur Verfügung gestellt und damit die Tür für zukünftige Anwendungen in der virtuellen Realität, beim autonomen Fahren und auf mobilen Geräten geöffnet, wo sie das System bereits erfolgreich auf einem Smartphone demonstriert haben. Die Studie legt nahe, dass die Zukunft der realistischen Computergrafik nicht darin liegen könnte, sich zwischen Geschwindigkeit und Realismus zu entscheiden, sondern darin, einen neuen Weg zu finden, um beide zusammen zum Arbeiten zu bringen.