Stellen Sie sich vor, Sie versuchen, eine 3D-Welt zu bauen, wie man sie in Ihren Lieblingsvideospielen oder Filmen sieht. Um diese Welten real aussehen zu lassen, verwenden Computer „Meshes“ – unsichtbare Netze aus winzigen Dreiecken, die Objekte umhüllen, um ihnen eine Form zu geben. Lange Zeit war der beste Weg, einem Computer beizubringen, diese Netze zu zeichnen, darin, ihn wie einen sehr schnellen, sehr strengen Roboter agieren zu lassen, der das Objekt Stück für Stück in einer bestimmten Reihenfolge aufbaut. Es ist, als würde man versuchen, ein Haus zu bauen, indem man jedes einzelne Ziegelstein einzeln legt, von der unteren linken Ecke zur oberen rechten Ecke, ohne jemals vorausspringen oder das Gesamtbild betrachten zu dürfen. Wenn der Roboter bei der ersten Ziegelstein einen Fehler macht, könnte das ganze Haus schief werden, und es dauert lange, das Projekt abzuschließen, weil er keine Schritte überspringen darf.

Aber was wäre, wenn der Computer die gesamte Form einfach „träumen“ könnte, damit sie ins Dasein tritt? Dies ist die große Frage, die Forscher in der Computergrafik stellen. Sie wollen weg von diesem langsamen, schrittweisen Bauweise-Stil und stattdessen eine Methode namens „Diffusion“ verwenden. Man kann sich Diffusion wie das Beobachten einer Wolke aus Nebel vorstellen, die langsam aufklart, um eine darunter liegende Statue zu enthüllen. Anstatt die Statue Stück für Stück zu bauen, beginnt der Computer mit einer unordentlichen Wolke aus Rauschen und verfeinert sie schrittweise, bis ein perfektes 3D-Objekt erscheint. Die Herausforderung bestand darin, dass 3D-Formen knifflig sind; sie sind nicht nur flache Bilder, sondern besitzen ein „Skelett“ (die Dreiecke), das sich perfekt verbinden muss. Wenn der Computer die Form richtig hinbekommt, aber das Skelett falsch, fällt das Objekt auseinander.

Hier kommt ein neues Paper namens „Nexus“ ins Spiel. Die Forscher hinter Nexus entschieden sich dazu, 3D-Meshes nicht mehr wie ein Roboter, der Ziegel legt, zu bauen, sondern sie eher wie einen Bildhauer zu behandeln, der Ton formt. Sie entwickelten ein neues System, das 3D-Meshes in zwei großen, parallelen Schritten generiert und dabei die Notwendigkeit komplett überspringt, die Teile in einer bestimmten Reihenfolge zu sortieren. Zuerst nutzen sie einen speziellen „Nebel-Auflösungs-Prozess“, um herauszufinden, wo die Punkte (Vertices) des Objekts liegen sollten, wobei sie die Form von einem groben Klumpen zu einem detaillierten Modell aufbauen. Zweitens nutzen sie einen cleveren neuen mathematischen Trick, um herauszufinden, wie sich diese Punkte miteinander verbinden sollen, ohne jemals die Reihenfolge erraten zu müssen.

Das Paper legt nahe, dass diese neue Denkweise die größten Probleme der alten Methoden löst. Der alte „Schritt-für-Schritt“-Ansatz führt oft zu Fehlern, die sich aufhäufen, wobei ein einziger Fehler das gesamte Modell ruinieren kann, und es dauert lange, komplexe Formen zu generieren. Nexus hingegen scheint diese Fallen zu vermeiden. In ihren Tests generierte das System hochwertige 3D-Modelle, die besser aussahen und weniger Fehler aufwiesen als die besten bisherigen Methoden. Die Forscher ließen sogar echte 3D-Künstler die Ergebnisse begutachten, ohne dass diese wussten, welcher Computer sie erstellt hatte, und die Künstler bevorzugten die von Nexus erstellten Formen überwältigend. Das Paper zeigt, dass wir durch die Nutzung der gesamten Form auf einmal und dieser neuen „Nebel-Auflösungs“-Technik komplexe, künstlerische 3D-Welten viel schneller und zuverlässiger erstellen können als zuvor.

Der alte Weg: Der Roboter mit einem schlechten Gedächtnis

Um zu verstehen, warum Nexus eine große Sache ist, schauen wir uns an, wie Computer früher 3D-Formen erstellt haben. Stellen Sie sich vor, Sie versuchen, einem Freund am Telefon eine komplexe Skulptur zu beschreiben. Der alte Weg bestand darin, zu sagen: „Setze zuerst einen Punkt hier. Dann setze einen Punkt dort. Jetzt verbinde sie. Dann setze noch einen Punkt...“ Sie mussten jeden einzelnen Punkt und jede Verbindung in einer strengen Linie, nacheinander, auflisten. Dies wird als „autoregressiver“ Prozess bezeichnet.

Das Problem mit diesem schrittweisen Ansatz ist, dass er wie ein Spiel „Stille Post“ mit einer sehr langen Liste von Anweisungen ist. Wenn Sie bei der ersten Anweisung einen winzigen Fehler machen, ergibt die nächste vielleicht keinen Sinn, und die ganze Skulptur endet als verdrehtes Chaos. Außerdem dauert es lange, etwas Kompliziertes zu bauen, weil der Computer warten muss, bis ein Schritt abgeschlossen ist, bevor er mit dem nächsten beginnen kann. Es ist, als würde man versuchen, ein riesiges Wandgemälde zu malen, indem man nur erlaubt ist, jeweils ein winziges Quadratzentimeter zu malen und jedes Mal zu warten, bis die Farbe getrocknet ist, bevor man zum nächsten Quadrat übergeht.

Der neue Weg: Die Form träumen

Nexus ändert die Spielregeln, indem es fragt: „Warum bauen wir es Stück für Stück, wenn wir das Ganze auf einmal träumen können?“ Die Forscher nennen ihre Methode „Diffusion“. Denken Sie an Folgendes: Stellen Sie sich vor, Sie haben ein Glas gefüllt mit wirbelndem, farbigem Nebel. In diesem Nebel wartet eine verborgene Form darauf, enthüllt zu werden. Der Computer beginnt mit einem Glas voller zufälligem, chaotischem Nebel. Dann macht er einen Schritt zurück und fragt: „Wenn ich ein wenig von diesem Nebel entferne, welche Form kommt dann zum Vorschein?“ Er macht dies immer und immer wieder, klärt den Lärm schrittweise auf, bis ein perfektes 3D-Objekt auftaucht.

Aber es gibt einen Haken. Ein 3D-Objekt ist nicht nur ein glatter Klumpen; es besteht aus einem Netz von Dreiecken. Der Computer muss zwei Dinge wissen: wo die Punkte sind (die Geometrie) und wie sie sich verbinden (die Topologie). Die alten Diffusionsmethoden hatten Schwierigkeiten mit dem Teil „wie sie sich verbinden“, da sich die Anzahl der Dreiecke von Objekt zu Objekt ändern kann und der Computer versuchte, die Reihenfolge zu erraten, was ihn verwirrte.

Die Zwei-Schritte-Magie von Nexus

Nexus löst dies, indem es die Aufgabe in zwei separate, superschnelle Aufgaben aufteilt, die nicht aufeinander warten müssen.

Schritt 1: Der Octree-Bildhauer (Das Finden der Punkte)
Zuerst findet das System heraus, wo die Punkte des Objekts liegen sollten. Anstatt das gesamte Objekt auf einmal zu betrachten, verwendet es einen „hierarchischen Octree“. Stellen Sie sich einen riesigen 3D-Rubik's Cube vor. Der Computer betrachtet zuerst den gesamten Würfel. Ist das Objekt darin? Wenn ja, teilt er diesen Würfel in acht kleinere Würfel auf. Er prüft jeden kleinen Würfel. Wenn ein kleiner Würfel einen Teil des Objekts enthält, teilt er diesen in acht noch winzigere Würfel auf. Er macht dies immer wieder, wird immer detaillierter, bis er die exakten Stellen findet, an denen die Punkte liegen sollten.

Dies ist wie ein Bildhauer, der mit einem großen Steinblock beginnt, die Ecken abschlägt, um eine grobe Form zu erhalten, dann kleinere Stücke abschlägt, um die Kurven zu erhalten, und schließlich ein winziges Werkzeug benutzt, um die feinen Details zu schnitzen. Der Computer führt diesen „Nebel-Auflösungs“-Prozess auf jeder Ebene des Würfels durch und baut die Form von einem groben Klumpen zu einem scharfen, detaillierten Objekt auf. Da er dies in Schichten tut, ist es sehr effizient und der Computer lässt sich nicht von der Größe des Objekts verwirren.

Schritt 2: Der Raum-Zeit-Weber (Das Verbinden der Punkte)
Sob sobald die Punkte gefunden sind, muss der Computer sie verbinden, um Dreiecke zu bilden. Das ist der schwierigste Teil. Die Forscher erfanden einen neuen mathematischen Trick namens „Spacetime Interval“ (Raum-Zeit-Intervall).

Stellen Sie sich vor, Sie haben eine Gruppe von Punkten, die im Raum schweben. In der normalen Mathematik gilt: Wenn zwei Punkte nah beieinander liegen, sind sie „verbunden“. Aber in 3D-Formen können zwei Punkte nah beieinander liegen, aber nicht verbunden sein (wie zwei Punkte auf gegenüberliegenden Seiten eines dünnen Blattes Papier). Die alte Mathematik wurde davon verwirrt.

Das „Spacetime Interval“ ist wie ein spezielles Lineal, das zwei Seiten hat: eine „Raum“-Seite und eine „Zeit“-Seite. Der Computer gibt jedem Punkt einen geheimen Code, der sowohl einen Raum-Teil als auch einen Zeit-Teil hat. Um zu sehen, ob zwei Punkte verbunden sein sollten, misst er nicht nur den Abstand zwischen ihnen. Er misst den Unterschied zwischen ihrem Raum-Abstand und ihrem Zeit-Abstand. Wenn der Raum-Teil größer ist als der Zeit-Teil, werden sie verbunden. Wenn der Zeit-Teil größer ist, bleiben sie getrennt.

Das klingt seltsam, aber es funktioniert wie Magie. Es ermöglicht dem Computer, komplexe Formen zu handhaben, bei denen Punkte zwar nah beieinander liegen, aber nicht berührt werden sollen, oder weit entfernt sind, aber dennoch verbunden sein sollten. Es ist wie eine spezielle Brille, die es einem ermöglicht, die unsichtbaren Fäden zu sehen, die die Punkte verbinden, selbst wenn die Punkte an den falschen Stellen zu liegen scheinen. Durch diesen Trick kann der Computer das gesamte Geflecht der Verbindungen auf einmal bestimmen, ohne die Reihenfolge erraten zu müssen.

Was die Ergebnisse zeigen

Die Forscher testeten Nexus an riesigen Datensätzen von 3D-Modellen, einschließlich tausender Spielzeuge und Objekte aus dem Internet. Sie verglichen es mit den besten bestehenden Methoden, die immer noch den alten „Schritt-für-Schritt“-Ansatz verwendeten.

Die Ergebnisse waren eindeutig: Nexus erstellte bessere Formen. Die Modelle hatten weniger Löcher, weniger defekte Teile und sahen mehr wie reale Objekte aus. Als sie 3D-Künstler baten, die bevorzugten Modelle auszuwählen, ohne zu wissen, welcher Computer sie erstellt hatte, wählten die Künstler in 93 % der Fälle die Nexus-Modelle. Das ist ein riesiger Sieg.

Das Paper zeigte auch, dass Nexus sehr robust ist. Selbst wenn die Eingangsdaten unordentlich oder verrauscht waren (wie bei einem schlechten 3D-Scan), gelang es Nexus dennoch, eine saubere Form zu erstellen. Es konnte auch Objekte mit Tausenden von Dreiecken handhaben, was mit den alten Methoden früher viel Zeit in Anspruch nahm. Tatsächlich konnte es eine komplexe Szene mit bis zu 20.000 Dreiecken in etwa 60 Sekunden auf einem einzigen Computerchip generieren.

Warum das wichtig ist

Dieses Paper legt nahe, dass wir Computer nicht dazu zwingen müssen, 3D-Welten wie Roboter zu bauen. Indem wir sie einen „Träum-Prozess“ (Diffusion) nutzen lassen und ihnen einen neuen Weg geben, Verbindungen zu verstehen (Spacetime Interval), können wir 3D-Formen erschaffen, die schöner, genauer und viel schneller zu erstellen sind.

Die Forscher geben zu, dass ihre Methode noch nicht perfekt ist. Es dauert immer noch etwa eine Minute, um die Punkte zu generieren, und manchmal müssen die Flächen des Objekts noch etwas korrigiert werden, um sicherzustellen, dass sie in die richtige Richtung zeigen. Aber der Kern der Idee – dass wir komplexe 3D-Meshes generieren können, ohne sie in einer bestimmten Reihenfolge sortieren zu müssen – scheint eine kraftvolle neue Richtung für die Zukunft der 3D-Kunst und des Gamings zu sein. Es öffnet die Tür für Computer, ganze Welten zu erschaffen, die sich so natürlich und fließend anfühlen wie die, die wir in unseren Träumen erleben.