3DCodeVerse: Exploring 3D Worlds as Code

Stellen Sie sich eine Welt vor, in der das Erschaffen eines dreidimensionalen Objekts nicht eine Frage des Modellierens mit Ton oder des Ziehens von Formen mit einer Maus ist, sondern des Schreibens von Anweisungen, ganz so, wie ein Komponist eine Sinfonie schreibt oder ein Architekt einen Bauplan entwirft. Dies ist das Reich des 3D-Codings, ein Feld, in dem Computerprogramme als Werkzeuge dienen, um digitale Geometrie zu bauen, festzulegen, wie sich Teile bewegen, und ganze Szenen zu komponieren. Seit Jahren versuchen Forscher, künstliche Intelligenz das Schreiben dieser Anweisungen beizubringen, in der Hoffnung, die Erstellung von allem – von einfachen Spielzeugen bis hin zu komplexen Maschinen – zu automatisieren. Die Herausforderung bestand bisher darin, dass Computer zwar exzellent darin sind, Regeln zu befolgen, aber Schwierigkeiten haben, die physische Realität zu verstehen, die diese Regeln beschreiben. Ein Programm könnte einen Stuhl generieren, der auf einem Bildschirm perfekt aussieht, aber Beine hat, die in der Luft schweben, oder Gelenke, die sich physisch nicht biegen können. Bis jetzt gab es keine zuverlässige Methode, um Maschinen beizubringen, ihre eigene Arbeit zu überprüfen, diese physischen Fehler zu erkennen und sie zu korrigieren, ohne dass ein Mensch eingreifen muss, um zu sagen: „Dieses Bein ist zu lang.“

Ein Team von Forschern hat ein neues System namens 3DCodeVerse vorgestellt, das die Spielregeln verändert, indem es die 3D-Kreation als einen Prozess des Schreibens, Testens und Verfeinerns von Code behandelt. Anstatt sich darauf zu verlassen, dass ein Mensch jedes digitale Objekt inspiziert, nutzt dieses System ein Team von KI-Agenten, die zusammenarbeiten, um den Code zu schreiben, ihn auszuführen und dann die Ergebnisse streng zu prüfen. Wenn der Code einen Stuhl mit einem schwebenden Bein produziert, erkennt das System den Fehler, berechnet exakt, wie weit das Bein vom Boden entfernt ist, und weist den Coding-Agenten an, die spezifische Zeile des Codes umzuschreiben, um den Fehler zu beheben. Dieser Zyklus wiederholt sich automatisch und ermöglicht es dem System, hochwertige, physisch valide 3D-Inhalte in einem Maßstab zu generieren, der zuvor unmöglich war. Die Forscher bauten eine riesige Bibliothek mit über zwei Millionen Beispielen funktionierender 3D-Codes auf, um ihre Modelle zu trainieren, und entwickelten ein Framework, das verifizieren kann, ob ein generiertes Objekt tatsächlich so existiert, wie es beschrieben wurde.

Der Kern dieser Errungenschaft ist ein Datensatz namens 3DCodeVerse-2M, der als weitläufiger Trainingsplatz für diese KI-Modelle dient. Die Forscher sammelten bestehenden Code aus verschiedenen Quellen, wie etwa Open-Source-Bibliotheken für 3D-Design und prozedurale Generierung, und konvertierten ihn in ein einheitliches Format, das ausgeführt und überprüft werden kann. Sie nutzten auch ihr eigenes automatisiertes System, um neue Programme zu generieren, wodurch sichergestellt wurde, dass jedes Stück Code in der Bibliothek tatsächlich laufen und ein Ergebnis liefern konnte. Diese Sammlung umfasst Anweisungen zur Erstellung statischer Objekte wie Tische, beweglicher Assets wie Roboter mit beweglichen Gelenken, ganzer virtueller Szenen und sogar komplexer visueller Effekte. Durch das Training ihrer Modelle mit dieser vielfältigen und verifizierten Bibliothek fanden die Forscher heraus, dass die künstliche Intelligenz signifikant besser darin wurde, funktionierenden Code zu schreiben. Bei Tests auf einem Standard-Aufgabensatz konnte ein Modell, das mit diesen Daten feinabgestimmt worden war, seinen generierten Code in fast 93 Prozent der Fälle erfolgreich ausführen – eine dramatische Verbesserung gegenüber Modellen, die dieses Training nicht erhalten hatten.

Um sicherzustellen, dass der Code nicht nur ausführbare Ergebnisse, sondern auch hochwertige 3D-Inhalte liefert, entwickelte das Team ein ausgeklügeltes Framework namens 3DCodeVerse Harness. Dieses System fungiert als mehrstufige Werkstatt, in der verschiedene KI-Agenten spezifische Rollen spielen. Ein Agent plant die Struktur des Objekts und unterteilt eine komplexe Anfrage wie „baue einen dreibeinigen Hocker“ in kleinere Aufgaben. Andere Agenten schreiben den Code für jeden Teil, während ein separater Agent als Richter fungiert und den gerenderten Output gegen die ursprüngliche Anfrage prüft. Entscheidend ist, dass das System nicht auf menschliche Augen angewiesen ist, um Fehler zu finden. Es nutzt automatisierte Werkzeuge, um das digitale Objekt zu vermessen und auf Probleme wie nicht berührende Teile, kollidierende Gelenke oder falsche Dimensionen zu prüfen. Wenn ein Problem gefunden wird, generiert das System eine spezifische Reparaturanweisung und sendet sie an den Coding-Agenten zurück. Diese Schleife aus Schreiben, Prüfen und Korrigieren setzt sich fort, bis das Objekt alle Kriterien erfüllt. In Tests ermöglichte dieser automatisierte Verfeinerungsprozess dem System, in über 90 Prozent der Fälle Ergebnisse zu liefern, die von menschlichen Evaluatoren gegenüber einem führenden kommerziellen Design-Tool bevorzugt wurden.

Die Forscher demonstrierten auch, dass dieser Ansatz über verschiedene Arten der 3D-Kreation hinweg funktioniert, von mechanischen Teilen bis hin zu animierten Szenen. Sie zeigten, dass das System eine Textbeschreibung aufnehmen und ein funktionierendes Programm für einen Roboterarm produzieren kann, der sich korrekt bewegt, oder für ein virtuelles Zimmer, in dem die Möbel ordnungsgemäß am Boden stehen und beleuchtet sind. In einer spezifischen Anwendung nutzten sie den generierten 3D-Code, um die Videoproduktion zu steuern, wobei sichergestellt wurde, dass die Bewegung der Objekte im Video den im Code definierten physischen Beschränkungen entsprach. Diese Verbindung zwischen starrer, logischer Kodierung und flüssigen visuellen Medien deutet auf einen neuen Weg hin, wie digitale Welten aufgebaut und animiert werden können. Die Fähigkeit des Systems, komplexe, mehrteilige Projekte ohne menschliches Eingreifen zu bewältigen, markiert einen bedeutenden Schritt in Richtung einer zugänglichen und skalierbaren 3D-Kreation.

Die Ergebnisse legen nahe, dass die Zukunft des 3D-Designs in einer Partnerschaft zwischen menschlicher Kreativität und automatisierter Verifizierung liegen könnte. Indem die Forscher einen Weg geschaffen haben, wie Maschinen ihre eigene Arbeit anhand der Gesetze der Physik und der Anforderungen des Nutzers überprüfen können, haben sie einen großen Engpass im kreativen Prozess beseitigt. Das System rät nicht nur, wie ein Objekt aussehen sollte; es baut es, misst es und korrigiert es, bis es richtig ist. Diese Fähigkeit öffnet die Tür zur Generierung riesiger Mengen an maßgeschneiderten 3D-Inhalten für Anwendungen in der Robotik, Unterhaltung und im Ingenieurwesen, gesteuert durch einfache Textanweisungen. Die Arbeit etabliert ein neues Fundament für das Feld und beweist, dass künstliche Intelligenz mit den richtigen Werkzeugen und Trainingsdaten nicht nur den Code für 3D-Welten schreiben, sondern auch sicherstellen kann, dass diese Welten auch Sinn ergeben.