VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?
Das Paper stellt VibeWorlding vor, ein vereinheitlichtes Framework, das den VWE-BENCH-Benchmark und die VibeWorlding-Gym RL-Trainingsumgebung umfasst, um die Fähigkeit multimodaler Agenten zu evaluieren und zu verbessern, autonom interaktive 3D-Open-Worlds aus Benutzeranfragen zu konstruieren, wobei demonstriert wird, dass Reinforcement Learning Open-Source-Modelle dazu befähigen kann, geschlossene Frontier-Systeme bei dieser komplexen Aufgabe zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stünden in einem leeren digitalen Raum und baten einen Computer, eine belebte Stadtstraße, eine ruhige Waldlichtung oder eine futuristische Raumstation zu erschaffen, indem Sie einfach beschreiben, was Sie sehen möchten. Dies ist das Versprechen der „embodied artificial intelligence“ (verkörperten künstlichen Intelligenz), einem Bereich, in dem Maschinen lernen, mit dreidimensionalen Räumen zu interagieren und diese zu konstruieren, so wie es Menschen tun. Jahrelang haben Forscher versucht, Computern beizubringen, digitale Objekte wie Möbel, Bäume und Gebäude basierend auf Textanweisungen anzuordnen. Die meisten bisherigen Versuche arbeiteten jedoch nur mit einfachen, idealisierten Anfragen, wie etwa „stelle einen Stuhl hierhin“. Sie hatten Schwierigkeiten, wenn sie mit der unordentlichen, offenen Natur echter menschlicher Konversation konfrontiert wurden, bei der ein Nutzer nach einem „gemütlichen, leicht vollgestellten Arbeitszimmer“ mit spezifischer Beleuchtung und Stimmung fragen könnte. Da zudem die Werkzeuge zum Bau dieser Welten verstreut und die Testmethoden inkonsistent waren, war es schwierig festzustellen, ob eine künstliche Intelligenz eine Anfrage wirklich verstand oder nur rät.
Ein Forschungsteam hat diese Herausforderung nun mit einem neuen Framework namens VibeWorlding angegangen. Sie entwickelten ein umfassendes System, das es einem künstlichen Agenten ermöglicht, nicht nur die Beschreibung eines Nutzers zu hören, sondern auch aktiv zu planen, nach den richtigen digitalen Objekten zu suchen, sie in einem 3D-Raum zu platzieren und dann das Ergebnis zu betrachten, um zu prüfen, ob es der Vision entspricht. Die Forscher bauten ein massives Testgelände mit über 2.600 hochwertigen 3D-Objekten, die von kleinen Requisiten bis hin zu großen Gebäuden reichten, und nutzten diese, um hunderte komplexer Szenen zu erstellen. Anschließend generierten sie tausende einzigartige Nutzeranfragen – einige mit präzisen Anweisungen und andere mit vagen, offenen Wünschen –, um zu sehen, wie gut verschiedene künstliche Intelligenzen diese Aufgabe bewältigen können. Das System fungiert als strenger Richter, der nicht nur prüft, ob die Objekte am richtigen Ort sind, sondern auch, ob sie physikalisch Sinn ergeben – um beispielsweise sicherzustellen, dass ein Tisch nicht in der Luft schwebt oder ein Baum nicht in einer Wand wächst.
Als die Forscher die fortschrittlichsten heute verfügbaren Modelle künstlicher Intelligenz testeten, einschließlich jener großer Technologieunternehmen, fanden sie eine signifikante Lücke zwischen den aktuellen Fähigkeiten und dem Ziel, diese Welten automatisch zu erschaffen. Selbst die leistungsfähigsten Modelle, die Code schreiben und komplexe Fragen beantworten können, scheiterten mehr als 60 Prozent der Zeit daran, die angeforderten Szenen erfolgreich zu konstruieren. Der Hauptgrund für dieses Scheitern war nicht ein Mangel an Verständnis für die Worte des Nutzers, sondern eine Schwierigkeit bei dem präzisen physischen Akt des Bearbeitens der 3D-Welt. Die Modelle verstanden oft zwar, dass ein Nutzer möchte, dass ein Bücherregal bewegt wird, aber sie berechneten die Distanz falsch oder bewegten das Objekt in die falsche Richtung, was dazu führte, dass es mit anderen Gegenständen kollidierte oder unrealistisch schwebte.
Um diese Lücke zu schließen, entwickelte das Team eine spezialisierte Trainingsmethode, die die künstliche Intelligenz durch Versuch und Irrtum lehrt, ähnlich wie ein Kind, das lernt, mit Bauklötzen zu spielen. Das System lässt den Agenten versuchen, eine Szene zu bauen, prüft das Ergebnis anhand strenger Regeln für Physik und Nutzerabsicht und belohnt den Agenten erst dann, wenn er es richtig macht. Dieser Prozess, bekannt als Reinforcement Learning (bestärkendes Lernen), ermöglichte es den Forschern, ein Open-Source-Modell zu trainieren, das schließlich die besten verfügbaren Closed-Source-Modelle übertreffen konnte. Ihr am besten trainiertes Modell, das auf einer Basis von 30 Milliarden Parametern startete, erreichte die höchste Erfolgsquote aller getesteten Systeme. Es lernte, die richtigen Objekte abzurufen, sie ohne Kollisionen zu platzieren und die physikalischen Beschränkungen der Umgebung zu respektieren, wodurch es die „Vibe“ (die Stimmung) der Welt, die der Nutzer erschaffen wollte, effektiv meisterte.
Die Studie zeigte auch auf, dass diese Modelle zwar immer besser darin werden, das große Ganze zu verstehen, der schwierigste Teil jedoch weiterhin die feinen Details des räumlichen Denkens sind. Die Agenten haben immer noch Schwierigkeiten mit präzisen Messungen, wie etwa ein Objekt exakt sieben Meter nach vorne zu bewegen, ohne darüber hinauszuschießen oder zu kurz zu kommen. Die Forscher fanden jedoch heraus, dass die Trainingsmethode die Fähigkeit der Agenten, über den 3D-Raum zu urteilen, signifikant verbesserte und eine große Schwäche in eine Stärke verwandelte. Durch die Veröffentlichung ihrer Daten, Werkzeuge und trainierten Modelle hofft das Team, die Entwicklung von Systemen zu beschleunigen, die eines Tages in der Lage sein werden, interaktive 3D-Welten für Gaming, Simulation und Virtual Reality mit der gleichen Leichtigkeit und Kreativität wie ein menschlicher Designer zu erschaffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.