VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?
Het artikel introduceert VibeWorlding, een verenigd framework bestaande uit de VWE-BENCH benchmark en de VibeWorlding-Gym RL trainingsomgeving, om het vermogen van multimodale agenten om autonoom interactieve 3D open werelden te construeren op basis van gebruikersqueries te evalueren en te verbeteren, waarbij wordt aangetoond dat reinforcement learning open-source modellen in staat stelt om frontier closed-source systemen te overtreffen in deze complexe taak.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je in een lege digitale kamer staat en een computer vraagt om een bruisende straat, een verstilde bosopening of een futuristisch ruimtestation te bouwen, simpelweg door te beschrijven wat je wilt zien. Dit is de belofte van "embodied artificial intelligence" (belichaamde kunstmatige intelligentie), een vakgebied waarin machines leren om interactie te hebben met en driedimensionale ruimtes te construeren, net zoals mensen dat doen. Jarenlang hebben onderzoekers geprobeerd computers te leren om digitale objecten zoals meubels, bomen en gebouwen te rangschikken op basis van tekstinstructies. De meeste eerdere pogingen werkten echter alleen met eenvoudige, geïdealiseerde verzoeken, zoals "zet een stoel hier". Ze hadden moeite met de rommelige, open eind van echte menselijke gesprekken, waarbij een gebruiker kan vragen om een "gezellige, licht rommelige studeerkamer" met specifieke verlichting en sfeer. Bovendien, omdat de tools om deze werelden te bouwen verspreid waren en de testmethoden inconsistent waren, was het moeilijk te weten of een kunstmatige intelligentie een verzoek echt begreep of gewoon gokte.
Een team van onderzoekers heeft deze uitdaging nu aangepakt met een nieuw framework genaamd VibeWorlding. Ze creëerden een uitgebreid systeem waarmee een kunstmatige agent niet alleen naar de beschrijving van een gebruiker kan luisteren, maar ook actief kan plannen, zoeken naar de juiste digitale objecten, deze in een 3D-ruimte kan plaatsen en vervolgens naar het resultaat kan kijken om te zien of het overeenkomt met de visie. De onderzoekers bouwden een enorme testomgeving met meer dan 2.600 hoogwaardige 3D-objecten, variërend van kleine rekwisieten tot grote gebouwen, en gebruikten deze om honderden complexe scènes te creëren. Vervolgens genereerden ze duizenden unieke gebruikersverzoeken, sommige met precieze instructies en andere met vage, open einden, om te zien hoe goed verschillende kunstmatige intelligenties deze taak konden afhanden. Het systeem fungeert als een strenge rechter, die niet alleen controleert of de objecten op de juiste plek staan, maar ook of ze fysiek zinvol zijn — bijvoorbeeld door te controleren of een tafel niet in de lucht zweeft of dat een boom niet in een muur groeit.
Toen de onderzoekers de meest geavanceerde kunstmatige intelligentiemodellen van dit moment testten, inclusief die van grote technologiebedrijven, ontdekten ze een aanzienlijke kloof tussen de huidige capaciteiten en het doel om deze werelden automatisch te bouwen. Zelfs de krachtigste modellen, die code kunnen schrijven en complexe vragen kunnen beantwoorden, faalden erin om de gevraagde scènes in meer dan 60 procent van de gevallen succesvol te construeren. De primaire reden voor dit falen was niet een gebrek aan begrip van de woorden van de gebruiker, maar een moeilijkheid bij de precieze fysieke handeling van het bewerken van de 3D-wereld. De modellen begrepen vaak wel dat een gebruiker wilde dat een boekenkast werd verplaatst, maar ze berekenden de afstand onjuist of bewogen het object in de verkeerde richting, waardoor het botste met andere items of onrealistisch zweefde.
Om deze kloof te overbruggen, ontwikkelde het team een gespecialiseerde trainingsmethode die de kunstmatige intelligentie leert door middel van vallen en opstaan, vergelijkbaar met hoe een kind leert bouwen met blokken. Het systeem laat de agent een scène bouwen, controleert het resultaat tegen strikte regels over fysica en de intentie van de gebruiker, en beloont de agent alleen wanneer het goed is uitgevoerd. Dit proces, bekend als reinforcement learning (versterkend leren), stelde de onderzoekers in staat om een open-source model te trainen dat uiteindelijk de beste closed-source modellen beschikbaar zou kunnen overtreffen. Hun best getrainde model, dat begon met een basis van 30 miljard parameters, behaalde de hoogste succesratio van alle geteste systemen. Het leerde de juiste objecten op te halen, ze te plaatsen zonder botsingen en de fysieke beperkingen van de omgeving te respecteren, waardoor het de "vibe" van de wereld die de gebruiker wilde creëren effectief onder de knie kreeg.
De studie onthulde ook dat hoewel deze modellen beter worden in het begrijpen van het grote plaatje, het moeilijkste deel nog steeds de fijne details van ruimtelijk redeneren is. De agents worstelen nog steeds met precieze metingen, zoals het verplaatsen van een object exact zeven meter naar voren zonder te overschieten of te onderschieten. De onderzoekers ontdekten echter dat de trainingsmethode het vermogen van de agents om over 3D-ruimte te redeneren aanzienlijk verbeterde, waardoor een grote zwakte in een kracht werd omgezet. Door hun data, tools en getrainde modellen aan het publiek vrij te geven, hoopt het team de ontwikkeling van systemen te versnellen die op een dag interactieve 3D-werelden kunnen bouwen voor gaming, simulatie en virtuele realiteit met dezelfde gemak en creativiteit als een menselijke ontwerper.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.