Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction
Dit artikel presenteert een real-time mensgericht wereldmodel dat coherente interacties van het bovenlichaam synthetiseert door een verenigde multi-schaal impliciete representatie voor continue menselijke beweging te combineren met taalgecodeerde discrete toestanden voor precieze controle over objectcontact, waarbij een inferentiesnelheid van 25 FPS op H100 GPU's wordt bereikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een film kijkt waarin het hoofdpersonage een koffiekopje kan pakken, een slokje kan nemen en het weer neer kan zetten, terwijl hij met jou praat. Al een lange tijd zijn computerwetenschappers er erg goed in geslaagd om de bewegingen van het lichaam van een personage realistisch te maken, maar ze hadden vaak moeite met het "pakken"-gedeelte. Soms zou de hand door de beker heen zweven als een geest, of zou de beker magisch van vorm veranderen wanneer deze wordt aangeraakt. Dit is de uitdaging van "mens-objectinteractie": een computer leren hoe hij niet alleen begrijpt hoe een persoon beweegt, maar ook hoe hij fysiek contact maakt met en de wereld om zich heen verandert.
Om dit te doen, vertrouwen onderzoekers meestal op twee belangrijke instrumenten. Ten eerste is er videogeneratie, wat een soort digitale kunstenaar is die bewegende beelden kan schilderen op basis van een beschrijving. Ten tweede is er wereldmodellering, een chique manier om te zeggen dat een computer probeert te voorspellen hoe een scène in de loop van de tijd verandert. De grote vraag is geweest: Kunnen we deze combineren om een personage te maken dat niet alleen op zijn plek danst, maar ook daadwerkelijk interacteert met objecten in realtime, zoals een videogamepersonage dat echt genoeg aanvoelt om aan te raken?
Dit is precies waar een team onderzoekers van Tongyi Lab aan heeft gewerkt. Ze hebben een nieuw systeem gebouwd dat fungeert als een "real-time mens-centraal wereldmodel". Denk aan een digitale poppenspeler die niet alleen de ledematen van de pop controleert, maar ook beslist of de pop een hamer vasthoudt of gewoon zijn hand in de lucht zwaait. Hun doel was om een systeem te creëren dat een live video van een persoon, een foto van een object (zoals een kopje) en een eenvoudige opdracht (zoals "grijpen" of "geen contact") kan nemen, en direct een video genereert waarin de persoon perfect met dat object interacteert.
Het team ontdekte dat door de controle op te splitsen in twee afzonderlijke delen, ze het probleem veel beter konden oplossen dan eerdere methoden. Het eerste deel is de continue menselijke staat, die de vloeiende, soepele bewegingen van het lichaam, de handen en het gezicht afhandelt. Stel je dit voor als de hand van de poppenspeler die de spieren van de pop stuurt. Het tweede deel is de discrete interactiestaat, wat als een eenvoudige schakelaar werkt die het systeem vertelt: "Raakt de hand het object nu aan?" of "Houdt hij het vast?". Door een specifieke, korte opdracht te gebruiken voor deze schakelaar (zoals de woorden "grijpen" of "geen contact") in plaats van een lange, ingewikkelde zin, kan de computer tussen deze staten schakelen op een directe en nauwkeurige manier.
Het resultaat is een systeem dat deze interacties kan genereren met een snelheid van 25 frames per seconde met een vertraging van slechts ongeveer 1000 milliseconden. Dit betekent dat het snel genoeg is om aan te voelen als een live gesprek of een realtime videogame. De onderzoekers lieten zien dat hun methode meer realistische handbewegingen en beter contact met objecten creëert vergeleken met oudere systemen, die vaak vreemde fouten produceerden zoals zwevende objecten of handen die niet precies sloten rond wat ze zouden moeten vasthouden. Ze hebben ook een speciale dataset van meer dan 30.000 voorbeelden gemaakt om hun systeem te leren hoe deze interacties eruit zouden moeten zien. Hoewel ze niet beweren dat dit elk probleem in het universum oplost, suggereren hun experimenten dat deze "continue-discrete" aanpak een belangrijke stap voorwaarts is in het maken van digitale mensen die echt in realtime met hun wereld kunnen interageren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.