Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction
Dieses Paper präsentiert ein echtzeitfähiges, menschenzentriertes Weltmodell, das kohärente Interaktionen des Oberkörpers synthetisiert, indem es eine einheitliche multiskalige implizite Repräsentation für kontinuierliche menschliche Bewegungen mit sprachkodierten diskreten Zuständen für eine präzise Objektkontaktsteuerung kombiniert und dabei eine Inferenzgeschwindigkeit von 25 FPS auf H100-GPUs erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen einen Film, in dem die Hauptfigur nach einer Kaffeetasse greifen kann, einen Schluck nimmt und sie wieder abstellen kann, während sie gleichzeitig mit Ihnen spricht. Lange Zeit waren Informatiker sehr gut darin, die Bewegungen des Körpers der Figur realistisch darzustellen, aber sie hatten oft Schwierigkeiten mit dem „Greifen“. Manchmal glitt die Hand wie ein Geist durch die Tasse, oder die Tasse veränderte magisch ihre Form, wenn sie berührt wurde. Dies ist die Herausforderung der „Mensch-Objekt-Interaktion“: einem Computer beizubringen, nicht nur zu verstehen, wie eine Person sich bewegt, sondern auch, wie sie physisch Dinge berührt und die Welt um sich herum verändert.
Um dies zu erreichen, verlassen sich Forscher normalerweise auf zwei Hauptwerkzeuge. Erstens gibt es die Videogenerierung, die wie ein digitaler Künstler ist, der bewegte Bilder basierend auf einer Beschreibung malen kann. Zweitens gibt es das Weltmodellieren, eine schicke Art zu sagen, dass ein Computer versucht vorherzusagen, wie sich eine Szene im Laufe der Zeit verändert. Die große Frage war: Können wir diese beiden kombinieren, um einen Charakter zu erschaffen, der nicht nur auf der Stelle tanzt, sondern tatsächlich in Echtzeit mit Objekten interagiert – wie eine Videospielfigur, die sich echt genug anfühlt, um sie anzufassen?
Genau daran hat ein Team von Forschern des Tongyi Labs gearen. Sie haben ein neues System entwickelt, das als „Echtzeit-menschzentriertes Weltmodell“ fungiert. Denken Sie an einen digitalen Puppenspieler, der nicht nur die Gliedmaßen der Puppe steuert, sondern auch entscheidet, ob die Puppe einen Hammer hält oder nur die Hand in der Luft wedelt. Ihr Ziel war es, ein System zu schaffen, das ein Live-Video einer Person, ein Bild eines Objekts (wie einer Tasse) und einen einfachen Befehl (wie „greifen“ oder „kein Kontakt“) aufnehmen und sofort ein Video generieren kann, in dem die Person perfekt mit diesem Objekt interagiert.
Das Team fand heraus, dass sie das Problem besser lösen konnten, indem sie die Steuerung in zwei unterschiedliche Teile aufteilten. Der erste Teil ist der kontinuierliche menschliche Zustand, der die fließenden, geschmeidigen Bewegungen des Körpers, der Hände und des Gesichts steuert. Stellen Sie sich das wie die Hand des Puppenspielers vor, die die Muskeln der Puppe führt. Der zweite Teil ist der diskrete Interaktionszustand, der wie ein einfacher Schalter ist, der dem System sagt: „Berührt die Hand das Objekt gerade?“ oder „Hält sie es gerade?“. Durch die Verwendung eines spezifischen, kurzen Befehls für diesen Schalter (wie die Wörter „greifen“ oder „kein Kontakt“) anstelle eines langen, komplizierten Satzes kann der Computer augenblicklich und präzise zwischen diesen Zuständen wechseln.
Das Ergebnis ist ein System, das diese Interaktionen mit einer Geschwindigkeit von 25 Bildern pro Sekunde und einer Verzögerung von nur etwa 1000 Millisekunden generieren kann. Das bedeutet, es ist schnell genug, um sich wie ein Live-Gespräch oder ein Echtzeit-Videospiel anzufühlen. Die Forscher zeigten, dass ihre Methode im Vergleich zu älteren Systemen, die oft seltsame Fehler wie schwebende Objekte oder Hände erzeugten, die nicht richtig um das zu schließen schienen, was sie halten sollten, realistischere Handbewegungen und einen besseren Kontakt zu Objekten erzeugt. Sie erstellten zudem einen speziellen Datensatz mit über 30.000 Beispielen, um ihrem System beizubringen, wie diese Interaktionen aussehen sollten. Obwohl sie nicht behauptet haben, dass dies alle Probleme des Universums löst, deuten ihre Experimente darauf hin, dass dieser „kontinuierlich-diskrete“ Ansatz ein bedeutender Schritt nach vorn ist, um digitale Menschen zu erschaffen, die wirklich in Echtzeit mit ihrer Welt interagieren können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.