GestureFM : Compact Latent Flow Matching for Low-Latency Co-Speech Body-Motion Generation
GestureFM ist ein kompaktes latentes Flow-Matching-Framework, das eine latenzarme, hochwertige Streaming-Generierung von ko-spezifischer Körperbewegung ermöglicht, indem es SMPL-X-Posen in einen latenten Raum komprimiert und einen leichtgewichtigen Glatter verwendet, um Diskontinuitäten an Chunk-Grenzen zu beheben, wodurch eine wettbewerbsfähige Bewegungsqualität bei minimaler Latenz des ersten Chunks erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie unterhalten sich mit einem Freund, und während Sie sprechen, bewegen sich Ihre Hände, Arme und Ihr Körper ganz natürlich passend zu Ihren Worten. Dies wird als „Co-Speech-Gestik“ bezeichnet und ist ein wesentlicher Bestandteil der menschlichen Kommunikation. Stellen Sie sich nun einen Videospielcharakter oder einen virtuellen Assistenten vor, der dasselbe tun möchte. Die Herausforderung besteht darin, dass der Computer auf Ihre Stimme hören, verstehen muss, was Sie sagen, und den Körper des Charakters sofort passend dazu bewegen muss. Aber hier ist der Haken: Wenn der Computer wartet, bis Sie Ihren ganzen Satz beendet haben, bevor er mit der Bewegung beginnt, wirkt der Charakter wie ein Roboter, der immer einen Schritt hinterherhinkt. Um echt zu wirken, muss der Charakter sich bewegen, während Sie noch sprechen. Das ist die Welt der „Low-Latency Streaming Generation“ – digitale Menschen in Echtzeit zu bewegen, ohne Verzögerung.
Um dies zu erreichen, nutzen Wissenschaftler spezielle mathematische Tricks. Ein Trick ist ein „Variational Autoencoder“ (VAE), der wie eine super-effiziente Kompressions-App funktioniert. Er nimmt eine riesige, komplexe 3D-Körperbewegung und presst sie in einen winzigen, einfachen Code (einen „Latent Space“), der für einen Computer viel leichter zu handhaben ist. Ein anderer Trick ist „Flow Matching“, was so ist, als würde man eine gerade, glatte Linie von einer zufälligen Kritzelei zu einem perfekten Bild ziehen. Anstatt das Bild Schritt für Schritt wie ein unsicherer Künstler zu erraten, lernt Flow Matching den exakten Pfad, den es nehmen muss, wodurch der Computer das fertige Bild sehr schnell zeichnen kann. Die große Frage, die Forscher zu lösen versuchen, lautet: Können wir diese Werkzeuge kombinieren, um einen virtuellen Menschen so schnell und flüssig zu bewegen, dass es sich anfühlt, als wäre er wirklich da, selbst während wir noch sprechen?
Hier kommt GestureFM ins Spiel, eine neue Studie, die genau versucht, diese Frage zu beantworten. Die Forscher Jie Liu, Tianmei Sun und Zian Liu entwickelten ein System, das darauf ausgelegt ist, Körperbewegungen aus Sprache mit fast null Verzögerung zu generieren. Sie nennen ihr System „GestureFM“, weil es dieses „Flow Matching“-Magie innerhalb eines komprimierten „Latent Space“ nutzt.
So funktioniert ihr System, erklärt mit einer einfachen Analogie: Stellen Sie sich vor, Sie versuchen, einem Freund über ein Telefonat einen Tanz zu beschreiben, aber Sie können ihm immer nur kurze, 1-sekündige Tonclips schicken. Ihr Freund muss sofort mit dem Tanzen beginnen, basierend auf dem, was er bisher gehört hat. GestureFM ist der „Freund“, der darin unglaublich gut ist. Zuerst nutzt es einen „Gesture VAE“, um die komplexen 168-dimensionalen Bewegungen eines menschlichen Körpers (wie alle Winkel Ihrer Gelenke) in einen winzigen, 44-Token-Code zu übersetzen. Das ist so, als würde man einen Spielfilm in ein paar schnelle Skizzennotizen verwandeln. Dann hört ein „Audio-conditioned Flow Matching Transformer“ auf Ihre Stimme (speziell auf die Klangmuster, die sogenannten Log-Mel-Features) und nutzt diese Skizzennotizen, um die nächste Sekunde der Bewegung zu zeichen.
Der aufregendste Teil ihrer Entdeckung ist, wie schnell und effizient dies ist. Das Team fand heraus, dass sie den allerersten Teil der Bewegung in nur 22 Millisekunden generieren konnten. Um das einzuordnen: Das ist 0,022-mal die Geschwindigkeit der Echtzeit. Das bedeutet, der Computer arbeitet etwa 45-mal schneller als das echte Leben, was genügend Spielraum lässt, damit die Bewegung sofort stattfinden kann, während Sie sprechen.
Sie testeten auch, wie viele „Schritte“ der Computer benötigt, um die Bewegung zu zeichnen. In vielen KI-Systemen führt das Erhöhen der Schritte meist zu einem besseren Bild, aber einer langsameren Geschwindigkeit. Flow Matching fand jedoch etwas Überraschendes heraus: Mehr Schritte machten die Bewegung nicht wesentlich besser. Ob sie 2 oder 32 Schritte vollzogen, die Qualität der Bewegung (gemessen mit einem Score namens Fréchet Gesture Distance oder FGD) blieb fast exakt gleich. Aus diesem Grund empfehlen sie, nur 2 Schritte (K=2) zu verwenden, um die schnellstmögliche Geschwindigkeit ohne Qualitätsverlust zu erreichen.
Es gab jedoch einen kleinen Fehler. Da das System Bewegungen in 1-Sekunden-Blöcken generiert, fühlte sich der Übergang zwischen einem Block und dem nächsten manchmal etwas ruckelig an, wie ein Video, das für einen Sekundenbruchteil stockt. Um dies zu beheben, fügten sie einen „7-Frame Local Smoother“ hinzu. Denken Sie an einen winzigen Editor, der das Ende einer Sekunde der Bewegung sanft mit dem Anfang der nächsten Sekunde verschmilzt. Diese einfache Korrektur reduzierte den „Geschwindigkeitsprung“ (die plötzliche Ruckeligkeit) um 85 % und machte die Bewegung viel flüssiger, ohne den Rhythmus des Tanzes zur Musik zu stören.
Die Forscher testeten auch einige andere Ideen, um zu sehen, ob sie es noch besser machen könnten, schlossen aber einige davon aus. Zum Beispiel versuchten sie, dem System ein „Gedächtnis“ zu geben, indem sie das Ende des vorherigen Bewegungsblocks an den nächsten übergaben. Leider verschlechterte dies die Qualität der Bewegung erheblich (der FGD-Score sprang von 0,253 auf 1,740). Sie erkannten, dass dies daran lag, dass das System mit perfekten, realen Bewegungsdaten trainiert wurde, aber wenn es während des Tests versuchte, sein eigenes „Gedächtnis“ zu nutzen, durch seine eigenen Fehler verwirrt wurde. Daher entschieden sie sich dafür, es vorerst besser zu machen, jeden Block unabhängig zu halten und lediglich den Glättungstrick für die Übergänge zu verwenden.
Letztendlich zeigt GestureFM, dass man hochwertige Körperbewegungen mit geringer Latenz für virtuelle Menschen erzeugen kann, ohne warten zu müssen, bis der ganze Satz beendet ist. Durch die Komprimierung der Daten, die Nutzung von Flow Matching und das Hinzufügen eines einfachen Glättungsfilters erreichten sie ein System, das sowohl unglaublich schnell (22 ms Latenz) als auch sehr präzise ist und den Rhythmus der Sprache perfekt trifft. Es ist ein großer Schritt hin zu digitalen Menschen, die nicht nur sprechen, sondern sich in Echtzeit wirklich mit uns bewegen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.