InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control
Das Papier stellt InteractGesture vor, eine modellagnostische Methode zur Inferenzzeit, die Progressive Chunk Guidance einsetzt, um eine feingliedrige, räumlich steuerbare Co-Speech-Gestenerzeugung in kontinuierlichen Streaming-Szenarien zu ermöglichen, indem Kontrollgradienten über Chunk-Grenzen hinweg propagiert werden, um Grenzinkonsistenzen aufzulösen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen digitalen Menschen vor, der zu Ihnen spricht, dessen Lippen sich perfekt im Takt seiner Worte bewegen und dessen Hände natürlich gestikulieren, um einen Punkt zu unterstreichen. Jahrelang haben Wissenschaftler Computern beigebracht, diese Bewegungen zu erzeugen, indem sie auf Audio hören, was zu Charakteren führt, die mit überraschendem Realismus sprechen und sich bewegen können. Eine bedeutende Einschränkung blieb jedoch bestehen: Während der Computer weiß, wie er einen Charakter winken oder die Achseln zucken lässt, konnte ihm nicht genau gesagt werden, wo genau diese Hand im Raum landen sollte. Wenn ein Animator wollte, dass das rechte Handgelenk eines Charakters ein bestimmtes Objekt auf einem Tisch berührt oder ein Ellbogen einen präzisen Pfad beschreibt, um einem Hindernis auszuweichen, konnte die bestehende Technologie dem nicht nachkommen. Die Bewegungen wurden als Ganzes generiert, wodurch die genaue Position einzelner Körperteile dem Zufall überlassen wurde, statt einer gezielten Anweisung zu folgen. Diese Lücke zwischen natürlicher, sprachgesteuerter Bewegung und präziser räumlicher Kontrolle war ein großes Hindernis für die Erstellung wahrhaft interaktiver virtueller Agenten.
Ein neuer Ansatz, der von Forschern bei Meta und der University of North Carolina at Charlotte vorgestellt wurde, schließt diese Lücke mit einer Methode namens InteractGesture. Dieses System ermöglicht es einem Computer, die Gesten eines Charakters basierend auf der Sprache zu generieren und gleichzeitig strikte Anweisungen darüber zu befolgen, wohin bestimmte Gelenke, wie Handgelenke oder Ellbogen, gehen müssen. Die Forscher behandelten den Bewegungsgenerator des Computers wie eine Blackbox, die sanft gesteuert werden konnte. Anstatt das gesamte System neu zu trainieren oder sein internes Gehirn zu verändern, passten die Forscher die Vorhersagen des Computers in Echtzeit an. Während das System eine Bewegung plante, dekodierten die Forscher diese Pläne in ein 3D-Skelett, prüften, ob die Hände an der richtigen Stelle waren, und falls nicht, drückten sie den Plan zurück in Richtung des gewünschten Standorts, bevor er finalisiert wurde. Dieser Prozess geschieht so schnell, dass der Computer lernt, den natürlichen Rhythmus der Sprache mit den starren Anforderungen der räumlichen Anweisungen des Nutzers in Einklang zu bringen.
Die Herausforderung wird erheblich schwieriger, wenn die Sprache kontinuierlich ist, wie etwa bei einem langen Gespräch, und nicht nur ein kurzer Clip. Computer verarbeiten lange Audioaufnahmen typischerweise in kleinen, überlappenden Segmenten oder Chunks. In der Vergangenheit war ein einmal generiertes Segment festgeschrieben. Wenn ein Nutzer wollte, dass die Hand eines Charakters in einem nächsten Segment ein Ziel erreicht, konnte der Computer die Bewegung des vorherigen Segments nicht mehr anpassen, um den Übergang fließend zu gestalten. Dies führte oft zu ruckartigen, unnatürlichen Sprüngen, bei denen die Hand plötzlich in Position sprang. Die Forscher identifizierten das starre Festschreiben vergangener Bewegungen als die Hauptursache dieser Fehler. Um dies zu lösen, entwickelten sie eine Strategie namens Progressive Chunk Guidance. Anstatt die Vergangenheit einzufrieren, hält diese Methode ein kleines Fenster der jüngsten Bewegungen editierbar. Wenn neue Audio-Daten eintreffen, aktualisiert das System kontinuierlich den Kontext des vorherigen Segments, wodurch zukünftige Anweisungen die vergangenen Bewegungen sanft in eine glattere Ausrichtung lenken können. Es ist ein wenig so, als würde man einen Film bearbeiten, während man ihn noch dreht, wobei der Regisseur den vorherigen Schritt des Schauspielers anpassen kann, um sicherzustellen, dass der nächste Schritt perfekt landet, ohne warten zu müssen, bis der gesamte Film fertig ist.
Die Ergebnisse dieses Ansatzes wurden an einem großen Datensatz von aufgenommenem menschlichem Sprechen und Bewegung getestet. Das Team verglich ihre neue Methode mit älteren Techniken, darunter ein gängiger Ansatz, der versucht, die Gelenke erst nach der Generierung der Bewegung in Position zu zwingen, sowie einen anderen Ansatz, der versucht, jedes Segment unabhängig zu steuern. Die älteren Methoden erzeugten oft Bewegungen, die steif oder unnatürlich wirkten, oder sie erreichten die Zielpositionen nicht genau und verfehlten das Ziel um fast zwanzig Zentimeter in einigen Fällen. Im Gegensatz dazu erreichte die neue Methode eine durchschnittliche Abweichung von nur etwas über sechs Zentimetern und bewahrte dabei die flüssige, natürliche Qualität der ursprünglichen sprachgesteuerten Gesten. Das System konnte die Hände des Charakters erfolgreich zu spezifischen Punkten führen, komplexe Pfade für die Arme nachzeichnen und sogar den Charakter so ausrichten, dass er in eine bestimmte Richtung zeigt, während es das Timing der Bewegungen perfekt mit der Stimme synchron hielt.
Diese Arbeit zeigt, dass es möglich ist, sowohl den natürlichen Fluss der sprachgesteuerten Animation als auch die präzise Kontrolle eines menschlichen Animators zu vereinen. Indem sie dem Computer ermöglichen, seine eigenen Pläne während der Generierung zu verfeinern und die jüngste Vergangenheit flexibel genug zu halten, um zukünftige Anweisungen aufzunehmen, haben die Forscher ein System geschaffen, das die räumlichen Befehle des Nutzers respektiert, ohne die lebensechte Qualität der Bewegung zu opfern. Die Ergebnisse legen nahe, dass digitale Menschen bald mit demselben Detailgrad wie ein echter Schauspieler gesteuert werden können, fähig dazu, mit virtuellen Objekten zu interagieren und komplexe Umgebungen mit einer Präzision zu navigieren, die zuvor unerreichbar war. Die Forscher haben ihre Werkzeuge zur Verfügung gestellt, um die Tür für weitere interaktive und reaktionsfähige virtuelle Assistenten und Charaktere in der Zukunft zu öffnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.