InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control
Le document présente InteractGesture, une méthode agnostique au modèle et appliquée au moment de l'inférence, qui emploie le guidage par blocs progressifs (Progressive Chunk Guidance) pour permettre une génération de gestes de co-parole à contrôle spatial fin dans des scénarios de flux continu, en propageant les gradients de contrôle à travers les limites de blocs afin de résoudre les incohérences aux frontières.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un humain numérique vous parlant, ses lèvres bougeant en parfaite synchronisation avec ses paroles, ses mains gesticulant naturellement pour accentuer un point. Pendant des années, les scientifiques ont appris aux ordinateurs à créer ces mouvements en écoutant l'audio, produisant des personnages capables de parler et de bouger avec un réalisme surprenant. Cependant, une limitation significative a persisté : si l'ordinateur sait comment faire faire un signe de la main ou un haussement d'épaules à un personnage, il ne peut pas être informé exactement de l'endroit où cette main doit atterrir dans l'espace. Si un animateur voulait que le poignet droit du personnage touche un objet spécifique sur une table, ou qu'un coude suive un chemin précis pour éviter un obstacle, la technologie existante ne pouvait pas y répondre. Les mouvements étaient générés dans leur ensemble, laissant l'emplacement spécifique des parties du corps au hasard plutôt qu'à la commande. Ce fossé entre le mouvement naturel dicté par la parole et le contrôle spatial précis a été un obstacle majeur à la création d'agents virtuels véritablement interactifs.
Une nouvelle approche, introduite par des chercheurs de Meta et de l'Université de Caroline du Nord à Charlotte, comble ce fossé avec une méthode appelée InteractGesture. Ce système permet à un ordinateur de générer les gestes d'un personnage en fonction de la parole tout en obéissant simultanément à des instructions strictes sur l'endroit où des articulations spécifiques, comme les poignets ou les coudes, doivent se trouver. Les chercheurs ont traité le générateur de mouvement de l'ordinateur comme une boîte noire qui pouvait être doucement guidée. Au lieu de réentraîner l'ensemble du système ou de modifier son cerveau interne, ils ont ajusté les prédictions de l'ordinateur en temps réel. Tandis que le système planifiait un mouvement, les chercheurs décodaient ces plans en un squelette 3D, vérifiaient si les mains étaient au bon endroit et, si ce n'était pas le cas, ils repoussaient le plan vers l'emplacement souhaité avant de le finaliser. Ce processus se produit si rapidement que l'ordinateur apprend à équilibrer le rythme naturel de la parole avec les exigences rigides des instructions spatiales de l'utilisateur.
Le défi devient nettement plus difficile lorsque la parole est continue, comme lors d'une longue conversation, plutôt que lors d'un court extrait. Les ordinateurs traitent généralement de longs audios en petits segments ou blocs qui se chevauchent. Par le passé, une fois qu'un segment était généré, il était verrouillé en place. Si un utilisateur voulait que la main du personnage atteigne une cible dans le segment suivant, l'ordinateur ne pouvait pas revenir en arrière pour ajuster le mouvement du segment précédent afin de rendre la transition fluide. Cela entraînait souvent des sauts saccadés et peu naturels où la main se positionnait brusquement. Les chercheurs ont identifié que ce verrouillage rigide des mouvements passés était la cause principale de ces erreurs. Pour le résoudre, ils ont développé une stratégie appelée Progressive Chunk Guidance (Guidage de Segment Progressif). Plutôt que de figer le passé, cette méthode garde une petite fenêtre de mouvements récents modifiables. À mesure que l'audio arrive, le système met continuellement à jour le contexte du segment précédent, permettant aux instructions futures de pousser doucement les mouvements passés vers un alignement plus fluide. C'est un peu comme monter un film tout en continuant à le filmer, où le réalisateur peut ajuster le pas précédent de l'acteur pour s'assurer que le pas suivant atterrit parfaitement, sans avoir à attendre que le film soit terminé.
Les résultats de cette approche ont été testés sur un large ensemble de données de parole et de mouvements humains enregistrés. L'équipe a comparé leur nouvelle méthode aux techniques plus anciennes, incluant une approche courante qui tente de forcer les articulations en place après que le mouvement a déjà été généré, ainsi qu'une autre qui tente de contrôler chaque segment indépendamment. Les anciennes méthodes produisaient souvent des mouvements qui paraissaient raides ou peu naturels, ou elles échouaient à atteindre les positions cibles avec précision, manquant la marque de près de vingt centimètres dans certains cas. En revanche, la nouvelle méthode a atteint une erreur moyenne d'à peine six centimètres tout en conservant la qualité fluide et naturelle des gestes dictés par la parole. Le système a réussi à guider les mains du personnage vers des points spécifiques, à tracer des chemins complexes pour les bras, et même à orienter le personnage pour qu'il pointe dans une direction spécifique, tout en maintenant le timing des mouvements parfaitement synchronisé avec la voix.
Ce travail démontre qu'il est possible d'avoir à la fois le flux naturel de l'animation dictée par la parole et le contrôle précis d'un animateur humain. En permettant à l'ordinateur d'affiner ses propres plans au fur et à mesure qu'il les génère, et en gardant le passé récent suffisamment flexible pour accommoder les instructions futures, les chercheurs ont créé un système qui respecte les commandes spatiales de l'utilisateur sans sacrifier la qualité réaliste du mouvement. Les conclusions suggèrent que les humains numériques pourront bientôt être dirigés avec le même niveau de détail qu'un véritable acteur, capables d'interagir avec des objets virtuels et de naviguer dans des environnements complexes avec un niveau de précision qui était auparavant hors de portée. Les chercheurs ont mis leurs outils à disposition des autres, ouvrant la porte à des assistants et des personnages virtuels plus interactifs et réactifs à l'avenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.