Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

Imaginez un personnage virtuel vous parlant. Pour que la conversation paraisse réelle, le personnage ne peut pas se contenter de bouger la bouche ; tout son corps doit participer. Les épaules se déplacent, les mains gesticulent et la posture change pour s'accorder au rythme et à l'émotion de la voix. C'est l'objectif de la génération de mouvement co-discursif : apprendre aux ordinateurs à créer des mouvements de tout le corps qui se synchronisent naturellement avec les paroles prononcées. Pendant des années, les chercheurs ont tenté de résoudre ce problème en construisant des squelettes numériques, où le mouvement d'une main est calculé en additionnant les rotations de l'épaule, du coude et du poignet dans une chaîne. Bien que cette approche imite la façon dont les os sont connectés, elle comporte un défaut caché. Tout comme une petite erreur dans une longue file de personnes se transmettant un message peut aboutir à un message final complètement erroné, de minuscules erreurs dans le calcul de la rotation d'une épaule peuvent s'amplifier au fur et à mesure qu'elles descendent le long du bras. Au moment où l'ordinateur calcule la position des bouts des doigts, l'erreur peut être si grande que la main semble tordue, brisée ou flottant de manière impossible.

Une équipe de chercheurs d'Alibaba Group et de l'Université technologique de Nanyang a proposé une nouvelle façon de résoudre ce problème, en abandonnant totalement la méthode de la réaction en chaîne. Au lieu de calculer comment chaque articulation tourne par rapport à la précédente, leur nouveau système, appelé GlobalDiff, décide de la direction finale de chaque articulation dans la pièce en même temps. Imaginez que l'on dise à chaque articulation exactement vers où pointer dans le monde, plutôt que de dire au coude vers où pointer par rapport à l'épaule. Cette approche empêche les petites erreurs de s'accumuler, garantissant que les mains et les pieds restent stables et précis, même lors de longues conversations expressives. Cependant, donner à chaque articulation une liberté totale crée un nouveau risque : le personnage pourrait tordre ses membres dans des formes qu'un corps humain ne pourrait physiquement pas atteindre. Pour corriger cela, les chercheurs ont ajouté un ensemble de règles invisibles qui agissent comme un guide, vérifiant que les os conservent la bonne longueur, que les angles entre les membres font sens et que le mouvement est fluide dans le temps.

Les chercheurs ont testé ce nouveau système sur une vaste collection de conversations enregistrées impliquant plus de 1 700 séquences de dialogues. Ils ont constaté qu'en prédisant directement la direction globale des articulations, l'ordinateur pouvait générer des mouvements bien plus stables que les méthodes précédentes. Lors de leurs tests, le nouveau système a réduit les erreurs de mouvement final de 46 % par rapport aux meilleurs outils existants. En examinant de près les résultats, la différence était évidente. Dans les anciens systèmes, les doigts semblaient souvent se retourner sur eux-mêmes ou les mains s'éloignaient du corps. Avec la nouvelle méthode, les mains restaient dans des positions naturelles et les gestes correspondaient à la voix du locuteur avec une précision qui semblait humaine. Le système a également appris à gérer différents locuteurs, maintenant cette haute qualité, que la voix appartienne à un homme ou à une femme, à un locuteur natif ou à quelqu'un ayant un accent différent.

Pour s'assurer que les mouvements n'étaient pas seulement stables mais aussi physiquement possibles, l'équipe a introduit trois couches de vérification. Premièrement, ils ont placé des marqueurs virtuels autour de chaque articulation pour s'assurer que la rotation soit précise, empêchant les membres de se tordre de manière non naturelle. Deuxièmement, ils ont mesuré les angles entre tous les os du corps pour s'assurer que le squelette reste intact, empêchant le personnage de courber sa colonne vertébrale ou ses membres dans des directions impossibles. Troisièmement, ils ont analysé le timing du mouvement pour s'assurer que les gestes suivaient le rythme de la parole, évitant les mouvements saccadés ou erratiques. Lorsqu'ils ont retiré ces vérifications une par une, la qualité du mouvement a chuté de manière significative, prouvant que les trois couches étaient nécessaires pour créer un résultat convaincant.

L'étude démontre qu'il est possible de générer un langage corporel réaliste et de longue durée pour des personnages virtuels sans l'accumulation d'erreurs qui a longtemps tourmenté le domaine. En traitant l'ensemble du corps comme une collection de parties indépendantes guidées par des règles physiques strictes, les chercheurs ont créé un système qui produit un mouvement fluide, anatomiquement correct et expressif. Ce travail suggère que l'avenir des avatars virtuels ne reposera peut-être pas sur des chaînes complexes de calculs sujets à l'échec, mais plutôt sur une compréhension globale et directe de la manière dont chaque partie du corps doit se déplacer dans l'espace. Le résultat est une présence numérique capable de parler et de bouger avec une naturel qui nous rapproche de l'interaction fluide entre les humains et les machines.