Multi-View Face and Gesture Animation with Dynamic Gaussians
Ce document présente MVFGA, un nouveau pipeline multi-vues qui combine une modélisation distincte du visage et des mains avec un maillage paramétrique du haut du corps et le Gaussian splatting 3D pour générer des avatars du haut du corps photoréalistes et de haute fidélité avec des expressions faciales et des gestes de la main précis, accompagné de la publication du jeu de données MVFGA-MoCap.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de construire le jumeau numérique d'une personne réelle pour un jeu vidéo ou une réunion virtuelle. Dans le monde de l'infographie, c'est comme essayer de créer une marionnette qui ressemble exactement à un humain, mais qui peut bouger et parler aussi naturellement qu'un être vivant. Pendant longtemps, les scientifiques se sont heurtés à un problème délicat : comment créer un visage numérique qui sourit avec une véritable émotion tout en faisant simultanément signe de la main ou pointe du doigt avec une précision parfaite ? Si l'on se concentre trop sur le visage, les mains ressemblent à des blocs rigides. Si l'on se concentre sur l'ensemble du corps, le visage prend souvent l'aspect d'un masque lisse et sans expression. Ce document provient du domaine de l'animation par ordinateur, une branche de la science dédiée à l'apprentissage de la création d'images animées par les ordinateurs. Il s'appuie sur deux idées principales : les « modèles paramétriques », qui sont comme des squelettes numériques flexibles pouvant être étirés et tordus pour s'adapter à la forme d'une personne, et le « 3D Gaussian Splatting », une technique moderne qui peint une scène avec des millions de petits points 3D flous au lieu d'utiliser des triangles plats traditionnels. L'objectif est de créer des avatars qui ne se contentent pas d'avoir l'air réels sur une photo, mais qui semblent vivants lorsqu'ils bougent, évitant ainsi la « vallée de l'étrange » — ce sentiment de malaise que l'on ressent face à quelque chose qui ressemble presque à un humain, mais qui semble légèrement « décalé ».
Les chercheurs derrière cette étude, Alireza Javanmardi et son équipe, ont décidé de s'attaquer à ce problème en construisant un nouveau système qu'ils appellent MVFGA (Multi-View Face and Gesture Animation with Dynamic Gaussians). Considérez leur approche comme un chef cuisinier expert qui cesse d'essayer de cuisiner un repas entier dans une seule et immense marmite pour plutôt préparer les ingrédients séparément avant de les combiner parfaitement. Au lieu d'essayer de modéliser tout le corps humain comme un seul bloc massif et désordonné, ils ont construit une marionnette spéciale de type « buste ». Ils ont pris un modèle de corps numérique standard et ont chirurgicalement retiré les jambes, ne conservant que le torse, la tête et les bras. Ensuite, ils ont fait quelque chose d'astucieux : ils ont attaché deux « panneaux de contrôle » spécialisés à cette marionnette. Un panneau est entièrement dédié au visage (en utilisant un système appelé FLAME), et l'autre est entièrement dédié aux mains (en utilisant un système appelé MANO). Cela permet à l'ordinateur de modifier les expressions faciales et les mouvements des doigts de manière indépendante, garantissant qu'un sourire ne déforme pas accidentellement les doigts, et qu'un signe de la main ne déforme pas les yeux.
Une fois ce squelette flexible prêt, ils ne se sont pas arrêtés au simple fil de fer. Ils ont recouvert la marionnette d'une couche de « Gaussiennes 3D ». Imaginez que vous preniez une poignée de petits nuages lumineux et flous et que vous les colliez partout sur la surface de la marionnette. Ces nuages ne sont pas de simples décorations ; ils détiennent la couleur et la texture de la peau, des cheveux et des vêtements de la personne. Lorsque la marionnette bouge, ces nuages s'étirent et se compriment avec elle, créant une image super réaliste et haute définition qui ressemble à une photographie plutôt qu'à un dessin animé. Pour apprendre à l'ordinateur comment faire cela, l'équipe n'a pas seulement utilisé une seule caméra. Ils ont installé un studio avec 17 caméras disposées en cercle autour du sujet. Ils ont filmé 15 personnes différentes effectuant diverses actions, allant de grimaces amusantes à des gestes complexes des mains et des conversations fluides. Cela a créé un ensemble de données massif, qu'ils ont nommé MVFGA-MoCap, servant de terrain d'entraînement où l'ordinateur pouvait apprendre exactement comment la lumière et l'ombre se comportent sur un humain en mouvement sous tous les angles possibles.
Les résultats de leurs expériences ont été assez impressionnants. Lorsqu'ils ont testé leur nouveau système par rapport aux autres méthodes de pointe, MVFGA a systématiquement produit des images plus nettes et plus réalistes. Par exemple, en mesurant la proximité de l'image générée par ordinateur avec la photo réelle, leur méthode présentait un taux d'erreur (L1) de seulement 4,06, ce qui est bien inférieur à la deuxième meilleure méthode, qui affichait une erreur de 9,59. En termes de similitude visuelle (SSIM), ils ont obtenu un score de 0,938, battant la concurrence. Mais la véritable magie résidait dans les détails. Alors que d'autres méthodes transformaient souvent les mains en formes floues ou perdaient la forme spécifique des doigts lorsqu'ils se croisaient, MVFGA maintenait des doigts distincts et précis. Ils ont également constaté que leurs avatars pouvaient être pilotés par une simple vidéo d'une personne parlant, et que le système reproduisait fidèlement les expressions faciales et les gestes des mains sur le jumeau numérique, même sous des angles de caméra que les caméras n'avaient jamais réellement vus.
Cependant, les auteurs prennent soin de préciser que ce n'est pas une baguette magique qui résout tout. Leur système repose toujours sur ce modèle de « squelette » sous-jacent, ce qui signifie qu'il ne peut pas facilement gérer des éléments comme la chemise d'une personne flottant violemment au vent ou un chapeau tombant, car ce sont des « mouvements secondaires » que le modèle ne suit pas explicitement. De plus, comme ils ont entraîné le système principalement sur des vues de face, il éprouve quelques difficultés si l'on tente de regarder l'avatar par l'arrière, car l'ensemble de données n'a pas capturé suffisamment d'informations depuis l'arrière. Malgré ces limites, l'article suggère qu'en séparant le visage et les mains, puis en les enveloppant dans un nuage de points 3D, ils ont trouvé un moyen de créer des humains numériques qui sont beaucoup plus proches d'être véritablement réalistes, ouvrant la voie à des expériences de réalité virtuelle plus immersives et à de meilleurs outils de communication numérique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.