Emotion Intensity Matters: Generating Realistic Expressions in Virtual Humans with CVAEs
Cet article propose un auto-encodeur variationnel conditionnel (CVAE) entraîné sur un petit ensemble de données d'expressions faciales humaines réelles pour générer des animations humaines virtuelles contrôlables et réalistes qui préservent la cohérence sémantique et reflètent avec précision diverses intensités émotionnelles sans nécessiter d'intervention manuelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'infographie, créer un personnage qui semble véritablement vivant est l'une des tâches les plus difficiles auxquelles un artiste peut être confronté. Bien que nous soyons capables depuis longtemps de construire des humains virtuels au l'aspect réaliste, leur donner une sensation de réalité exige plus qu'un beau visage ; cela nécessite le langage subtil et changeant de l'émotion. Pendant des décennies, les animateurs se sont appuyés sur une méthode appelée l'animation pilotée par la performance, où des caméras capturent le visage d'un véritable acteur et projettent ces mouvements sur un personnage numérique. Cela fonctionne bien, mais cela exige un interprète humain pour chaque expression et limite la capacité de créer des variations sans repartir de zéro. Une nouvelle approche cherche à apprendre aux ordinateurs à comprendre les règles de l'émotion humaine afin qu'ils puissent inventer de nouvelles expressions par eux-mêmes, sans avoir besoin d'un acteur devant une caméra. Le défi a été que les émotions ne sont pas statiques ; elles changent en intensité, passant d'un léger soupçon de tristesse à une vague de chagrin écrasante. La plupart des modèles informatiques peinent à capturer cette nuance, produisant souvent des visages trop lisses ou génériques, manquant de l'intensité spécifique qui rend un sentiment crédible.
Des chercheurs de l'Université Catholique Pontificale du Rio Grande do Sul, au Brésil, ont développé une nouvelle façon de résoudre ce problème, visant à apprendre à un ordinateur à générer des expressions émotionnelles réalistes avec différents niveaux d'intensité. Ils se sont concentrés sur six émotions humaines de base : la joie, la colère, la peur, la tristesse, le dégoût et la surprise. Au lieu de demander à un ordinateur de simplement copier une vidéo, ils ont entraîné un système à apprendre la structure sous-jacente de ces sentiments à partir d'une collection de performances humaines réelles. L'équipe a rassemblé des séquences vidéo de seize personnes différentes, huit hommes et huit femmes, jouant ces six émotions à deux niveaux de force distincts : faible et élevé. À partir de ces images, ils ont extrait les valeurs numériques spécifiques qui contrôlent le mouvement d'un visage virtuel, comme la hauteur à laquelle un sourcil se lève ou la largeur d'une bouche ouverte. Cela a abouti à un ensemble de données de 7 680 moments spécifiques d'expression faciale, un nombre relativement faible pour une tâche aussi complexe, que les chercheurs ont utilisé pour enseigner à leur modèle.
Le cœur de leur méthode est un type d'intelligence artificielle appelé Autoencodeur Variationnel Conditionnel. En termes simples, ce système fonctionne comme un étudiant qui étudie un ensemble d'exemples puis apprend à dessiner de nouveaux tableaux basés sur une description. L'ordinateur a reçu les données faciales accompagnées d'étiquettes indiquant quelle émotion était représentée, quelle était son intensité, et si la personne était un homme ou une femme. Le système a appris à compresser cette information dans une représentation interne compacte, créant essentiellement une carte mentale de ce à quoi ressemble chaque émotion à différentes intensités. Lorsqu'on lui demande de générer une nouvelle expression, l'ordinateur peut recevoir l'instruction de créer « un visage joyeux de haute intensité pour une femme » ou « un visage triste de faible intensité pour un homme », et il produira un nouvel ensemble de mouvements faciaux correspondant à ces instructions. Les chercheurs ont constaté que le système pouvait créer avec succès des variations émotionnelles cohérentes, mais les résultats initiaux présentaient un défaut courant de ce type de technologie : les expressions étaient trop lisses. L'ordinateur avait tendance à moyenner les détails, rendant les visages calmes et légèrement ternes, manquant les pics aigus de l'émotion humaine réelle.
Pour corriger cet effet de lissage, l'équipe a ajouté une deuxième étape à leur processus, agissant comme une couche de raffinement. Ils ont calculé la différence entre les expressions humaines réelles de départ et les versions légèrement ternes créées par le premier modèle informatique. Ils ont ensuite entraîné un second système spécialisé à apprendre le schéma de ces différences. Ce second système agissait comme un outil de correction, identifiant précisément là où le premier modèle avait manqué sa cible et réinjectant l'énergie et la dynamique manquantes. Lorsque cette correction a été appliquée, les visages virtuels ont retrouvé leur vigueur naturelle. Les mouvements de la bouche sont devenus plus prononcés et l'intensité des émotions est revenue à des niveaux proches des performances humaines originales. Des tests statistiques ont confirmé que les expressions corrigées finales étaient beaucoup plus proches des données humaines réelles que les versions initiales générées par ordinateur, doublant efficacement la similitude dans la manière dont les contrôles faciaux se déplaçaient.
L'étude a également mesuré l'efficacité d'un programme informatique distinct et indépendant pour reconnaître les émotions dans ces nouveaux visages virtuels. Avant l'étape de correction, l'ordinateur éprouvait parfois des difficultés à identifier les sentiments, particulièrement avec des émotions complexes comme la peur ou la surprise. Après l'étape de raffinement, les taux de reconnaissance se sont considérablement améliorés pour la plupart des émotions, suggérant que les détails ajoutés n'étaient pas du bruit aléatoire mais de véritables indices émotionnels. Les chercheurs ont noté que le système fonctionnait bien pour les niveaux d'intensité faibles et élevés, prouvant qu'il pouvait gérer toute la gamme de l'expression humaine sans avoir besoin d'être réentraîné pour chaque nouveau scénario. Bien que le système nécessite encore des tests supplémentaires auprès d'observateurs humains pour voir si les visages paraissent naturels à un véritable public, les résultats démontrent qu'il est possible de créer des personnages virtuels contrôlables et expressifs à partir d'un ensemble relativement restreint de données du monde réel. Cette approche offre une voie d'avenir pour créer des personnages numériques capables d'exprimer tout le spectre du sentiment humain sans le besoin constant d'acteurs humains ou d'ajustements artistiques manuels.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.