🤖 machine learning

Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

Cet article introduit « Avatar Forcing », un cadre d'avatar de tête interactif en temps réel qui utilise la force de diffusion (diffusion forcing) et l'optimisation de préférence directe sans étiquetage pour générer des réactions d'avatar à faible latence, expressives et émotionnellement engageantes en réponse aux entrées multimodales de l'utilisateur.

Auteurs originaux : Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez en appel vidéo avec un ami numérique. Habituellement, ces amis numériques semblent un peu robotiques : ils attendent que vous finissiez de parler, puis ils donnent une réponse préprogrammée. Ils n'écoutent pas vraiment pendant que vous parlez, et ils ne réagissent pas instantanément à vos sourires ou à vos hochements de tête. Cela ressemble à une rue à sens unique.

Le document « Avatar Forcing » présente une nouvelle façon de faire de ces amis numériques de véritables partenaires de conversation. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Robot « Attendre et Voir »

Les avatars numériques actuels sont comme un élève qui doit attendre que le professeur termine tout son cours avant de pouvoir lever la main. Ils ont besoin de voir l'intégralité de la conversation (ou du moins plusieurs secondes de celle-ci) avant de pouvoir décider comment bouger la tête ou changer d'expression. Cela provoque un délai, rendant la conversation rigide et peu naturelle.

De plus, lorsque ces avatars « écoutent », ils restent souvent là comme des statues. Ils ne savent pas comment hocher la tête, sourire en retour ou montrer de l'intérêt, car les données sur lesquelles ils ont été entraînés ne présentaient pas assez d'exemples de conversations animées et naturelles.

2. La Solution : « L'Avatar Forcing »

Les auteurs ont créé un système appelé Avatar Forcing. Considérez cela comme l'apprentissage pour l'avatar d'être un interlocuteur « en direct » plutôt qu'un interlocuteur « enregistré ».

Le Moteur de « Réaction Instantanée » :
Au lieu d'attendre toute la conversation, l'avatar utilise une technique appelée Diffusion Forcing. Imaginez un peintre qui peint une scène coup de pinceau par coup de pinceau, en regardant uniquement ce qu'il a déjà peint et ce que l'utilisateur fait en ce moment même. Il ne regarde pas le futur. Cela permet à l'avatar de réagir en temps réel (avec un délai d'environ une demi-seconde), rendant la conversation instantanée et fluide.
- Analogie : C'est comme jouer à un jeu de balle où vous lancez la balle, et l'avatar la rattrape immédiatement et la renvoie, plutôt que d'attendre que vous lanciez dix balles d'abord.
Le « Miroir à Double Face » :
L'avatar n'écoute pas seulement votre voix ; il observe aussi votre visage et votre corps. Si vous souriez, l'avatar sourit en retour. Si vous hochez la tête, il hoche la tête. Il utilise un « Encodeur de Mouvement Dual » qui agit comme un traducteur, combinant votre voix, vos expressions faciales et vos mouvements de tête en une seule instruction pour l'avatar.
- Analogie : C'est comme un partenaire de danse qui reproduit parfaitement vos mouvements. Si vous vous penchez en avant, il se penche en avant. Si vous reculez, il recule.

3. Apprendre à être « Animé » (L'astuce de la Préférence)

L'une des parties les plus difficiles était d'apprendre à l'avatar à être expressif sans avoir besoin d'un enseignant humain pour étiqueter chaque vidéo par « beau sourire » ou « mauvais hochement de tête ».

Les chercheurs ont utilisé une astuce ingénieuse appelée Optimisation de la Préférence Directe (DPO).

Comment ça marche : Ils ont créé deux versions de la réaction de l'avatar pour le même moment.
1. La Version « Ennuyeuse » : Un avatar qui écoute seulement la voix et ignore le visage de l'utilisateur (ce qui est l'échantillon « le moins préféré »).
2. La Version « Animée » : Un avatar qui réagit à la fois à la voix et au visage de l'utilisateur (ce qui est l'échantillon « préféré »).
Le Résultat : Le système apprend en comparant ces deux versions. Il réalise : « Hé, la version qui sourit quand l'utilisateur sourit est bien meilleure ! » Il s'enseigne à lui-même à être plus expressif et réactif sans que personne n'ait à écrire de règles pour lui.

4. Les Résultats

Lorsqu'ils ont testé ce nouveau système :

Vitesse : Il est incroyablement rapide, réagissant en environ 500 millisecondes (une demi-seconde). C'est assez rapide pour donner l'impression d'une véritable conversation en direct.
Qualité : Lors de tests avec de vraies personnes, plus de 80 % du temps, les gens ont préféré ce nouvel avatar aux meilleurs modèles précédents. Ils ont trouvé qu'il était plus naturel, plus réactif et plus engageant.
Visuels : Les lèvres de l'avatar correspondent toujours parfaitement aux mots, mais les mouvements de la tête et les expressions faciales semblent désormais vivants et connectés à la personne qui lui parle.

Résumé

L'Avatar Forcing est comme une mise à niveau d'une marionnette numérique vers un partenaire en temps réel. En utilisant une méthode de « peinture au fur et à mesure » (Diffusion Forcing) et en apprenant au système à préférer les réactions animées aux réactions rigides (Optimisation de la Préférence), l'avatar peut enfin tenir une conversation naturelle et interactive où il sourit, hoche la tête et réagit instantanément à vous, tout comme un humain le ferait.

Résumé Technique : Avatar Forcing

Énoncé du Problème

Les modèles actuels de génération de têtes parlantes se concentrent principalement sur la création d'avatars réalistes à partir de portraits statiques pour une communication unidirectionnelle (ex. : présentateurs virtuels). Bien qu'efficaces pour la synchronisation labiale et les mouvements de tête de base, ces systèmes ne parviennent pas à reproduire la nature bidirectionnelle de l'interaction face à face réelle. Ils manquent généralement de la capacité de s'engager dans des conversations interactives où l'avatar répond à la fois aux indices verbaux et non verbaux (ex. : hochements de tête, sourires, rires) d'un utilisateur en temps réel.

Les auteurs identifient deux défis primaires dans la création d'avatars véritablement interactifs :

Contraintes de Causalité en Temps Réel : Les méthodes existantes nécessitent souvent l'accès au contexte complet de la conversation (incluant les trames futures) pour générer le mouvement, ce qui entraîne une latence élevée (ex. : >3 secondes). Cela empêche les réactions instantanées nécessaires à un dialogue naturel.
Apprentissage des Interactions Expressives : Les comportements interactifs naturels sont difficiles à modéliser en raison du manque de données bien organisées. Les jeux de données d'écoute existants présentent souvent des mouvements raides et à faible variance. De plus, réagir aux indices de l'utilisateur est intrinsèquement ambigu (une correspondance un-vers-plusieurs), ce qui rend difficile l'apprentissage par les modèles de réponses vibrantes et diverses sans données étiquetées supplémentaires.

Méthodologie : Avatar Forcing

Le document propose Avatar Forcing, un cadre pour la génération d'avatars de tête interactifs en temps réel qui modélise les interactions utilisateur-avatar via le diffusion forcing dans un espace latent de mouvement appris.

1. Causal Diffusion Forcing pour l'Interaction en Temps Réel

Pour traiter la latence, le cadre emploie une approche de Causal Diffusion Forcing au sein d'un espace latent de mouvement, plutôt que de générer directement des pixels bruts.

Encodage du Latent de Mouvement : Un auto-encodeur de mouvement dual décompose les images d'entrée en latents d'identité ( $z_S$ ) et en latents de mouvement ( $m_S$ ). Le latent de mouvement capture les mouvements globaux de la tête et les expressions faciales fines.
Double Encodeur de Mouvement : Ce module encode des entrées multimodales — l'audio de l'utilisateur ( $a_u$ ), le mouvement de l'utilisateur ( $m_u$ ) et l'audio de l'avatar ( $a$ ) — en une condition unifiée. Il utilise des couches d'attention croisée (cross-attention) pour aligner les signaux de l'utilisateur et apprendre la relation causale entre l'utilisateur et l'avatar.
Générateur de Mouvement Causal DFoT : Le générateur central est un Transformer de Diffusion Forcing (DFoT) opérant sous des contraintes de causalité.
- Structure Causale par Blocs : Les trames latentes sont divisées en blocs. Le modèle prédit le bloc suivant en se basant sur les blocs passés et la condition actuelle, évitant ainsi le besoin de contexte futur.
- Masque de Regard Anticipatif (Look-Ahead Mask) : Pour assurer des transitions temporelles fluides entre les blocs, un masque causal de "regard anticipatif" est introduit. Cela permet à un bloc d'être attentif à un nombre limité de trames futures au sein du même bloc tout en maintenant la causalité globale, atténuant ainsi les saccades de mouvement.
- Mise en Cache KV (KV Caching) : Le système utilise la mise en cache Clé-Valeur (KV) pour réutiliser efficacement les informations passées, permettant une inférence en temps réel avec une latence d'environ 500 ms.

2. Optimisation de Préférence Directe (DPO) pour l'Expressivité

Pour remédier au manque de données d'entraînement expressives et à l'ambiguïté des réponses interactives, les auteurs introduisent une méthode d'optimisation de préférence sans étiquetage.

Paires de Préférences Synthétiques : Au lieu de s'appuyer sur des annotations humaines, la méthode construit des paires de préférences :
- Préféré ( $x^w$ ) : Latents de mouvement provenant de vidéos de vérité terrain présentant des réponses expressives et contextuellement appropriées.
- Moins Préféré ( $x^l$ ) : Latents de mouvement générés par un modèle d'avatar parlant de base conditionné uniquement sur l'audio de l'avatar (omettant les signaux de l'utilisateur). Cela simule un comportement "rigide" ou non réactif.
Objectif d'Optimisation : Le modèle est affiné (fine-tuned) via l'Optimisation de Préférence Directe (DPO). En traitant les échantillons synthétiques "perdants" (manquant de conditions utilisateur) comme étant moins préférés, le modèle apprend à améliorer l'expressivité et la réactivité sans nécessiter de modèle de récompense distinct ou d'étiquetage humain supplémentaire.

Contributions Clés

Cadre Interactif en Temps Réel : Une nouvelle architecture basée sur le causal diffusion forcing qui génère des vidéos d'avatars interactifs avec une faible latence (~500ms), une amélioration significative par rapport aux méthodes de base nécessitant un contexte complet (ex. : 3,4s).
Apprentissage de l'Expressivité sans Étiquetage : Une stratégie d'optimisation de préférence qui exploite des échantillons perdants synthétiques pour enseigner au modèle des comportements vibrants et réactifs, surmontant les limites des jeux de données existants et rigides.
Conditionnement Multimodal : Un encodeur unifié qui intègre efficacement l'audio de l'utilisateur, le mouvement de l'utilisateur et l'audio de l'avatar pour piloter le mouvement global de l'avatar.

Résultats Expérimentaux

Le cadre a été évalué sur des jeux de données de conversations dyadiques (RealTalk et ViCo) et comparé à des modèles de référence de pointe comme INFP* et FLOAT.

Latence : Avatar Forcing atteint une latence d'~0,5s, permettant une interaction en temps réel, contre 3,4s pour INFP*. Cela représente une accélération de 6,8×.
Réactivité et Richesse : Les mesures quantitatives (corrélation de Pearson résiduelle pour l'expression/la pose, indice de similitude pour la diversité, et variance) montrent qu'Avatar Forcing surpasse significativement les modèles de référence. Il obtient des scores rPCC plus bas (indiquant une meilleure synchronisation) et des scores SID/Var plus élevés (indiquant un mouvement plus riche et diversifié).
Préférence Humaine : Dans une étude impliquant 42 participants, Avatar Forcing a été préféré au modèle de référence le plus fort (INFP*) dans plus de 80 % des cas selon des métriques incluant la Réactivité, la Richesse du Mouvement, l'Alignement Non-Verbal et la Préférence Globale.
Études d'Ablation :
- La suppression de l'entrée de mouvement de l'utilisateur ( $m_u$ ) a entraîné un comportement statique pendant les périodes de silence de l'utilisateur, même lorsque des indices visuels (sourires) étaient présents.
- La suppression de l'ajustement (fine-tuning) DPO a conduit à une réduction de la diversité des expressions faciales et à des réactions plus faibles aux indices de l'utilisateur.

Signification et Revendications

Le document affirme qu'Avatar Forcing représente une étape significative vers des avatars virtuels véritablement interactifs.