Narrating For You: Prompt-guided Audio-visual Narrating Face Generation Employing Multi-entangled Latent Space

Cette présentation propose une méthode novatrice pour générer des visages parlants réalistes à partir d'une image statique, d'un profil vocal et d'un texte cible, en utilisant un espace latent multi-entrelacé pour synchroniser les modalités audio et vidéo.

L'essentiel

Imaginez que vous avez une photo de quelqu'un, un enregistrement de sa voix, et un texte que vous voulez qu'il dise. L'objectif de ce papier de recherche est de créer un système capable de faire "parler" cette photo en temps réel, avec une voix qui lui ressemble et des mouvements de lèvres parfaitement synchronisés.

Voici une explication simple de leur invention, "Narrating For You", en utilisant des images du quotidien.

1. Le Problème : Le Décalage entre la Voix et le Visage

Jusqu'à présent, les technologies existantes faisaient deux choses séparément :

• Soit elles prenaient un texte et créaient une voix (comme un robot qui lit à voix haute).
• Soit elles prenaient une voix et faisaient bouger une bouche (comme un marionnettiste).

Le problème, c'est que faire les deux ensemble est très difficile. Souvent, la bouche ne bouge pas au bon moment, ou la voix ne correspond pas à l'émotion du visage. C'est comme essayer de faire du karaoké avec un ami qui chante une chanson différente de celle que vous écoutez : le résultat est bizarre et peu réaliste.

2. La Solution : Une "Salle de Contrôle" Magique

Les chercheurs ont créé un système qui agit comme un chef d'orchestre ultra-intelligent. Ils appellent leur méthode "l'espace latent multi-enchevêtré".

Pour faire simple, imaginez que vous avez trois ingrédients :

1. La Photo (le visage).
2. L'Enregistrement de Voix (la personnalité sonore).
3. Le Texte (le script à dire).

Au lieu de mélanger ces ingrédients en vrac, leur système les place dans une "Salle de Contrôle" spéciale (l'espace latent).

L'Analogie du Traducteur Universel

Imaginez que la photo, la voix et le texte parlent trois langues différentes.

• La photo parle "Langue Visuelle".
• La voix parle "Langue Sonore".
• Le texte parle "Langue des Mots".

Leur système utilise deux traducteurs magiques (des Transformers) qui travaillent en même temps :

1. Le premier traducteur prend le texte et la voix, et dit à la photo : "Hé, tu dois bouger tes lèvres pour dire ces mots avec ce ton de voix précis."
2. Le deuxième traducteur prend le texte et la photo, et dit à la voix : "Hé, tu dois chanter ces mots en imitant l'émotion de ce visage."

C'est ce qu'ils appellent l'"enchevêtrement" (entanglement). C'est comme si les trois ingrédients se tenaient la main et se chuchotaient des instructions en permanence pour ne jamais se perdre.

3. Le Processus : Comment ça marche ?

Le système fonctionne en trois étapes, comme une usine de fabrication de films :

• Étape 1 : La Préparation (Encodage)
  Le système regarde la photo pour comprendre le visage (la forme, les traits). Il écoute l'enregistrement de voix pour comprendre la "signature" unique de la personne (son accent, son timbre). Il lit le texte pour comprendre le message. Tout cela est transformé en un code numérique.

• Étape 2 : La Danse (L'Enchevêtrement)
  C'est ici que la magie opère. Le système utilise une technique appelée Diffusion (un peu comme un sculpteur qui part d'une statue de pierre brute et enlève petit à petit la poussière pour révéler la forme).
  Dans cette étape, le système mélange les codes du visage, de la voix et du texte. Il apprend à faire des mouvements de lèvres qui correspondent exactement aux sons, tout en gardant l'identité de la personne. C'est comme si le système apprenait à danser : le pied gauche (la voix) et le pied droit (le visage) doivent bouger ensemble au rythme de la musique (le texte).

• Étape 3 : La Sortie (Décodage)
  Une fois que la "danse" est parfaite dans le code, le système génère le résultat final : une vidéo réaliste où la personne parle et une piste audio où elle a la même voix.

4. Pourquoi c'est impressionnant ?

Les chercheurs ont testé leur système sur des milliers de vidéos et de voix.

• Résultat : Leurs vidéos sont beaucoup plus réalistes que les anciennes méthodes. Les lèvres bougent au bon moment (synchronisation parfaite).
• Flexibilité : Le système est "agnostique", ce qui veut dire qu'il peut prendre n'importe quelle photo et n'importe quelle voix, même si ce n'est pas la même personne que celle qui a écrit le texte. Il peut faire parler un enfant avec la voix d'un adulte, ou inversement, et le résultat reste convaincant.

En Résumé

Imaginez que vous vouliez créer un film où un ami décédé vous raconte une histoire. Avec cette technologie, vous lui donnez sa photo, un vieux enregistrement de sa voix, et le texte de l'histoire. Le système, grâce à sa "salle de contrôle" magique, assemble le tout pour créer une vidéo où il semble vraiment vous parler, avec une voix naturelle et des expressions faciales vivantes.

C'est un pas de géant vers des assistants virtuels, des éducateurs numériques ou des outils de communication qui semblent vraiment humains, sans les décalages bizarres des anciennes technologies.

Résumé technique

1. Problématique

Le domaine de la communication multimédia générée par l'IA vise à créer des visages parlants réalistes en temps réel. Cependant, les approches existantes souffrent de limitations majeures :

• Séparation des modalités : Les modèles Text-to-Speech (TTS) se concentrent uniquement sur l'audio, tandis que les modèles de visages parlants (Talking Face Models - TFM) se concentrent uniquement sur la vidéo.
• Manque de synchronisation et de réalisme : Les tentatives de combiner ces deux flux (par empilement de pipelines) échouent souvent à produire une synchronisation labiale précise et une expressivité faciale naturelle.
• Dépendance aux profils audio : De nombreux modèles TFM actuels dépendent de propriétés faciales faiblement supervisées ou ne parviennent pas à adapter un profil audio existant pour personnaliser le contenu vidéo, ce qui limite leur applicabilité dans des scénarios réels (comme les chatbots audio-vidéo).
• Besoin d'une génération conjointe : Il manque un cadre capable de générer simultanément et de manière synchrone un discours réaliste et une animation faciale à partir d'une image de référence, d'un profil audio et d'un texte d'entrée (prompt).

2. Méthodologie : Architecture « Narrating For You »

Les auteurs proposent une architecture novatrice en trois phases pour la génération conjointe audio-vidéo (Speech and Talking Face Model - STFM), basée sur un espace latent multi-enchevêtré (Multi-entangled Latent Space).

A. Phase d'Encodage Multimodal

Cette étape extrait les signatures personnelles et les caractéristiques de conduite :

• Audio : Utilisation de deux encodeurs.
  • HiFi-GAN Encoder : Encode le spectrogramme mél pour la séquence temporelle.
  • Wav2Vec Encoder : Extrait l'empreinte vocale personnelle (signature acoustique) à partir de l'audio de référence.
• Texte : Encodage du prompt textuel via Byte-Pair Encoding (BPE) pour obtenir un vecteur de contexte.
• Vidéo : Utilisation d'un VAE (Variational Auto-Encoder) pour l'apparence visuelle et d'un modèle de détection de points faciaux (landmarks) pour la structure (masque facial et lèvres).

B. Espace Latent Multi-Enchevêtré (Cœur du modèle)

C'est l'innovation principale. Au lieu de traiter les modalités séparément, le modèle utilise des Transformers pour créer un enchevêtrement profond :

• Mécanisme d'Attention Croisée (Cross-Attention) : Deux encodeurs Transformer traitent les relations spatiales et temporelles.
  • Le premier encodeur contextualise les tokens audio en utilisant les tokens texte et image comme clés/valeurs.
  • Le second encodeur contextualise les tokens image en utilisant les tokens texte et audio.
• Enchevêtrement : Les embeddings audio, texte et vidéo sont fusionnés pour créer des représentations latentes où les informations de l'identité, du texte et de l'émotion sont intriquées. Cela permet de « naviguer » linéairement dans l'espace latent pour aligner le mouvement des lèvres et l'intonation avec le texte.

C. Phase de Décodage et Génération

• Génération Vidéo : Un modèle de Diffusion Latente (Denoising Diffusion) est utilisé. Il intègre une attention croisée pour synchroniser le mouvement des pixels de l'image source avec les embeddings audio/texte, générant ainsi des séquences vidéo réalistes.
• Génération Audio : Un synthétiseur spectrogramme conditionné par le texte (basé sur GPT-2 et XTTS) génère les frames spectrogrammes, qui sont ensuite converties en onde audio par un vocodeur HiFi-GAN.

3. Contributions Clés

1. Premier modèle STFM agnostique à la personne : C'est la première architecture capable de générer une synthèse audio-vidéo réaliste et guidée par le texte, généralisable à n'importe quelle identité sans réentraînement spécifique.
2. Architecture à trois phases avec espace latent enchevêtré : Conception unique permettant l'échange d'informations entre les modalités (audio, vidéo, texte) via des mécanismes d'attention croisée dans un espace latent commun, éliminant le besoin de priors de mouvement forts (comme les modèles 3D morphables).
3. Synchronisation temporelle améliorée : Le modèle apprend des directions de mouvement orthogonales pour synchroniser simultanément l'audio et la vidéo, garantissant que l'intonation et les expressions faciales correspondent parfaitement au texte.

4. Résultats Expérimentaux

Le modèle a été évalué sur quatre jeux de données (VoxCeleb, FakeAVCeleb, HDTF, CelebV-HQ) avec plus de 800 échantillons de test.

• Qualité Vidéo : Le modèle surpasse les états de l'art (Hallo, SadTalker, EAT, Audio2Head) sur les métriques FID (Fréchet Inception Distance), FVD (Fréchet Video Distance) et FVMD. Par exemple, sur HDTF, le FID est de 11.72 contre 20.54 pour Hallo.
• Qualité Audio : Meilleures performances sur les métriques MCD (Mel Cepstral Distortion) et FAD (Fréchet Audio Distance), indiquant une distorsion spectrale minimale et une intelligibilité élevée.
• Synchronisation Audio-Vidéo : Le modèle obtient les meilleurs scores de synchronisation avec un LSE-D (Lip Sync Error Distance) de 8.38 (plus bas est mieux) et un LSE-C de 5.74, surpassant les modèles concurrents et se rapprochant de la vérité terrain.
• Études d'ablation : Elles confirment que l'utilisation d'encodeurs Transformer séparés pour chaque modalité (Explicit-TE) et l'attention croisée dans le modèle de diffusion sont cruciales pour la performance.

5. Signification et Impact

Ce travail représente une avancée significative dans la génération multimodale :

• Unification des flux : Il résout le problème de la génération asynchrone en produisant audio et vidéo de manière conjointe et cohérente.
• Applications pratiques : La technologie ouvre la voie à des applications réalistes dans la communication numérique, l'assistance aux personnes handicapées, la création d'instructeurs artificiels et les soins de santé interactifs.
• Robustesse : Le modèle démontre une capacité de généralisation sur des données variées (résolutions, qualités vidéo, accents) et reste efficace même avec des profils audio bruités ou des changements de contexte (ex: enfant parlant avec un visage d'adulte).

En conclusion, « Narrating For You » établit une nouvelle référence pour la génération de visages parlants réalistes en combinant efficacement les modalités textuelles, audio et visuelles au sein d'un espace latent enchevêtré, dépassant les limitations des approches séquentielles précédentes.