🤖 AI

FaithfulFaces: Pose-Faithful Facial Identity Preservation for Text-to-Video Generation

FaithfulFaces est un nouveau cadre pour la génération vidéo à partir de texte qui résout la distorsion de l'identité dans des scènes dynamiques complexes en introduisant un aligneur d'identité partagé par la pose et un ensemble de données diversifié et soigneusement sélectionné pour maintenir une cohérence robuste de l'identité faciale face à de grandes variations de pose et à des occlusions.

Auteurs originaux : Yuanzhi Wang, Xuhua Ren, Jiaxiang Cheng, Bing Ma, Kai Yu, Sen Liang, Wenyue Li, Tianxiang Zheng, Qinglin Lu, Zhen Cui

Publié 2026-05-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuanzhi Wang, Xuhua Ren, Jiaxiang Cheng, Bing Ma, Kai Yu, Sen Liang, Wenyue Li, Tianxiang Zheng, Qinglin Lu, Zhen Cui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitiez créer un court métrage où une personne spécifique (appelons-le « Bob ») boxe. Vous possédez une seule photo de Bob et vous voulez que l'IA génère une vidéo de lui en train de frapper, d'esquiver et de se déplacer.

Le problème avec les outils d'IA actuels, c'est qu'ils sont comme des patients atteints d'amnésie. Lorsque Bob tourne la tête vers la gauche, l'IA oublie à quoi ressemble Bob sous cet angle. Elle pourrait soudainement le transformer en une personne différente, ou son visage pourrait se fondre en une tache bizarre. S'il place sa main devant son visage, l'IA panique et déforme ses traits.

L'article « FaithfulFaces » présente un nouveau système conçu pour résoudre ce problème. Voici comment il fonctionne, expliqué simplement :

1. Le problème central : Le piège de la « vue unique »

La plupart des modèles d'IA existants ne regardent que votre photo de référence et disent : « D'accord, je vois le visage de Bob de face. » Ils ne comprennent pas que le visage de Bob est un objet 3D capable de tourner, de pencher et de se tordre. Lorsque la vidéo demande un profil, l'IA essaie de deviner, et elle se trompe généralement, ce qui conduit à un visage déformé.

2. La solution : Un traducteur « fidèle à la pose »

Les auteurs ont construit un nouveau cadre appelé FaithfulFaces. Imaginez ce cadre comme un traducteur ultra-intelligent qui se situe entre votre photo et le générateur de vidéo.

L'ancienne méthode : Le traducteur dit simplement : « Voici le visage de Bob. »
La méthode FaithfulFaces : Le traducteur dit : « Voici le visage de Bob, et voici exactement comment sa tête est inclinée, tournée et rotée dans l'espace 3D. »

3. Comment cela fonctionne : Le « dictionnaire de poses »

L'ingrédient secret de FaithfulFaces est un composant appelé l'Aligneur d'identité partagé par la pose.

Imaginez une immense bibliothèque (un dictionnaire) remplie de cartes.

L'ancienne bibliothèque : Possédait des cartes pour « le visage de Bob », mais aucune carte pour « le visage de Bob tourné vers la gauche » ou « le visage de Bob regardant vers le haut ».
La bibliothèque FaithfulFaces : Possède un dictionnaire de poses spécial. Elle apprend que « le visage de Bob » est la même personne, qu'il regarde à gauche, à droite, en haut ou en bas.

Lorsque le système voit votre photo, il ne se contente pas de copier les pixels. Il :

Mesure la pose : Il calcule l'angle exact de la tête (comme utiliser un rapporteur 3D pour mesurer l'inclinaison).
Consulte le dictionnaire : Il cherche à quoi « Bob » devrait ressembler sous cet angle spécifique.
Aligne l'identité : Il s'assure que, même si l'angle change, l'« âme » du visage (l'identité) reste cohérente.

4. Le « gymnase d'entraînement »

Pour enseigner ce système, les chercheurs ne pouvaient pas se contenter de vidéos aléatoires. Ils avaient besoin de vidéos où les personnes bougeaient la tête de manière exubérante.

Ils ont construit un pipeline de jeu de données spécial (une chaîne de montage) qui a traqué des milliers de vidéos.
Ils ont filtré les vidéos ennuyeuses où les gens restaient immobiles.
Ils n'ont conservé que les vidéos où les gens boxaient, dansaient ou tournaient la tête de manière significative.
Ils ont nourri ces vidéos de « mouvements sauvages » à l'IA afin qu'elle apprenne : « D'accord, lorsque la tête tourne à 90 degrés, le nez se déplace ici, mais les yeux ressemblent toujours à ceux de Bob. »

5. Le résultat : Un acteur fidèle

Dans leurs tests, ils ont demandé à l'IA de générer une vidéo d'une personne boxant (un scénario rempli de mouvements rapides de la tête et de mains bloquant le visage).

Concurrents (comme Kling ou ConsisID) : Le visage du boxeur se transformait, ressemblait à une personne différente, ou perdait sa forme lorsqu'il tournait la tête.
FaithfulFaces : Le boxeur continuait de ressembler à la même personne, avec des traits clairs, même lorsqu'il frappait, esquivait ou regardait vers le haut.

Analogie récapitulative

Si créer une vidéo avec l'IA actuelle revient à essayer de dessiner une personne à partir d'une seule photo puis à deviner à quoi elle ressemble de profil (ce qui donne souvent une caricature), FaithfulFaces revient à avoir un sculpteur 3D qui sait exactement comment le visage de la personne est construit. Peu importe comment la personne bouge, le sculpteur s'assure que l'argile conserve la forme et l'identité correctes.

L'article affirme que cette méthode est la meilleure pour maintenir le visage de la personne réaliste et cohérent, même lorsqu'ils effectuent des actions complexes et dynamiques.

Résumé Technique : FaithfulFaces

Énoncé du Problème

La génération vidéo à partir de texte et d'images (IPT2V) avec préservation de l'identité vise à créer des vidéos diversifiées à partir d'une image de référence faciale et de prompts textuels, tout en maintenant une identité humaine faciale cohérente à travers les images. Malgré les récentes avancées des modèles fondamentaux vidéo à grande échelle (par exemple, HunyuanVideo, CogVideoX, Wan), les méthodes existantes peinent dans les scènes dynamiques complexes. Plus précisément, lorsque les sujets subissent des variations significatives de pose faciale (par exemple, un passage de face à profil) ou rencontrent des occlusions faciales, les approches actuelles produisent souvent une distorsion sévère de l'identité, un effondrement structurel ou une perte de détails faciaux. La limitation fondamentale identifiée est que les encodeurs existants capturent généralement une seule pose de vue à partir de l'image de référence d'entrée, échouant à représenter les informations de pose faciale globales nécessaires à une génération robuste dans des conditions dynamiques.

Méthodologie

Les auteurs proposent FaithfulFaces, un cadre d'apprentissage pour la préservation de l'identité faciale fidèle à la pose, conçu pour répondre à ces limitations. La méthodologie se compose de trois composants principaux :

1. Aligneur d'Identité Partagé par la Pose

L'innovation centrale est un encodeur spécialisé, $\phi_{gfp}$ , conçu pour extraire des représentations de pose faciale globale à partir d'une image d'entrée mono-vue.

Architecture : L'aligneur tokenise les images de visage d'entrée en embeddings séquentiels. Pour fournir des indices de pose explicites, il intègre des embeddings d'angles d'Euler (tangage, lacet, roulis) régressés par un estimateur de pose pré-entraîné (6DRepNet) directement dans les embeddings faciaux.
Dictionnaire Partagé par la Pose : Le système emploie une matrice de dictionnaire apprenable et partagée par la pose $D$ . Les embeddings combinés sont projetés dans cet espace de dictionnaire via des calculs de corrélation et un max-pooling pour générer des poids de dictionnaire. Ces poids sont ensuite utilisés pour reconstruire des représentations affinées de pose faciale globale ( $S_{p1}, S_{p2}$ ).
Objectif d'Entraînement : L'aligneur est entraîné en utilisant une Contrainte d'Invariance d'Identité–Variation de Pose. Cela utilise un paradigme d'apprentissage contrastif (perte InfoNCE) où les images de visage d'une même identité mais de poses différentes sont traitées comme des paires positives, tandis que les différentes identités servent de paires négatives. Cela force le modèle à aligner des poses diverses dans un espace d'identité unifié tout en maximisant les informations d'identité partagées à travers les variations de pose.

2. Pipeline de Construction de Jeu de Données

Reconnaissant le manque de données d'entraînement adaptées, les auteurs ont développé un pipeline spécialisé pour constituer un jeu de données vidéo de haute qualité présentant une diversité substantielle de poses faciales :

Filtrage : Les vidéos sont filtrées pour assurer la présence d'un seul sujet et exclure celles sans visage.
Sélection de Pose : Une étape d'estimation de pose calcule la variation des angles d'Euler tout au long d'une vidéo. Seules les vidéos dont la variation totale de pose ($Var$) dépasse un seuil de 120 (indiquant des transitions significatives comme face-à-profil) sont conservées.
Génération de Prompts : Des prompts textuels sont générés à l'aide d'un Grand Modèle de Langage Multimodal (MLLM) et affinés manuellement pour décrire l'apparence, les actions et les arrière-plans.
Résultat : Un jeu de données de 51 624 échantillons contenant des vidéos, des prompts textuels, des visages recadrés et des angles d'Euler.

3. Intégration avec les Modèles Génératifs

Le cadre fonctionne sur un modèle fondamental de texte-à-vidéo (spécifiquement VACE-14B dans leurs expériences). Les représentations affinées de pose faciale globale sont injectées dans le processus de génération vidéo bruyante, conjointement avec le prompt textuel et l'image de référence originale. Le système utilise LoRA (Adaptation de Rang Inférieur) pour affiner le modèle fondamental, lui permettant de tirer parti des nouvelles priors fidèles à la pose sans altérer les connaissances pré-entraînées de base.

Contributions Clés

Paradigme d'Apprentissage Fidèle à la Pose : L'article introduit FaithfulFaces, un cadre qui répond systématiquement aux limitations des méthodes IPT2V existantes dans la gestion des dynamiques faciales complexes en modélisant explicitement la pose faciale globale.
Aligneur d'Identité Partagé par la Pose : Un module novateur qui encode des représentations de pose faciale globale à partir d'images mono-vue en utilisant un dictionnaire partagé par la pose et une contrainte d'invariance d'identité–variation de pose, renforcé par des embeddings d'angles d'Euler explicites.
Pipeline de Jeu de Données Spécialisé : Le développement d'un pipeline rigoureux de collecte et de traitement de données qui construit un jeu de données vidéo orienté tâche avec une diversité significative de poses faciales, assurant un entraînement robuste du modèle.

Résultats Expérimentaux

Les auteurs ont mené des évaluations quantitatives et qualitatives approfondies contre des méthodes open-source et commerciales de l'état de l'art (incluant ConsisID, VACE, Kling, Vidu et HunyuanCustom).

Performance Quantitative : FaithfulFaces a atteint des performances de l'état de l'art sur quatre métriques :
- Préservation de l'Identité : A nettement surpassé les références sur FaceSim-Cur (0,568 contre 0,484 pour la deuxième meilleure) et FaceSim-Arc (0,542 contre 0,456).
- Qualité Visuelle : A obtenu le score FID le plus bas (164,24), indiquant une plus grande fidélité aux distributions de visages réels.
- Alignement Textuel : A atteint le CLIPScore le plus élevé (33,93).
Performance Qualitative : Les comparaisons visuelles ont démontré que FaithfulFaces maintient des structures faciales claires et des détails d'identité cohérents même lors de mouvements intenses (par exemple, des routines de boxe) et d'occlusions, tandis que les méthodes de référence présentaient une distorsion sévère ou un effondrement de l'identité.
Études d'Ablation : Les expériences ont confirmé que l'Aligneur d'Identité et l'Embedding d'Angle d'Euler sont tous deux critiques. La suppression de l'aligneur a provoqué un effondrement de l'identité, tandis que la suppression des embeddings d'Euler a réduit la discriminabilité. L'étude a également montré la robustesse de la méthode aux vues d'entrée non frontales et aux perturbations mineures des angles d'Euler.

Importance et Revendications

L'article revendique que FaithfulFaces représente une avancée significative dans l'IPT2V en résolvant le défi spécifique de la distorsion de l'identité sous de grandes variations de pose. En passant d'un codage d'identité mono-vue à une approche fidèle à la pose qui exploite des priors de pose globale, la méthode permet aux modèles génératifs fondamentaux de produire des vidéos avec une cohérence d'identité supérieure et une clarté structurelle. Les auteurs soulignent que leur approche fournit une garantie théorique (via des bornes d'information mutuelle) que la représentation globale apprise préserve les informations d'identité à travers les poses, empêchant l'« effondrement » observé dans les travaux antérieurs. Le travail est présenté comme une solution à un goulot d'étranglement critique dans la génération de vidéos humaines réalistes et dynamiques pour des applications dans le cinéma, la publicité et les avatars personnalisés, tout en reconnaissant les implications éthiques concernant les deepfakes et la désinformation.