🤖 AI

Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

Cet article propose FPDM, un cadre novateur basé sur la diffusion pour la synthèse d'images de personnes guidée par la pose, qui utilise un module explicite de fusion image-pose et un apprentissage contrastif pour aligner les embeddings source-pose avec les images cibles, améliorant ainsi considérablement la fidélité des textures et la cohérence de la génération à travers diverses poses et apparences.

Auteurs originaux : Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une photo d'un ami portant une tenue spécifique (l'Image Source) et un dessin en bâtonnets représentant une pose différente (la Pose Cible). Votre objectif est de créer une nouvelle photo de ce même ami portant exactement cette tenue, mais debout dans la nouvelle pose. Cela s'appelle la Synthèse d'Image de Personne Guidée par la Pose.

Pendant longtemps, les ordinateurs ont eu du mal avec cela. Ils obtenaient soit la pose correcte mais gâchaient les vêtements, soit conservaient les vêtements corrects mais perdaient l'identité de la personne.

Voici comment les auteurs de cet article, FPDM, ont résolu le problème en utilisant une nouvelle « recette » pour la génération d'images par IA.

1. Le Problème : Le « Chef Confus »

Les méthodes précédentes étaient comme un chef qui reçoit deux instructions séparées : « Faites une pizza » (la tenue) et « Rendez-la ronde » (la pose). Le chef essaie de mélanger ces instructions pendant la cuisson. Parce que les instructions sont mélangées dans le pot, le résultat est souvent désordonné. Parfois, la pizza ressemble à un carré, ou les garnitures se perdent.

En termes techniques, les anciens modèles d'IA tentaient de fusionner l'« apparence » de la personne et la « forme » de la pose à la toute dernière seconde de la création. Cela conduisait à des résultats incohérents : si vous demandiez la même pose avec une photo source légèrement différente, l'IA se confondait et modifiait l'identité de la personne ou la texture des vêtements.

2. La Solution : Le « Plan Maître » (Fusion Embedding)

Les auteurs proposent une nouvelle méthode appelée FPDM. Au lieu de mélanger les instructions pendant la cuisson, ils créent un Plan Maître avant que la cuisson ne commence.

Pensez-y ainsi :

L'Ancienne Façon : Vous remettez au chef une photo d'une chemise et un croquis de pose, en disant : « Débrouillez-vous au fur et à mesure. »
La Façon FPDM : Vous prenez d'abord la photo de la chemise et le croquis de la pose, et vous utilisez un traducteur spécial pour les combiner en un seul et parfait Plan. Ce plan dit exactement : « Voici la chemise, et voici à quoi elle ressemble lorsque la personne est dans cette pose. »

3. Comment ils font le Plan : Le « Entremetteur »

Comment créent-ils ce plan parfait ? Ils utilisent une technique appelée Apprentissage Contrastif, qui agit comme un strict Entremetteur.

L'IA crée un plan en mélangeant la « Photo Source » et le « Croquis de Pose ».
L'Entremetteur compare ensuite ce plan à la Vraie Photo Cible (la vérité terrain).
Si le plan ne correspond pas parfaitement à la vraie photo, l'Entremetteur dit : « Non, c'est faux ! » et les éloigne.
S'ils se ressemblent, l'Entremetteur les rapproche.

Crucialement, les auteurs ont ajouté un tour de magie spécial : ils montrent aussi à l'Entremetteur la Photo Source en disant : « Ceci n'est pas la cible ; ne les confondez pas. » Cela force l'IA à apprendre la différence entre « à quoi ressemble la personne » et « comment elle est posée », garantissant que le plan capture la relation entre les deux, et non pas simplement un mélange flou des deux.

4. Le Processus de Cuisson : Le « Réseau de Débruitage »

Une fois que l'IA possède ce parfait Plan de Fusion, elle utilise un moteur puissant appelé Modèle de Diffusion.

Imaginez que le Modèle de Diffusion soit comme un sculpteur commençant avec un bloc d'argile rempli de bruit et de parasites. Le Plan agit comme un guide pour le sculpteur.

Le sculpteur retire lentement le bruit (la partie « débruitage »).
Parce que le Plan est si précis et pré-aligné, le sculpteur sait exactement où chaque pli de la chemise et chaque pli du tissu doivent aller.
Le résultat est une image de haute qualité où l'identité de la personne est préservée, les vêtements semblent réels et la pose est exactement celle qui a été demandée.

5. Est-ce que ça marche ? (Les Résultats)

Les auteurs ont testé cela sur deux choses principales :

Photos de Mode : Ils ont utilisé un vaste ensemble de données de photos de vêtements (DeepFashion). Leur méthode était meilleure pour maintenir la texture des vêtements (comme les rayures ou les motifs) cohérente, même lorsque la personne se retournait ou changeait de pose.
Langue des Signes : Ils l'ont testé sur des vidéos de personnes signant (ensemble de données RWTH-PHOENIX). C'est délicat car les détails des mains sont minuscules et complexes. Leur méthode a produit des mains plus claires et des mouvements plus précis que les modèles d'IA précédents.

Analogie de Résumé

Ancienne IA : Comme essayer de peindre un portrait pendant que quelqu'un crie des instructions sur la pose et les vêtements en même temps. Vous finissez avec un désordre flou.
FPDM : Comme avoir un architecte maître dessiner un plan parfait et détaillé qui combine le style du client et la forme du bâtiment avant que la construction ne commence. L'équipe de construction (le Modèle de Diffusion) suit simplement le plan, résultant en un bâtiment parfait à chaque fois.

L'article conclut qu'en créant ce « Plan de Fusion » explicite en premier, l'IA peut générer des images cohérentes et de haute qualité qui respectent à la fois l'identité de la personne et la nouvelle pose, résolvant ainsi un problème majeur en vision par ordinateur.

Résumé Technique : Fusion Embedding pour la Synthèse d'Images de Personnes Guidée par la Pose avec Modèle de Diffusion (FPDM)

Énoncé du Problème
La Synthèse d'Images de Personnes Guidée par la Pose (PGPIS) vise à générer une image photo-réaliste d'une personne dans une pose cible spécifiée tout en préservant l'identité, les vêtements et la texture d'une image source. Bien que les approches récentes basées sur la diffusion aient amélioré la qualité de l'image, elles reposent généralement sur une agrégation implicite de caractéristiques au sein du processus de débruitage. Dans ces méthodes existantes, les représentations de l'apparence source et de la pose cible sont injectées directement dans le réseau de débruitage (par exemple, UNet) sans pré-alignement explicite. Par conséquent, l'interaction entre l'apparence et la pose est apprise implicitement, conduisant souvent à un « enchevêtrement » où la relation devient dépendante de la trajectoire spécifique de débruitage. Cela se traduit par des résultats de génération incohérents pour la même identité lorsque l'apparence source ou la pose cible varie, se manifestant par des textures déformées, des contours flous ou une dérive de l'identité.

Méthodologie
Les auteurs proposent FPDM (Fusion Embedding pour la PGPIS avec Modèle de Diffusion), un cadre qui aligne explicitement les représentations fusionnées source–pose avec les représentations de l'image cible avant le processus de diffusion. L'architecture se compose de deux étapes principales :

Module de Fusion Image-Pose (IPF) (Étape Pré-Diffusion) :
- Ce module apprend une représentation unifiée en fusionnant la représentation de l'image source et la représentation de la pose cible.
- Il utilise un Réseau Combinateur (adapté de CLIP4CIR) pour intégrer les caractéristiques d'un Encodeur d'Image basé sur CLIP et d'un Encodeur de Pose basé sur CLIP.
- Stratégie d'Apprentissage par Contraste : L'innovation centrale est l'Approche de Fusion de Pose Améliorée par la Source. Contrairement à l'apprentissage par contraste de base qui aligne simplement la représentation fusionnée avec l'image cible, cette approche traite explicitement la représentation de l'image source comme un échantillon négatif pendant l'entraînement.
- En construisant une perte InfoNCE augmentée par lot où la représentation fusionnée doit être proche de l'image cible mais explicitement éloignée de l'image source (sous la condition de la pose cible), le modèle impose une séparation consciente de la pose. Cela empêche la représentation fusionnée de s'effondrer vers une représentation dominée uniquement par l'apparence source, garantissant qu'elle capture des distinctions conditionnées par la pose.
Modèle de Diffusion Conditionnel (Étape de Génération) :
- Construit sur le cadre Stable Diffusion (SD), le modèle génératif est guidé par trois entrées distinctes :
  - Apparence Source : Extrait via un encodeur DINOv2 et injecté dans les blocs transformateurs de UNet sous forme de caractéristiques clé/valeur.
  - Pose Cible : Extrait via un encodeur basé sur CNN (style ControlNet) et concaténé avec le latent bruité.
  - Représentation de Fusion ( $e_f$ ) : La sortie du module IPF pré-entraîné, injectée dans les blocs ResNet aux côtés des représentations d'étape temporelle.
- Lors de l'inférence, le modèle utilise un schéma étendu de Guidance sans Classificateur (CFG) pour pondérer indépendamment les contributions de la condition source-pose et de la représentation de fusion.

Contributions Clés

Alignement Explicite par Apprentissage par Contraste : FPDM est le premier cadre de PGPIS basé sur la diffusion à aligner explicitement les représentations fusionnées source–pose avec les représentations d'images cibles en utilisant l'apprentissage par contraste, répondant ainsi aux limites du conditionnement implicite.
Fusion de Pose Améliorée par la Source : Les auteurs introduisent un objectif d'apprentissage par contraste novateur qui distingue explicitement les représentations source et cible en traitant la représentation source comme un échantillon négatif. Cela garantit que la représentation de fusion est invariante aux variations d'apparence source tout en restant sensible à la pose.
Signal de Conditionnement Robuste : La représentation de fusion apprise sert de signal de conditionnement stable tout au long du processus de débruitage, permettant une préservation cohérente de l'identité à travers des poses et des images sources variées.

Résultats Expérimentaux
La méthode a été évaluée sur deux benchmarks : DeepFashion (synthèse d'images de mode) et RWTH-PHOENIX-Weather 2014T (génération de vidéos de langue des signes).

Performance Quantitative : Sur DeepFashion, FPDM a obtenu des performances compétitives par rapport aux méthodes de l'état de l'art (par exemple, MCLD, PCDM, XMDPT). Il a démontré des scores LPIPS supérieurs (indiquant une meilleure similarité perceptuelle et une meilleure préservation de la texture) et un FIDt (Fréchet Inception Distance sur l'ensemble de test) fort, suggérant une meilleure généralisation. Sur le dataset Phoenix, FPDM a obtenu le Hand SSIM le plus élevé (0,682) et une Erreur de Pose de la Main compétitive, ce qui est crucial pour la fidélité de la langue des signes.
Performance Qualitative : Les comparaisons visuelles ont montré la capacité de FPDM à reconstruire des détails fins (par exemple, des motifs de vêtements spécifiques, des logos) et à maintenir une cohérence structurelle même lorsque l'image source ne fournissait que des vues partielles (par exemple, inférer des vues arrière à partir de vues avant).
Études d'Ablation :
- La stratégie de Fusion de Pose Améliorée par la Source (A3) a nettement surpassé la fusion de base (A2) et les représentations uniquement source (A1) en termes de précision de récupération (Rappel@1 de 99,7 % contre 5,0 % pour la base).
- Le modèle complet (B6) a constamment surpassé les variantes sans le module IPF ou avec différentes stratégies de fusion en termes de fidélité de la texture et de cohérence de la pose.
- L'analyse de convergence a indiqué que, bien que le module IPF ajoute une complexité d'optimisation initiale, il conduit à des performances finales supérieures en termes de qualité perceptuelle.

Signification et Revendications
L'article revendique que FPDM répond à une limitation fondamentale dans la PGPIS actuelle basée sur la diffusion : l'absence d'alignement explicite entre les signaux de conditionnement hétérogènes (apparence et pose). En découplant le processus d'alignement du processus de génération via une représentation de fusion pré-entraînée, la méthode garantit que la préservation de l'identité est robuste aux variations de pose et d'apparence source.

Les auteurs positionnent FPDM non pas comme un modèle de génération vidéo à usage général, mais comme une solution spécifique à la tâche de Synthèse d'Images de Personnes Guidée par la Pose. Ils soulignent son applicabilité pratique dans :

Essayage Virtuel et Avatars Numériques : En raison de la haute fidélité de la texture et de la préservation de l'identité.
Génération de Langue des Signes : Spécifiquement pour générer des trames vidéo cohérentes avec le signeur, où le maintien de la structure de la main et de l'identité à travers différentes poses est crucial. L'article note que bien que FPDM opère au niveau de la synthèse d'images, ses performances solides sur les métriques centrées sur la main en font un composant de base viable pour les pipelines de vidéos en langue des signes.

Les auteurs reconnaissent des limitations, notamment la difficulté de reproduire du texte ou des logos fins et le coût computationnel inhérent à l'échantillonnage itératif de diffusion par rapport aux GANs en un seul passage. Ils concluent que les travaux futurs devraient se concentrer sur l'extension de cette stratégie d'alignement explicite aux tâches de génération vidéo structurées temporellement.