Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps

1. Problématique

La génération d'avatars numériques réalistes à partir de photos uniques ("in-the-wild") pose deux défis majeurs :

• Manque de données appariées : Les méthodes existantes de ré-orientation (re-pose) dépendent souvent de petits ensembles de données appariées (même personne, poses et vêtements différents), comme DeepFashion. Ces ensembles sont limités en diversité d'identités (≈100 personnes), ce qui entraîne un surapprentissage (overfitting) et une mauvaise généralisation à de nouvelles personnes.
• Interférence des vêtements et de l'arrière-plan : Les photos réelles contiennent des vêtements complexes, des arrière-plans encombrés et des éclairages variables. Les modèles actuels peinent à séparer l'identité de la personne (visage, morphologie) de ces éléments contextuels, ce qui nuit à la fidélité de l'identité lors de changements de pose extrêmes.
• Limites des applications en aval : Des tâches comme l'essayage virtuel (Virtual Try-On ou VTO) échouent souvent sur des photos non contraintes car les vêtements d'origine interfèrent géométriquement avec le processus de transfert.

2. Méthodologie

Pro-Pose propose un cadre unifié d'apprentissage auto-supervisé qui opère dans un espace UV canonique pour découpler la pose de l'apparence.

A. Espace UV Canonique et Représentation

Au lieu de travailler directement dans l'espace image, la méthode transforme l'entrée dans un espace de texture UV canonique basé sur le modèle corporel SMPL-X.

• L'objectif est de générer une image $A_p$ d'une personne dans une nouvelle pose $p$, à partir d'une image source $I_{p'}$.
• Le système extrait une carte de texture partielle $T_p$ (visible uniquement là où la peau/vêtements sont visibles dans la pose source).

B. Repositionnement UV basé sur des Donneurs (Donor-based UV Reposing)

C'est l'innovation centrale pour l'apprentissage auto-supervisé sur des données non appariées.

• Le problème de la fuite de pose (Pose Leakage) : Si l'on utilise simplement la texture visible de l'image source pour entraîner le modèle, les bords d'occlusion (où la texture s'arrête) révèlent directement la pose source. Le modèle apprend alors à "copier-coller" des pixels plutôt qu'à comprendre la géométrie 3D.
• La solution : Pour briser cette corrélation, Pro-Pose applique un masque de visibilité provenant d'une image "donneuse" aléatoire (une autre personne dans une pose différente) sur la texture UV de la source. Cela crée une texture hybride $T_{p \to \tilde{p}}$ où les bords d'occlusion ne correspondent plus à la pose source.
• Résultat : Le modèle est forcé d'apprendre un inpainting géométrique robuste pour reconstruire les parties manquantes et changer la pose, sans pouvoir se fier aux contours de l'image d'origine.

C. Architecture et Entraînement Hybride

• Modèle Génératif : Utilisation d'un modèle de flux rectifié (Flow Matching) basé sur l'architecture Flux.1 (transformer), opérant dans un espace latent compressé.
• Stratégie d'Entraînement Double :
  1. Branches Appariées (Paired) : Utilise des données rares (DeepFashion) avec des paires source-cible réelles. Conditionné par la texture, la pose cible et un crop facial.
  2. Branches Non Appariées (Unpaired) : Utilise des centaines de milliers d'images uniques. Applique le mécanisme de "Donor-based Reposing" et supprime la condition du crop facial pour éviter la fuite d'information par les pixels.
• Standardisation des Vêtements (Base Clothing - BC) : Utilisation de Gemini 2.5 Flash Image pour transformer toutes les images d'entraînement en une tenue standardisée (gilet noir et short noir), créant un "canvas" géométrique propre pour les tâches en aval.

D. Personnalisation au Moment du Test (Test-Time Personalization)

Pour améliorer la fidélité sur des sujets spécifiques, une stratégie de fine-tuning few-shot (LoRA) est proposée. En utilisant quelques images de la même personne, le modèle s'adapte rapidement pour préserver l'identité avec une grande précision, même pour des poses extrêmes.

3. Contributions Clés

1. Cadre d'entraînement hybride scalable : Intégration réussie de données appariées rares et de données non appariées massives pour surmonter le manque de diversité d'identités.
2. Mécanisme de Repositionnement UV basé sur des Donneurs : Une méthode auto-supervisée novatrice qui élimine la fuite d'information de la pose via les bords d'occlusion, permettant un apprentissage efficace sur des images uniques.
3. Création du jeu de données Base Clothing (BC) : Un ensemble de données standardisé généré via IA pour éliminer la variabilité des vêtements et fournir une base géométrique propre.
4. Adaptation spécifique au sujet : Un mécanisme de fine-tuning léger (LoRA) à l'inférence qui réduit considérablement la dérive d'identité.
5. Évaluation complète : Démonstration de performances SOTA (State-of-the-Art) et validation de l'utilité pour l'essayage virtuel.

4. Résultats

Les expériences ont été menées sur les ensembles de données DeepFashion (domaine) et WPose (hors domaine/in-the-wild).

• Performance Quantitative : Pro-Pose surpasse toutes les méthodes de référence (MCLD, LEFFA, UniHuman, etc.) sur les métriques de fidélité d'image (PSNR, SSIM), de perception (LPIPS, HPSv3) et surtout de fidélité de l'identité (FaceSim, DINO).
  • Sur WPose, le modèle complet (Unpaired + Paired) domine largement, prouvant sa capacité de généralisation.
  • Préservation de l'identité : Même avec des changements de pose importants (>90°), Pro-Pose maintient un score de similarité faciale élevé, tandis que les méthodes de base échouent (>97% de taux d'échec pour les autres méthodes sur des poses difficiles).
• Analyse Qualitative : Les avatars générés préservent les détails du visage, la texture de la peau et la morphologie du corps, même lors de poses extrêmes.
• Application en aval (Virtual Try-On) : En utilisant l'avatar canonique généré par Pro-Pose comme entrée pour un modèle d'essayage virtuel, la qualité du résultat final est nettement supérieure à l'application directe sur des photos "in-the-wild", car les interférences géométriques des vêtements d'origine sont éliminées.

5. Signification et Impact

Pro-Pose représente une avancée significative dans la synthèse d'images humaines :

• Démocratisation des Avatars : Il permet de créer des avatars numériques haute fidélité et contrôlables à partir d'une simple photo prise par un amateur, sans besoin de matériel 3D ou de sessions photo professionnelles.
• Résolution du problème de données : En démontrant que l'on peut apprendre efficacement à partir de données non appariées massives grâce à l'espace UV et au repositionnement par donneur, il ouvre la voie à des modèles plus généralisables et moins sujets au surapprentissage.
• Fondation pour l'industrie : La capacité à fournir une représentation "canonique" propre (sans vêtements complexes) en fait un préprocesseur idéal pour l'industrie de la mode (essayage virtuel), du e-commerce et des métaverses, résolvant le problème de l'interférence des vêtements source.

En résumé, Pro-Pose combine la puissance des modèles de diffusion modernes, la géométrie 3D (SMPL-X) et des stratégies d'apprentissage auto-supervisé innovantes pour créer le système le plus robuste à ce jour pour la ré-orientation d'identités humaines à partir d'images uniques.