Résumé Technique : LPH-VTON

Énoncé du Problème

Le Essayage Virtuel (VTON) vise à synthétiser des images photoréalistes de vêtements alignés avec le corps et la posture d'une personne. Bien que les méthodes récentes basées sur la diffusion aient fait progresser l'état de l'art, elles font face à un compromis fondamental entre l'intégrité structurelle (alignement spatial) et la fidélité texturale (détails photoréalistes).

L'article diagnostique ce dilemme comme une conséquence des biais inductifs complémentaires inhérents aux architectures prédominantes :

• Modèles Contraints Spatialement (par exemple, CatVTON) : Ils reposent sur la concaténation spatiale et des priors géométriques explicites. Ils excellent dans l'alignement géométrique mais suppriment souvent les textures haute fréquence, entraînant des sorties trop lisses ou rigides, de type 2D.
• Modèles à Prior Génératif (par exemple, IDM-VTON) : Ils exploitent des mécanismes d'attention croisée et des backbones à grande échelle (comme SDXL). Ils produisent des textures vibrantes et complexes mais sont sujets à une « dérive sémantique », hallucinant des plis de tissu incorrects ou déformant la topologie du vêtement en raison d'un manque de limites spatiales rigides.

Les architectures monolithiques existantes favorisent intrinsèquement un biais par rapport à l'autre, laissant un vide pour une solution qui réalise les deux.

Méthodologie : Transfert de Processus Latent (LPH)

Les auteurs proposent LPH-VTON, un cadre synergique qui résout cette tension non pas en créant une nouvelle architecture monolithique, mais en orchestrant un découplage temporel du processus de génération au sein d'une seule trajectoire de débruitage continue. Le cadre décompose la génération en deux phases, reliées par un mécanisme de transfert.

1. Phase 1 : Échafaudage Guidé par la Structure

• Modèle : Un modèle biaisé vers la structure (par exemple, CatVTON) est employé.
• Conditionnement : Des indices structurels minimaux ($c_S = \{I_{gar}, I_{masked}\}$), composés de l'image du vêtement et de l'image de la personne masquée.
• Processus : En partant d'un bruit aléatoire, le modèle effectue les $T_s$ étapes initiales de débruitage.
• Sortie : Un « Latent Tronqué » ($z_{T-T_s}$) qui établit un échafaudage géométrique robuste mais manque de détails texturaux haute fréquence.

2. Transfert de Processus Latent

À l'instant de transfert désigné ($T - T_s$), le contrôle est transféré du modèle de structure au modèle de texture. Cette transition n'est pas triviale en raison des espaces latents incompatibles et de l'état de faible entropie du latent du modèle de structure. Le cadre emploie deux composants clés pour combler cet écart :

• Adaptateur Latent ($\mathcal{A}_\phi$) : Un module léger et économe en paramètres (implémenté comme un U-Net compact) qui agit comme un traducteur appris. Il mappe le latent tronqué de la variété du modèle source vers la distribution du modèle cible, conditionné par l'incorporation de l'instant courant.
• Extension de Trajectoire : Pour restaurer la plasticité générative, le processus est « rembobiné ». Au lieu de démarrer la deuxième phase immédiatement à l'instant de transfert, le latent adapté est injecté dans le modèle de texture avec un niveau de bruit plus élevé (un instant antérieur). Cela réintroduit un bruit contrôlé, permettant au modèle de texture de synthétiser des détails haute fidélité sans être contraint par l'état de faible entropie de la phase précédente.

3. Phase 2 : Raffinement d'Amélioration Texturale

• Modèle : Un modèle biaisé vers la texture (par exemple, IDM-VTON) prend le relais.
• Conditionnement : Un ensemble plus riche d'entrées ($c_T = \{I_{gar}, I_{masked}, I_{densepose}, P_{text}\}$), incluant des annotations textuelles et des cartes DensePose fines.
• Processus : Le modèle débruite pendant $T_t$ étapes (où $T_t \geq T - T_s$) pour rendre des détails haute fidélité et photoréalistes tout en adhérant à l'échafaudage géométrique établi.

Stratégie d'Entraînement

Le cadre est hautement efficace. Les grands modèles backbone ($\epsilon_{\theta_S}$ et $\epsilon_{\theta_T}$) restent figés. Seul l'Adaptateur Latent léger est entraîné. L'objectif d'entraînement est une régression directe (perte MSE) pour minimiser la différence entre la sortie de l'adaptateur et les états latents cibles dérivés de l'exécution des deux modèles sur les mêmes données.

Contributions Clés

1. Diagnostic Architectural : L'article formalise le conflit structure-texture dans le VTON comme une conséquence directe des biais inductifs complémentaires trouvés dans la concaténation spatiale par rapport aux architectures d'attention croisée.
2. Transfert de Processus Latent (LPH) : Un cadre génératif novateur qui décompose stratégiquement la trajectoire de diffusion. Il relie des backbones hétérogènes via un Adaptateur Latent économe en paramètres et un processus de ré-bruitage (Extension de Trajectoire), permettant le découplage temporel de l'ancrage structurel et de l'amélioration texturale.
3. Équilibre Pareto-Optimal : Le modèle résultant, LPH-VTON, atteint un équilibre supérieur entre fidélité perceptive et alignement structurel, établissant de nouveaux repères sans sur-optimiser les distributions globales au détriment des détails locaux.

Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données VITON-HD et DressCode à une résolution de 1024x768, utilisant CatVTON (SD1.5) et IDM-VTON (SDXL) comme backbones.

• Performance Quantitative : LPH-VTON atteint un équilibre Pareto-optimal supérieur. Sur VITON-HD, il surpasse à la fois les bases monolithiques directes (CatVTON et IDM-VTON) et d'autres méthodes de l'état de l'art (par exemple, StableVITON, DCI-VTON) sur toutes les métriques.
  • Il obtient le meilleur LPIPS (0,0791) et un SSIM compétitif (0,8719), indiquant un réalisme perceptif supérieur tout en maintenant une précision structurelle.
  • Il montre également de fortes performances sur les métriques non appariées (FID, KID), démontrant un réalisme génératif robuste.
• Performance Qualitative : Les comparaisons visuelles montrent que LPH-VTON résout avec succès le compromis. Contrairement à CatVTON (qui produit des textures plates) ou IDM-VTON (qui souffre de dérive structurelle et d'hallucinations sémantiques), LPH-VTON génère des vêtements avec des formes précises et des textures vibrantes de haute fidélité.
• Efficacité : Bien que la méthode introduise une augmentation marginale du temps d'inférence par rapport aux bases à modèle unique, le coût computationnel total (140,37 TFLOPS) reste compris entre celui du CatVTON plus léger et celui du IDM-VTON plus lourd. Le compromis principal est une augmentation de l'utilisation de la mémoire GPU de pointe (environ 22 Go) due au maintien de backbones hétérogènes en mémoire.
• Études d'Ablation :
  • Point de Transfert : Un « plateau Pareto-optimal » optimal a été identifié entre les configurations (12, 18) et (18, 18) (étapes de structure, étapes de texture). Trop peu d'étapes de structure entraînent un effondrement géométrique ; trop d'étapes étouffent le réalisme textural.
  • Extension de Trajectoire : Essentielle pour débloquer le potentiel du modèle de texture ; sans elle, les résultats sont atténués et manquent de détails.
  • Adaptateur Latent : Critique pour combler les écarts distributionnels ; son retrait provoque des décalages de couleur sévères et des artefacts.
  • Transfert Latent vs Pixel : Le transfert dans l'espace pixel (décodage en RVB et ré-encodage) provoque des échecs catastrophiques et une perte d'information, validant la nécessité d'un transfert dans l'espace latent.

Signification

L'article affirme que LPH-VTON offre une solution robuste au dilemme structure-texture de longue date dans l'Essayage Virtuel. En déplaçant le paradigme des conceptions monolithiques vers la modélisation générative compositionnelle via le découplage temporel, le cadre démontre qu'il est possible d'exploiter les forces spécifiques de modèles spécialisés (stabilité géométrique vs richesse texturale) au sein d'un processus unique et continu. Cette approche établit de nouveaux repères en matière de fidélité perceptive tout en maintenant un alignement structurel hautement compétitif, prouvant l'efficacité du découplage architectural dans la synthèse d'images conditionnelle.

Limitations

Les auteurs reconnaissent deux limitations principales :

1. Latence d'Inférence : Le pipeline à deux étapes engendre une latence plus élevée que l'inférence à modèle unique, suggérant un travail futur sur la distillation de modèles pour unifier les capacités en un seul réseau.
2. Transfert Statique : Le point de transfert est actuellement statique. De futures recherches pourraient explorer des mécanismes de routage dynamique pour déterminer adaptativement le point de transfert optimal en fonction de la complexité de l'entrée.