Résumé Technique : Convergence Algorithmique et Garanties de Performance pour les Systèmes d'Essuyage Virtuel sous Incertitudes Environnementales Dynamiques

Énoncé du Problème

Les systèmes d'Essuyage Virtuel (VTO - Virtual Try-On) sont devenus essentiels dans le commerce électronique moderne, faisant le pont entre la vente au détail numérique et l'expérience d'essayage physique. Cependant, les cadres existants de VTO basés sur l'image ou la diffusion souffrent d'une dégradation sévère de la fidélité visuelle, de l'alignement spatial et de la cohérence structurelle lorsqu'ils sont déployés dans des scénarios réels. Ces défaillances sont attribuées à des incertitudes environnementales dynamiques, spécifiquement :

1. Fluctuations d'Éclairage : Un éclairage non uniforme et des ombres qui déforment les profils de texture et de couleur.
2. Déformations de Pose et de Structure : Des poses humaines non contraintes provoquant des auto-occlusions complexes et des déformations non rigides qui violent les hypothèses de mappage fluide.
3. Dynamiques d'Occlusion et de Superposition : Les interactions entre vêtements et accessoires introduisant un bruit non stationnaire.

Les modèles actuels reposent généralement sur la Minimisation du Risque Empirique (ERM), qui suppose que les distributions d'entraînement et de test sont identiques. Par conséquent, face aux décalages de distribution causés par le bruit environnemental, ces modèles subissent une instabilité de gradient, un effondrement de mode (mode collapse) et des artefacts structurels. Il existe une absence distincte de compréhension théorique concernant la convergence algorithmique et la stabilité des modèles VTO sous de telles incertitudes.

Méthodologie

Le document propose un cadre théorique et algorithmique unifié pour combler ces lacunes en reformulant le pipeline de synthèse VTO comme un problème d'Optimisation Robuste par Distribution (DRO).

1. Formulation Mathématique

Les auteurs modélisent le système VTO comme une application non linéaire $f_\theta: X \times C \to Y$, où les entrées comprennent des données de référence humaine (pose, masques) et des images de vêtements. Pour tenir compte de l'incertitude, ils introduisent un vecteur d'incertitude $\xi$ qui perturbe la distribution nominale des données $P_0$ vers une distribution inconnue $P$.

Au lieu de minimiser le risque empirique, l'objectif est défini comme une optimisation de point-selle minimax sur un ensemble d'ambiguïté de Wasserstein-2 $\mathcal{P}$ :
$$\min_{\theta \in \Theta} \left\{ \Phi(\theta) \equiv \max_{P \in \mathcal{P}} \mathbb{E}_{(x,c,y,\xi) \sim P} [L(\theta; x, c, y, \xi)] \right\}$$
où $\mathcal{P} = \{ P \in \mathcal{M}(Z) \mid W_2(P, P_0) \leq \rho \}$. Cette formulation modélise explicitement les perturbations environnementales les plus défavorables afin de garantir l'intégrité structurelle et texturale. En utilisant la dualité lagrangienne forte, l'optimisation de maximisation intérieure à dimension infinie est transformée en un problème substitut fini-dimensionnel traitable.

2. L'Algorithme RSVR-VTO

Pour résoudre ce problème minimax efficacement sans succomber à une variance de gradient élevée, les auteurs introduisent l'algorithme Robust Stochastic Variance-Reduced Virtual Try-On (RSVR-VTO).

• Mécanisme à Double Boucle :
  • Boucle Extérieure : Calcule un gradient d'ancrage complet (ou à grand lot) sur un état de référence stable pour ancrer la trajectoire d'optimisation.
  • Boucle Intérieure : Impose une réduction de la variance tant sur les paramètres primaux ($\theta$) que sur les variables adverses duales. Elle suit les changements environnementaux les plus défavorables en calculant les perturbations extrêmes ($z^*$) au sein des plongements de caractéristiques latentes du module de déformation (warping module).
• Réduction de la Variance : L'algorithme construit une estimation de gradient stochastique robuste en soustrayant le gradient à l'état d'ancrage du gradient à l'état perturbé actuel, réduisant ainsi considérablement la variance causée par les changements dynamiques d'éclairage et de pose.

Principales Contributions

Le document revendique quatre contributions principales :

1. Formulation Robuste : La première reformulation du pipeline de synthèse VTO comme un problème de DRO non convexe utilisant des ensembles d'ambiguïté de Wasserstein pour modéliser explicitement les perturbations environnementales extrêmes.
2. Innovation Algorithmique : L'introduction de RSVR-VTO, une stratégie d'optimisation à double boucle qui minimise l'expansion de la variance tout en suivant efficacement les trajectoires de point-selle.
3. Garanties Théoriques :
   • Convergence : Une preuve formelle que RSVR-VTO converge vers un point stationnaire de premier ordre $\epsilon$-approximatif en $O(1/\epsilon^2)$ itérations sous des conditions de lissité $L$.
   • Généralisation : Dérivation de bornes d'erreur de généralisation explicites utilisant la complexité de Rademacher, démontrant que les garanties de performance augmentent proportionnellement à la complexité du bruit environnemental.
4. Validation Empirique : Expérimentations exhaustives sur des benchmarks haute résolution (VITON-HD et DressCode) augmentés de bruit synthétique et réel, confirmant une performance supérieure en matière de cohérence structurelle et de métriques perceptuelles.

Résultats Expérimentaux

Le cadre a été évalué par rapport à des bases de référence de pointe (CP-VTON+, VITON-HD, TryOnDiffusion) dans des conditions saines et sous des corruptions environnementales sévères (bruit d'éclairage, distorsion de pose, occlusion).

• Performance Quantitative : Sous des conditions corrompues, RSVR-VTO a maintenu un SSIM de 0,841 et un FID de 8,12. En revanche, la meilleure base de référence (TryOnDiffusion) a vu son FID se dégrader considérablement de 6,42 (propre) à 15,36 (corrompu), et son SSIM chuter de 0,887 à 0,734.
• Stabilité de Convergence : L'analyse empirique des trajectoires de norme de gradient a montré que, tandis que les modèles ERM standards fluctuaient sévèrement à cause de la variance stochastique, RSVR-VTO présentait un profil de décroissance stable, de type monotone, s'alignant sur la garantie de convergence théorique $O(1/\epsilon^2)$.
• Étude d'Ablation : Le retrait de la formulation DRO a fait chuter le FID à 21,05, tandis que le retrait de la réduction de variance a fait descendre le SSIM à 0,702. Cela confirme que la formulation DRO fournit les limites de robustesse, tandis que la réduction de la variance assure la stabilité algorithmique nécessaire pour les atteindre.

Signification et Revendications

Le document affirme que traiter le VTO comme un problème d'optimisation robuste par distribution apporte des bénéfices substantiels en termes de stabilité et de généralisabilité. En optimisant contre les perturbations de Wasserstein les plus défavorables, le réseau apprend des mappages structurels invariants plutôt que de mémoriser des coordonnées de texture localisées.

Les auteurs affirment que RSVR-VTO établit un nouveau standard pour l'optimisation générative stable en vision par ordinateur, offrant une robustesse exceptionnelle contre le bruit d'éclairage, de pose et d'occlusion. Bien que l'approche introduise une augmentation de 18 % à 25 % de la latence d'entraînement due à l'optimisation de la boucle interne imbriquée, les auteurs soulignent que cette surcharge est confinée à la phase d'entraînement hors ligne et n'affecte ni la vitesse d'inférence en temps réel ni la fidélité visuelle. Ce travail fournit la première preuve formelle de la convergence algorithmique des systèmes VTO sous incertitude, comblant le fossé entre la robustesse théorique et le déploiement pratique dans des environnements dynamiques.