Résumé Technique : GarmentZoom

Problématique

Les fiches de produits de vêtements en ligne présentent généralement une expérience de visualisation fragmentée : une image de vue d'ensemble à résolution standard fournit le contexte, tandis que des images de gros plans distinctes révèlent les détails fins de la texture. Les utilisateurs doivent constamment alterner entre ces vues, ce qui rompt la continuité de la navigation. Bien que la Super-Résolution Basée sur Référence (RefSR - Reference-Based Super-Resolution) offre une solution potentielle, les méthodes existantes font face à des limitations significatives dans ce domaine spécifique :

1. Désalignement Spatial : La RefSR standard suppose que l'image de référence et l'entrée de basse résolution (LR) partagent une correspondance spatiale. Dans les fiches de vêtements, les gros plans ne couvrent souvent qu'une petite région non superposée du vêtement complet, et peuvent différer en termes de point de vue, d'éclairage ou de déformation du tissu, rendant l'alignement au niveau du pixel irréalisable.
2. Facteurs d'Échelle Variables : Les méthodes de RefSR traditionnelles supposent des facteurs de suréchantillonnage fixes et discrets (par exemple, 4×). Les fiches de vêtements réelles présentent des facteurs d'échelle continus allant de 3× à 20× entre la vue complète et le gros plan.
3. Coût Computationnel : Les approches précédentes capables de gérer des échelles variables et des désalignements (comme UltraZoom) reposent sur un ajustement fin (fine-tuning) par instance, ce qui est prohibitivement coûteux pour un déploiement à grande échelle dans l'e-commerce.

Méthodologie

GarmentZoom répond à ces défis en synthétisant une image de vêtement unique à ultra-haute résolution à partir d'une photo de vue complète et d'une référence de gros plan non alignée. Le système est construit sur Flux.1-dev, un modèle de flow-matching de pointe, et intègre trois composants clés :

1. Construction du Jeu de Données

Puisque les photos de produits réels manquent d'un alignement fiable au niveau du pixel, les auteurs construisent un jeu de données supervisé synthétique à partir de gros plans de vêtements haute résolution.

• Génération de Triplets : Pour chaque gros plan haute résolution, deux extractions (crops) spatialement séparées sont échantillonnées : l'une comme référence ($I_{Ref}$) et l'autre comme vérité terrain ($I_{GT}$).
• Entrée LR Synthétique : La vérité terrain est sous-échantillonnée par un facteur d'échelle continu aléatoire $s \in [3, 20]$ pour créer l'entrée de basse qualité ($I_{LQ}$).
• Contrainte : La séparation spatiale entre les extractions empêche le modèle d'apprendre des solutions triviales de type "copier-coller", le forçant à apprendre le transfert de texture basé sur des indices d'apparence plutôt que sur une correspondance directe.
• Conditionnement Textuel : Un modèle de vision-langage génère des descriptions textuelles détaillées pour chaque vêtement afin de servir de conditionnement auxiliaire.

2. Architecture du Modèle

Le système adapte l'architecture transformer de Flux.1-dev avec les modifications suivantes :

• Conditionnement de Séquence Unifiée (Unified-Sequence Conditioning) : L'image de référence ($I_{Ref}$) et le latent bruité cible ($x_t$) sont encodés en séquences latentes et concaténés. Cette séquence combinée est traitée par le transformer, permettant aux jetons (tokens) cibles d'accéder aux informations de texture de la référence via des mécanismes d'attention croisée (cross-attention).
• Intégration de ControlNet : Un ControlNet de 4× Single-Image Super-Resolution (SISR) pré-entraîné et gelé est conditionné sur l'entrée de basse qualité ($x_{LQ}$) pour préserver la structure globale et la déformation du tissu de l'image originale.
• Objectif d'Entraînement : Le modèle est entraîné à l'aide d'un objectif de flow-matching pour prédire le champ de vitesse, minimisant la différence entre les vitesses prédites et cibles.
• Efficacité des Paramètres : Le modèle est affiné via LoRA (Low-Rank Adaptation) avec un rang de 512, maintenant les poids de base gelés pour garantir l'efficacité.

3. Stratégie d'Inférence

Pour gérer la génération à pleine résolution malgré les contraintes de mémoire GPU, les auteurs emploient une stratégie d'inférence par fenêtre glissante :

• L'image de vue complète est divisée en fenêtres chevauchantes.
• L'inférence est effectuée sur chaque patch indépendamment.
• Pour atténuer les artefacts causés par la répétition des bordures de fenêtres, la position des fenêtres glissantes est variée à chaque étape d'inférence.
• Les régions latentes chevauchantes sont moyennées sur un canevas unifié pour produire un résultat sans couture et sans artefacts.

Principales Contributions

1. Un Système Novateur : GarmentZoom synthétise une image de vêtement unique à haut niveau de détail à partir de photos de vue complète et de gros plans non alignés, permettant une exploration fluide par zoom et déplacement (pan).
2. SR Robuste Guidée par Référence : Le modèle supporte des références spatialement non alignées et des facteurs d'échelle continus (3–20×), dépassant les limitations des méthodes antérieures à échelle fixe et dépendantes de l'alignement.
3. Pipeline d'Entraînement Efficace : L'approche entraîne un modèle unique généralisable en utilisant des triplets synthétiques dérivés de fiches produits réelles, évitant le coût computationnel élevé d'un ajustement fin par instance.

Résultats Expérimentaux

La méthode a été évaluée sur un ensemble de 8 547 produits de vêtements, comparée aux bases de référence de RefSR générale (TTSR, DATSR, AdaRefSR, ReFIR) et à une base de référence SISR à échelle continue (ContinuousSR).

• Performance Quantitative : GarmentZoom a obtenu des résultats de pointe sur les métriques perceptuelles (LPIPS, DISTS) et les métriques de domaine fréquentiel (LSD) aux échelles 4× et 10×. Notamment, il a maintenu une performance constante jusqu'à 16×, alors que les méthodes de base se dégradaient considérablement à mesure que les facteurs d'échelle augmentaient.
• Étude Utilisateur : Dans une étude impliquant 13 participants, GarmentZoom a reçu la préférence de premier rang dans 97,7 % des cas pour l'échelle 10×, surpassant nettement les bases de référence ajustées par instance.
• Comparaison avec les Méthodes par Instance : Comparé qualitativement et quantitativement à UltraZoom (qui nécessite environ 1,5 heure d'ajustement fin par produit), GarmentZoom a produit des résultats de qualité comparable sans entraînement spécifique à l'instance. Il a démontré une meilleure fidélité des couleurs et a évité les problèmes de "dérive de couleur" observés dans UltraZoom.
• Études d'Ablation :
  • Robustesse d'Échelle : Le modèle s'est généralisé efficacement sur la plage 3–20×.
  • Similitude de Référence : La performance diminue à mesure que le déplacement spatial entre la référence et la cible augmente, confirmant que le modèle repose sur la similitude de la référence mais reste robuste à un désalignement modéré.
  • Architecture : Le conditionnement de séquence unifiée avec LoRA a surpassé les autres méthodes d'injection par attention croisée (inspirées d'IP-Adapter), suggérant que la co-évolution des latents de référence et d'entrée au sein du même espace d'attention est plus efficace pour le transfert de texture.

Signification et Revendications

L'article positionne GarmentZoom comme une étape concrète vers des expériences de produits virtuels fluides. En découplant le besoin d'alignement spatial et d'entraînement par instance, le système permet de générer des images de vêtements haute fidélité et zoomables à une fraction du coût d'entraînement des méthodes existantes par instance. Les auteurs affirment que le système se généralise avec succès à divers vêtements et facteurs d'échelle, comblant le fossé entre le contexte de vue d'ensemble et la fidélité de détail.

Limites : Les auteurs reconnaissent que, comme pour les autres méthodes de RefSR, si la texture requise est totalement absente de la référence, le modèle doit halluciner des détails plausibles. Ils suggèrent que les travaux futurs pourraient se concentrer sur la sélection automatique des meilleurs extractions de référence pour couvrir les textures nécessaires.