Résumé Technique : Particules de Vêtement

Énoncé du Problème

La conception de vêtements est un processus complexe englobant deux modes distincts : la création intuitive de haut niveau (par exemple, à partir de texte ou d'images) et l'édition précise de bas niveau des patrons de couture 2D et des géométries drapées 3D. Les cadres existants traitent généralement uniquement d'une extrémité de ce spectre. Les outils standards de l'industrie (par exemple, CLO3D) permettent une édition précise de bas niveau mais requièrent une expertise de la relation causale entre les patrons 2D et le drapé 3D. À l'inverse, les modèles génératifs récents peuvent créer des patrons à partir d'entrées de haut niveau, mais reposent souvent sur un entraînement spécifique à la modalité et manquent de la capacité d'effectuer une édition symétrique et itérative à la fois dans les domaines 2D et 3D. De plus, les représentations existantes, telles que les images géométriques, présentent une asymétrie où l'apparence 3D dépend de la forme du panneau 2D (opacité des pixels), rendant difficile l'optimisation directe d'objectifs 3D sur la représentation. Le défi central consiste à développer une représentation et un cadre unifiés qui soutiennent à la fois la génération multimodale et une édition polyvalente, sans entraînement, à travers les patrons 2D et les géométries 3D.

Méthodologie

1. Représentation par Particules de Vêtement

Les auteurs proposent les Particules de Vêtement, une nouvelle représentation de nuage de points 5D qui encode symétriquement à la fois le patron de couture 2D et sa géométrie drapée 3D.

• Formulation Mathématique : Un vêtement est modélisé comme une surface paramétrique $\mathbf{r}: U \to \mathbb{R}^3$, où $U$ est le domaine du patron de couture 2D et $\mathbf{r}(U)$ la géométrie 3D. La représentation est le graphe $\Gamma(\mathbf{r}) = \{(\mathbf{x}, \mathbf{r}(\mathbf{x})) \mid \mathbf{x} \in U\}$.
• Discrétisation : Ce graphe est discrétisé en un nuage de points 5D $\mathbf{X}_{\mathbf{r}} = \{(\mathbf{x}_{\mathbf{r}}, f_{\mathbf{x}_{\mathbf{r}}})\}$, où chaque point contient des coordonnées 2D, des coordonnées 3D et un indicateur de frontière ($f$) indiquant si le point se trouve sur le bord du panneau.
• Propriétés : Cette représentation permet une projection différentiable soit vers le domaine 2D ($\pi_D$), soit vers l'espace image 3D ($\pi_I$), permettant une interaction symétrique entre le patron et le drapé.

2. Flux de Particules de Vêtement (GPF)

Pour générer et éditer ces particules, les auteurs introduisent le Flux de Particules de Vêtement, un modèle génératif basé sur un flux rectifié.

• Architecture : Le modèle utilise une architecture de Transformateur de Diffusion (DiT). Il apprend un flot de probabilité mappant le bruit $\mathbf{X}_0$ vers les particules de vêtement $\mathbf{X}_1$.
• Conditionnement : Le GPF prend en charge un conditionnement multimodal (texte, images, croquis) via des mécanismes d'attention croisée. Le texte est encodé à l'aide de CLIP, et les images sont encodées à l'aide d'un encodeur DINOv2 figé.
• Entraînement : Le modèle est entraîné sur le jeu de données GarmentCodeData v2 (GCDv2), apprenant un espace a priori sur l'espace conjoint des vêtements 2D-3D.

3. Flux de Particules vers Patron (PPF)

Puisque les particules générées sont des nuages de points non ordonnés, un mécanisme est nécessaire pour récupérer des patrons de couture vectorisés, prêts pour la simulation.

• Fonction : Le PPF est un modèle de flot conditionnel qui mappe les particules de vêtement générées $\mathbf{X}$ vers un patron de couture structuré $P$.
• Représentation : Le patron de sortie est représenté comme un tenseur de panneaux et de bords ordonnés (courbes de Bézier cubiques ou arcs), incluant des indicateurs de couture et des conditions aux limites.
• Robustesse : Contrairement à une régression déterministe, le PPF traite la récupération du patron comme une tâche de génération conditionnelle, le rendant robuste au bruit dans les particules d'entrée.

4. Édition par Échantillonnage Postérieur de Diffusion (DPS)

Une caractéristique clé du cadre est la capacité d'effectuer une édition sans entraînement en utilisant l'Échantillonnage Postérieur de Diffusion (DPS).

• Mécanisme : Au lieu de réentraîner le modèle pour des éditions spécifiques, le processus de génération est guidé par une fonction objectif $\mathcal{L}$ pendant les étapes d'échantillonnage. Le modèle optimise la moyenne a posteriori pour minimiser la perte entre la projection de l'échantillon généré et une observation utilisateur.
• Applications :
  • Génération Conditionnée par Nuage de Points : Guider la génération pour correspondre à un nuage de points 3D spécifique (en utilisant la distance de transport optimal ou Earth Mover Distance).
  • Complétion de Vêtement : Compléter des géométries 3D partielles.
  • Édition de Patron de Couture : Éditer directement le patron 2D et régénérer le drapé 3D (en utilisant la projection $\pi_D$).
  • Génération Conditionnée par Silhouette : Générer des vêtements correspondant à une silhouette 2D depuis des points de vue arbitraires.

Contributions Clés

1. Particules de Vêtement : Une représentation symétrique de nuage de points 5D qui encode conjointement les patrons de couture 2D et la géométrie drapée 3D, permettant un pipeline entièrement différentiable pour un échantillonnage guidé par objectif.
2. Flux de Particules de Vêtement (GPF) : Un modèle de flux rectifié qui génère des particules de vêtement à partir d'entrées multimodales et atteint des performances de pointe (SOTA) dans la génération de vêtements.
3. Flux de Particules vers Patron (PPF) : Un modèle qui convertit les particules générées en patrons de couture vectorisés, prêts pour la simulation.
4. Édition Polyvalente via DPS : Un cadre permettant divers scénarios d'édition (édition de patron, complétion 3D, conditionnement par silhouette) sans réentraînement, exploitant la nature symétrique de la représentation.

Résultats et Évaluation

Performance de Génération

Le modèle a été évalué sur le jeu de données GCDv2 par rapport à des bases de référence incluant AIpparel, ChatGarment, SewingLDM et Design2GarmentCode.

• Génération Conditionnée par Texte : Le GPF a obtenu des scores de pointe dans les métriques de distribution (Couverture, MMD, 1-NNA, p-FID) et l'alignement CLIP. Il a démontré une diversité et une fidélité supérieures par rapport aux bases de référence, qui produisaient souvent des artefacts tels que des nombres de panneaux incorrects ou des styles erronés.
• Génération Conditionnée par Image : Évalué sur des rendus GCDv2, des croquis de vêtements et des images « in-the-wild ». Le GPF a surpassé les bases de référence en précision des panneaux, en intersection sur union (IOU) et en précision des coutures, récupérant des patrons correspondant étroitement à la vérité terrain.
• Temps d'Exécution : Le temps de génération (environ 4 secondes) est comparable à d'autres méthodes basées sur la diffusion et significativement plus rapide que les approches basées sur les LLM nécessitant des requêtes externes.

Capacités d'Édition

L'article démontre plusieurs applications d'édition permises par le DPS :

• Interpolation : Transitions fluides entre différents styles de vêtements (par exemple, manches asymétriques à symétriques) dans l'espace latent, évitant les changements brusques observés dans les bases de référence basées sur des vecteurs ou des images géométriques.
• Édition 3D : Les utilisateurs peuvent ajouter, supprimer ou translater des points dans un nuage de points 3D pour guider la génération d'un patron de couture correspondant.
• Édition de Patron 2D : Les utilisateurs peuvent modifier le patron de couture 2D (par exemple, élargir une jupe), et le modèle régénère le drapé 3D correspondant.
• Édition de Silhouette : Génération de vêtements correspondant à des silhouettes dessinées par l'utilisateur depuis divers angles de caméra.

Validation Physique

• Fabrication : Deux vêtements (une jupe crayon asymétrique et un pull col roulé) générés sans condition par le pipeline ont été fabriqués avec succès par un tailleur, validant la plausibilité physique de la sortie.
• Taux de Succès de Simulation (SSR) : Le modèle a atteint un SSR élevé (environ 90 %), indiquant que les géométries générées sont physiquement valides pour la simulation de drapé.

Importance et Revendications

L'article revendique que les Particules de Vêtement comblent le fossé entre la conception intuitive de haut niveau et l'édition professionnelle de bas niveau. En unifiant les patrons 2D et la géométrie 3D en une seule représentation symétrique, le cadre permet :

• Édition Symétrique : La capacité d'éditer dans le domaine 2D ou 3D et de voir les changements se propager correctement vers l'autre, une capacité absente dans les représentations précédentes spécifiques à la modalité ou asymétriques.
• Flexibilité Sans Entraînement : L'utilisation du DPS permet une large gamme de tâches d'édition sans besoin de collecter des jeux de données spécifiques ou de réentraîner des modèles pour chaque nouvel objectif d'édition.
• Utilité Pratique : Le pipeline produit des patrons de couture prêts pour la simulation, allant au-delà de la génération purement visuelle pour fournir des actifs utilisables dans la simulation physique et la fabrication en aval.

Les auteurs reconnaissent des limites, telles que la nature discrète du nuage de points rendant les ajustements fins (par exemple, le dimensionnement des pinces) difficiles, et la dépendance actuelle à un seul type de corps et une seule pose. Des travaux futurs sont suggérés pour étendre le modèle afin de gérer des entrées multi-corps et d'imposer des contraintes de fabrication rigides.