Résumé Technique : Stitched Embeddings (StEm)

Énoncé du Problème

Bien que la numérisation humaine en 3D ait progressé de manière significative grâce aux modèles corporels paramétriques (ex. : SMPL), la reconstruction et la manipulation des vêtements restent un défi en raison de leur grande variabilité topologique et de leur déformation non rigide. La modélisation traditionnelle des vêtements repose sur des patrons de couture 2D — des formalisations CAO par morceaux consistant en des panneaux discrets définis par des courbes paramétriques (ex. : courbes de Bézier) et des contraintes de couture — qui servent de plan directeur pour la fabrication physique et l'animation réaliste.

Actuellement, combler le fossé entre les patrons 2D et la géométrie 3D nécessite généralement des simulations basées sur la physique (ex. : systèmes masse-ressort) pour « coudre » les panneaux ensemble. Cette dépendance aux simulateurs présente trois limitations critiques :

1. Coût de calcul : Les simulateurs sont lents, ce qui entrave les applications en temps réel.
2. Non-différentiabilité : La plupart des simulateurs ne sont pas différentiables, ce qui empêche l'apprentissage de bout en bout et l'optimisation (ex. : affiner les prédictions via la rétropropagation).
3. Manque de flexibilité : Les méthodes existantes peinent à supporter l'adaptation au moment du test ou l'édition du nombre et du type de patrons de couture sans relancer des simulations complexes.

De plus, bien que des travaux récents aient exploré les représentations implicites comme les champs de distance non signés (UDF) pour les vêtements 3D, ceux-ci manquent de la structure sémantique requise pour les applications de tailleur en aval.

Méthodologie : Stitched Embeddings (StEm)

Les auteurs proposent Stitched Embeddings (StEm), un espace latent unifié qui représente conjointement les vêtements 3D et leurs patrons de couture 2D correspondants. Le cadre central, StEm-Net, est la première méthode de bout en bout, entièrement différentiable et sans simulation, pour connecter ces représentations.

1. Représentation Centrale : BoxMesh

Pour aligner les patrons 2D avec la géométrie 3D sans simulateur, les auteurs introduisent le BoxMesh.

• Concept : Un BoxMesh est une représentation 3D où les patrons de couture 2D sont disposés dans l'espace 3D autour d'un modèle corporel (similaire à un état de « pré-simulation »).
• Fonction : Il sert de proxy spatial qui aligne les panneaux 2D dans une configuration 3D canonique basée sur leur fonction sémantique (ex. : manches, panneau frontal).
• Topologie : Le BoxMesh maintient la topologie exacte des patrons de couture mais occupe un volume 3D. Lorsqu'une simulation de tissu est appliquée à un BoxMesh, elle produit le maillage final du vêtement drapé.
• Alignement : En utilisant les BoxMeshes comme modalité d'entrée aux côtés des maillages de vêtements simulés, le réseau reçoit des priors spatiaux 3D qui sont topologiquement alignés avec la sortie finale.

2. Architecture du Réseau (StEm-Net)

L'architecture est construite sur un cadre Hunyuan3D 2.1 VAE modifié, adapté pour utiliser des Champs de Distance Non Signés (UDF) afin de représenter des variétés ouvertes et non étanches (essentielles pour les encolures et les ourlets ouverts).

• Encodeurs :

  • Encodeur de Vêtement ($E_g$) : Traite un nuage de points de vêtement 3D ($P$) avec des normales ($N$).
  • Encodeur de BoxMesh ($E_{bm}$) : Trait le géométrie du BoxMesh pré-simulé.
  • Stratégie d'Alignement : Pour garantir que l'espace latent soit invariant à la modalité d'entrée (BoxMesh vs Maillage Simulé), le modèle exploite la correspondance 1:1 connue entre les deux. Pendant l'entraînement, des points correspondants sont échantillonnés des deux géométries pour mapper les mêmes emplacements physiques vers les mêmes régions latentes.
  • Sortie : Les deux encodeurs mènent à un ensemble latent commun $z \in \mathbb{R}^{256 \times 64}$.

• Décodeurs :

  • Décodeur 3D ($D_{3D}$) : Reconstruit le champ UDF du vêtement 3D.
  • Décodeur de Patron de Couture ($D_{SP}$) : Régresse 122 paramètres de conception (issus de l'espace GarmentCode) qui définissent les patrons de couture. Ces paramètres incluent des valeurs continues (dimensions), des drapeaux booléens (présence de manches) et des valeurs catégorielles (type de vêtement). Un transformateur de décodage avec des requêtes par panneau apprenables mappe l'ensemble latent vers ces paramètres.

3. Entraînement et Fonctions de Perte

Le modèle est entraîné de bout en bout en utilisant une fonction de perte composite :
$$\mathcal{L} = \mathcal{L}_{UDF} + \lambda_1 \mathcal{L}_{SP} + \lambda_2 \mathcal{L}_{KL}$$

• Perte de Reconstruction 3D ($\mathcal{L}_{UDF}$) : Minimise l'erreur quadratique moyenne (MSE) entre les champs de distance prédits et réels pour les entrées de BoxMesh et de vêtement. Elle utilise un échantillonnage stratifié pour capturer à la fois les détails de haute fréquence et la structure globale.
• Perte de Patron de Couture ($\mathcal{L}_{SP}$) : Une perte multi-tâche gérant la nature hétérogène des 122 paramètres :
  • MSE pour les dimensions continues.
  • Entropie croisée binaire (BCE) pour les drapeaux booléens.
  • Entropie croisée (CE) pour les valeurs catégorielles.
• Perte d'Alignement Latent ($\mathcal{L}_{KL}$) : Impose la cohérence entre les deux modalités d'entrée en régularisant l'espace latent par rapport à une distribution normale standard et en minimisant la divergence KL entre l'encodage du BoxMesh ($z_B$) et l'encodage du vêtement ($z_G$).

4. Inférence et Adaptation au Moment du Test

• 3D vers 2D : Étant donné un nuage de points 3D, le modèle l'encode dans l'espace latent et décode les paramètres du patron de couture.
• Optimisation au Moment du Test : Pour affiner les prédictions pour des géométries non vues, le vecteur latent $z$ est mis à jour de manière itérative via rétropropagation afin de minimiser l'erreur de reconstruction entre l'UDF prédit et la surface d'entrée. Comme l'espace latent est partagé, cette optimisation affine simultanément la géométrie 3D et les paramètres discrets du patron de couture.
• 2D vers 3D (Édition) : Les utilisateurs peuvent modifier les paramètres du patron 2D, et le réseau (agissant comme un « simulateur neuronal ») prédit instantanément le champ UDF 3D mis à jour sans simulation physique.

Contributions Clés

1. StEm-Net : La première méthode de bout en bout, entièrement différentiable et sans simulation, qui unifie les réalisations de vêtements 3D et les patrons de couture 2D dans un espace latent commun.
2. Performance de l'État de l'Art : La méthode atteint de nouveaux résultats de pointe dans la prédiction de patrons de couture à partir de nuages de points 3D, réduisant l'erreur jusqu'à 15 % par rapport au concurrent le plus proche (NeuralTailor).
3. Adaptation au Moment du Test et Édition : Le cadre permet l'édition directe de vêtements à partir de patrons 2D et l'affinement des prédictions via rétropropagation, le tout sans nécessiter de simulations physiques.

Résultats Expérimentaux

Les auteurs ont évalué StEm-Net sur deux jeux de données : NeuralTailor (topologie plus simple) et GarmentCodeData (topologie complexe avec jusqu'à 75 panneaux).

• Comparaison avec NeuralTailor : Sur le jeu de test NeuralTailor, St-Em a surpassé NeuralTailor sur presque toutes les métriques, y compris l'erreur L2 des panneaux, la détection des bords et la précision des coutures. Notamment, NeuralTailor n'a pas réussi à converger sur le jeu de données plus complexe GarmentCodeData, alors que StEm-Net y est parvenu.
• Comparaison avec les Méthodes Basées sur l'Image : Comparé à ChatGarment (une méthode de pointe basée sur l'image) sur le jeu de test GarmentCodeData, StEm-Net (opérant sur des nuages de points 3D) a obtenu une précision supérieure dans la régression des paramètres, démontrant que les indices géométriques 3D fournissent des informations plus définitives pour l'inférence de motifs que les textures visuelles 2D seules.
• Généralisation : Le modèle s'est généralisé efficacement aux scans réels des jeux de données 4DDress et CloSe, surpassant nettement NeuralTailor en termes de distance de Chamfer malgré un entraînement sur des données synthétiques.
• Édition : Le cadre a démontré avec succès une édition 3D fluide basée sur des modifications de patrons 2D (ex. : changer la longueur du vêtement, retirer les manches ou remplacer un pantalon par une jupe) sans simulation physique.

Signification et Revendications

L'article positionne Stitched Embeddings comme une étape importante pour combler le fossé entre la vision 3D neurale et le processus de fabrication physique des vêtements.

• Efficacité Sans Simulation : En éliminant le besoin de simulateurs de physique différentiables, la méthode offre une alternative computationnellement efficace pour la reconstruction et l'édition de vêtements.
• Représentation Unifiée : Elle résout le défi fondamental de représenter à la fois la géométrie 3D continue et les plans de fabrication 2D discrets au sein d'un seul espace latent apprenable.
• Applicabilité Pratique : La capacité d'effectuer une adaptation au moment du test et une édition directe rend l'outil pratiquement flexible pour les communautés de la Vision et de la Graphique, pouvant potentiellement rationaliser les pipelines de fabrication numérique.

Les auteurs reconnaissent que bien que leurs résultats ne soient pas encore totalement alignés sur des simulations physiques de haute fidélité, ce travail établit une base évolutive pour la recherche future sur les vêtements multicouches, les matériaux variés et les nuances fines des vêtements.