Technische Samenvatting: Stitched Embeddings (StEm)

Probleemstelling

Hoewel 3D-menselijke digitalisering aanzienlijk is gevorderd door middel van parametrische lichaamsmodellen (bijv. SMPL), blijft de reconstructie en manipulatie van kleding een uitdaging vanwege de enorme topologische variabiliteit en niet-rigide deformatie. Traditionele kledingmodellering vertrouwt op 2D-naaipatronen—stuksgewijze CAD-formalisaties bestaande uit discrete panelen gedefinieerd door parametrische curven (bijv. Bézier-curven) en naairestricties—die dienen als het blauwdruk voor fysieke productie en realistische animatie.

Momenteel vereist het overbruggen van de kloof tussen 2D-patronen en 3D-geometrie doorgaans physics-gebaseerde simulaties (bijv. spring-mass systemen) om panelen aan elkaar te "naaien". Deze afhankelijkheid van simulators brengt drie kritische beperkingen met zich mee:

1. Computationele Kosten: Simulators zijn traag, wat real-time toepassingen belemmert.
2. Niet-differentieerbaarheid: De meeste simulators zijn niet differentieerbaar, wat end-to-end leren en optimalisatie (bijv. het verfijnen van voorspellingen via backpropagation) verhindert.
3. Gebrek aan Flexibiliteit: Bestaande methoden hebben moeite met het ondersteunen van test-time adaptatie of het bewerken van het aantal en type naaipatronen zonder complexe simulaties opnieuw uit te voeren.

Verder missen recente werken die impliciete representaties zoals Unsigned Distance Fields (UDF's) voor 3D-kleding hebben verkend, de semantische structuur die nodig is voor downstream tailoring-toepassingen.

Methodologie: Stitched Embeddings (StEm)

De auteurs stellen Stitched Embeddings (StEm) voor, een verenigde latente ruimte die zowel 3D-kleding als de bijbehorende 2D-naaipatronen gezamenlijk representeert. Het kernframework, StEm-Net, is de eerste end-to-end, volledig differentieerbare en simulatievrije methode om deze representaties te verbinden.

1. Kernrepresentatie: BoxMesh

Om 2D-patronen met 3D-geometrie af te stemmen zonder een simulator, introduceren de auteurs de BoxMesh.

• Concept: Een BoxMesh is een 3D-representatie waarbij 2D-naaipatronen in de 3D-ruimte rond een lichaamsmodel zijn gerangschikt (vergelijkbaar met een "pre-simulatie" staat).
• Functie: Het dient als een ruimtelijke proxy die 2D-panelen afstemt in een canonieke 3D-configuratie op basis van hun semantische functie (bijv. mouwen, voorpand).
• Topologie: De BoxMesh behoudt de exacte topologie van de naaipatronen, maar neemt een 3D-volume in beslag. Wanneer een kleding-simulatie wordt toegepast op een BoxMesh, levert dit het uiteindelijke gedrapeerde kledingstuk-mesh op.
• Afstemming: Door BoxMeshes als een input-modaliteit te gebruiken naast gesimuleerde kledingmeshes, ontvangt het netwerk 3D-ruimtelijke priors die topologisch zijn afgestemd met de uiteindelijke output.

2. Netwerkarchitectuur (StEm-Net)

De architectuur is gebouwd op een aangepast Hunyuan3D 2.1 VAE framework, aangepast om Unsigned Distance Fields (UDF) te gebruiken om niet-waterdichte, open manifolds te representeren (essentieel voor halslijnen en open zomen).

• Encoders:

  • Garment Encoder ($E_g$): Verwerkt een 3D-kleding puntenwolk ($P$) met normalen ($N$).
  • BoxMesh Encoder ($E_{bm}$): Verwerkt de pre-gesimuleerde BoxMesh-geometrie.
  • Afstemmingsstrategie: Om ervoor te zorgen dat de latente ruimte invariant is voor de input-modaliteit (BoxMesh vs. Gesimuleerde Mesh), maakt het model gebruik van de bekende 1:1 correspondentie tussen de twee. Tijdens de training worden corresponderende punten uit beide geometrieën gesampled om dezelfde fysieke locaties naar dezelfde latente regio's te mappen.
  • Output: Beide encoders mappen naar een gemeenschappelijke latente set $z \in \mathbb{R}^{256 \times 64}$.

• Decoders:

  • 3D Decoder ($D_{3D}$): Reconstrueert het UDF-veld van het 3D-kledingstuk.
  • Sewing Pattern Decoder ($D_{SP}$): Regresseert 122 design parameters (uit de GarmentCode-ruimte) die de naaipatronen definiëren. Deze parameters bevatten continue waarden (afmetingen), booleaanse vlaggen (bijv. aanwezigheid van mouwen) en categorische waarden (type kledingstuk). Een decoding transformer met leerbare per-panel queries mapt de latente set naar deze parameters.

3. Training en Verliesfuncties

Het model wordt end-to-end getraind met een samengestelde verliesfunctie:
$$\mathcal{L} = \mathcal{L}_{UDF} + \lambda_1 \mathcal{L}_{SP} + \lambda_2 \mathcal{L}_{KL}$$

• 3D Reconstructieverlies ($\mathcal{L}_{UDF}$): Minimaliseert de Mean Squared Error (MSE) tussen voorspelde en grondwaarheid afstandvelden voor zowel BoxMesh- als kledinginputs. Het gebruikt gestratificeerde sampling om zowel hoogfrequente details als globale structuren te vangen.
• Sewing Pattern Verlies ($\mathcal{L}_{SP}$): Een multi-task verlies dat de heterogene aard van de 122 parameters afhandelt:
  • MSE voor continue dimensies.
  • Binary Cross-Entropy (BCE) voor booleaanse vlaggen.
  • Cross-Entropy (CE) voor categorische waarden.
• Latente Afstemmingsverlies ($\mathcal{L}_{KL}$): Dwingt consistentie af tussen de twee input-modaliteiten door de latente ruimte te reguleren tegen een standaard normale verdeling en de KL-divergentie tussen de BoxMesh-encoding ($z_B$) en de Garment-encoding ($z_G$) te minimaliseren.

4. Inferentie en Test-Time Adaptatie

• 3D naar 2D: Gegeven een 3D-puntenwolk, encodeert het model deze naar de latente ruimte en decodeert het de naaipatroonparameters.
• Test-Time Optimalisatie: Om voorspellingen voor ongeziene geometrieën te verfijnen, wordt de latente vector $z$ iteratief bijgewerkt via backpropagation om de reconstructiefout tussen de voorspelde UDF en het ingevoerde oppervlak te minimaliseren. Omdat de latente ruimte gedeeld wordt, verfijnt deze optimalisatie gelijktig de 3D-geometrie en de discrete naaipatroonparameters.
• 2D naar 3D (Bewerken): Gebruikers kunnen 2D-patroonparameters wijzigen, en het netwerk (dat fungeert als een "neurale simulator") voorspelt onmiddellijk het bijgewerkte 3D-UDF-veld zonder fysieke simulatie.

Belangrijkste Bijdragen

1. StEm-Net: De eerste end-to-end, volledig differentieerbare en simulatievrije methode die 3D-kledingrealisaties en 2D-naaipatronen verenigt in een gemeenschappelijke latente ruimte.
2. State-of-the-Art Prestaties: De methode bereikt nieuwe state-of-the-art resultaten in het voorspellen van naaipatronen vanuit 3D-puntenwolken, waarbij de fout met wel 15% wordt verminderd ten op сравнению met de dichtstbijzijnde concurrent (NeuralTailor).
3. Test-Time Adaptatie & Bewerken: Het framework maakt directe kledingbewerking mogelijk vanaf 2D-patronen en het verfijnen van voorspellingen via backpropagation, allemaal zonder fysieke simulaties.

Experimentele Resultaten

De auteurs evalueerden StEm-Net op twee datasets: NeuralTailor (eenvoudigere topologie) en GarmentCodeData (complexe topologie met tot wel 75 panelen).

• Vergelijking met NeuralTailor: Op de NeuralTailor testset presteerde StEm-Net beter dan NeuralTailor op bijna alle metrieken, inclus_ief Panel L2-fout, randdetectie en stitch-precisie. Opvallend genoeg slaagde NeuralTailor er niet in om te convergeren op de complexere GarmentCodeData, terwijl StEm-Net dat wel deed.
• Vergelijking met Image-Based Methoden: Bij vergelijking met ChatGarment (een state-of-the-art beeldgebaseerde methode) op de GarmentCodeData testset, behaalde StEm-Net (werkend op 3D-puntenwolken) een superieure nauwkeurigheid in parameterregressie, wat aantoont dat 3D-geometrische cues meer definitieve informatie bieden voor patrooninferentie dan 2D-visuele texturen alleen.
• Generalisatie: Het model generaliseerde effectief naar real-world scans van de 4DDress en CloSe datasets, waarbij het de Chamfer Distance metrieken van NeuralTailor aanzienlijk overtrof, ondanks dat het op synthetische data was getraind.
• Bewerken: Het framework demonstreerde succesvol naadloze 3D-bewerking op basis van 2D-patroonwijzigingen (bijv. het veranderen van de kledinglengte, het verwijderen van mouwen, of het vervangen van broeken door rokken) zonder fysieke simulatie.

Betekenis en Claims

Het artikel positioneert Stitched Embeddings als een belangrijke mijlpaal in het overbruggen van de kloof tussen neurale 3D-visie en de fysieke kledingproductiepipeline.

• Simulatievrije Efficiëntie: Door het elimineren van de noodzaak voor differentieerbare physics-simulators, biedt de methode een computationeel efficiënt alternatief voor kledingreconstructie en -bewerking.
• Verenigde Representatie: Het lost de fundamentele uitdaging op van het representeren van zowel continue 3D-geometrie als discrete 2D-productieblauwdrukken binnen een enkele, leerbare latente ruimte.
• Praktische Toepasbaarheid: Het vermogen om test-time adaptatie en directe bewerking uit te voeren, maakt de tool praktisch flexibel voor de Vision en Graphics gemeenschappen, wat potentieel digitale fabricagepipelines kan stroomlijnen.

De auteurs erkennen dat hoewel hun resultaten nog niet volledig in lijn zijn met high-fidelity fysieke simulaties, het werk een schaalbare basis legt voor toekomstig onderzoek naar meerlaagse kleding, variërende materialen en fijnmazige kledingnuances.