DressWild: Feed-Forward Pose-Agnostic Garment Sewing Pattern Generation from In-the-Wild Images

DressWild is een nieuwe feed-forward methode die met behulp van vision-language modellen en een transformer-encoder robuust 2D-naaipatronen en bijbehorende 3D-kledingstukken genereert vanuit enkele willekeurige foto's, waardoor schaalbare en fysiek consistente simulaties mogelijk worden zonder iteratieve optimalisatie.

De kern

Stel je voor dat je een foto maakt van iemand die een prachtige, unieke jas draagt terwijl ze dansen, springen of gewoon chillen. Vroeger was het voor een modeontwerper of een computer heel moeilijk om uit die ene foto te halen: "Hoe zag die jas eruit als hij plat op een tafel lag? Welke stukken stof moesten erop, en hoe moesten ze aan elkaar genaaid worden?"

Meestal moest je dan zelf aan de slag met een naaimachine, patronen tekenen en urenlang experimenteren. Of je moest een dure computerprogramma gebruiken dat uren rekent om een 3D-model te maken, maar dat model was vaak niet echt "naaibaar".

DressWild is als een magische, super-snelle naaimachine die uit één foto direct het complete naaipatroon en het 3D-kledingstuk kan maken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Dansende" Kleding

Kleding op een foto zit altijd in een rare houding. Als iemand zijn armen opheft, rekt de stof uit en verandert de vorm. Computers zien dit vaak als een nieuwe, vreemde vorm, terwijl het eigenlijk gewoon dezelfde jas is. Bestaande methoden waren ofwel te traag (ze rekenden urenlang om het patroon te "optimaliseren") of ze faalden als de persoon niet perfect recht voor de camera stond.

2. De Oplossing: De "T-Pose" Magie

DressWild gebruikt een slimme truc die we VLM (Vision-Language Model) noemen. Denk hierbij aan een zeer ervaren mode-assistent die ook nog eens goed kan lezen en kijken.

• De Stap: Als je een foto uploadt van iemand die springt, vraagt DressWild aan deze assistent: "Hoe zou deze persoon eruitzien als hij stil stond met zijn armen langs zijn lichaam (de 'T-pose')?"
• Het Effect: De assistent "reken" de foto om naar een standaardstandaard. Hierdoor kan de computer zien: "Ah, dit is een mouw, dit is een kraag, en dit is de zoom," ongeacht hoe de persoon in de originele foto stond. Het haalt de "dans" uit de foto, zodat de kleding rustig en duidelijk te zien is.

3. De Bouwplaat: Van Foto naar Naaipatroon

Zodra de computer weet hoe de kleding eruitziet in zijn "ruststand", gaat hij aan de slag met het maken van het naaipatroon.

• De Analoge: Stel je voor dat je een ballonnetje hebt dat opgeblazen is (de kleding op het lichaam). DressWild blaast het leeg en plakt het plat op een tafel. Maar dan niet zomaar: het snijdt het precies in de juiste stukken (panelen) en tekent de kromme lijnen die nodig zijn om het weer op te blazen.
• Het Resultaat: De computer geeft je niet alleen een 3D-figuur, maar ook de 2D-tekeningen (het patroon) die een echte naaister zou gebruiken. Deze tekeningen zijn "simulatie-klaar", wat betekent dat je ze direct in een computerprogramma kunt laden om te zien hoe de stof valt, of zelfs om ze fysiek te maken.

4. Waarom is dit zo speciaal?

• Snelheid: Het is een "feed-forward" systeem. Dat betekent dat het in één keer door de foto "schiet" en het antwoord geeft. Geen langdurig wachten of iteratief rekenen. Het is als het verschil tussen een auto die urenlang moet opwarmen en een elektrische auto die direct wegrijdt.
• Robuustheid: Het maakt niet uit of de persoon op de foto springt, buigt of vanuit een rare hoek wordt gefotografeerd ("in-the-wild"). DressWild is zo slim dat het de kleding altijd herkent.
• Meerdere Lagen: Als iemand een trui en een jas draagt, kan DressWild deze van elkaar scheiden en voor elk kledingstuk een apart patroon maken.

Samenvattend

DressWild is als een digitale mode-ontwerper die in een flits een foto van een dansende persoon kan omzetten in een compleet, naaibaar pakket. Het haalt de kleding uit de "beweging", legt het plat op een tafel, tekent de perfecte snijlijnen en geeft je direct een 3D-model dat je kunt gebruiken voor games, films of zelfs om je eigen kleding te fabriceren.

Het maakt het maken van digitale kleding net zo makkelijk als het nemen van een selfie.

Technische samenvatting

Probleemstelling

Traditionele methoden voor 3D-kledingmodellering vereisen een tijdrovend proces dat gaat van conceptontwerp naar het maken van 2D-naadpatronen en vervolgens naar 3D-samenstelling via virtueel naaien. Hoewel dit nauwkeurige controle biedt, is het moeilijk toegankelijk voor niet-experts. Bestaande AI-gedreven benaderingen voor kledinggeneratie uit afbeeldingen focussen vaak uitsluitend op het creëren van visueel plausible 3D-geometrie, zonder de onderliggende 2D-naadpatronen te herstellen. Het ontbreken van deze patroonrepresentaties beperkt de bewerkbaarheid, parametrische controle en fysische maakbaarheid (fabricage).

Bestaande oplossingen vallen in twee categorieën met elk hun nadelen:

1. Data-gedreven feed-forward methoden: Deze zijn beperkt tot specifieke houdingen (zoals A- of T-poses) en hebben moeite om te generaliseren naar diverse houdingen en perspectieven uit "in-the-wild" (niet-gecontroleerde) afbeeldingen.
2. Optimalisatie-gebaseerde methoden: Deze kunnen wel diverse houdingen hanteren en zorgen voor fysieke consistentie, maar zijn computatief zeer duur, vereisen iteratieve simulaties en zijn moeilijk te schalen.

Het doel van DressWild is een efficiënte, schaalbare feed-forward pipeline te creëren die direct 2D-naadpatronen en bijbehorende 3D-kleding herstelt uit één enkele, willekeurige afbeelding, zonder iteratieve optimalisatie.

Methodologie

DressWild is een feed-forward pipeline die gebruikmaakt van Vision-Language Models (VLMs) en transformer-architecturen om pose-agnostische naadpatronen te genereren. De workflow bestaat uit de volgende stappen:

1. VLM-geleide Normalisatie (Canonicalization):

   • Gegeven een input-afbeelding ($I$) met een willekeurige houding, gebruikt het systeem een VLM (zoals NanoBanana Pro) om een canonieke representatie te synthetiseren: een afbeelding van de persoon in een standaard T-pose en frontaal perspectief ($I_c$).
   • Dit stap ontkoppelt variaties in houding en perspectief van de kledinguitstraling, waardoor de kledingstructuur beter zichtbaar wordt.

2. Feature Extractie:
   Het systeem extrahert drie complementaire feature-stromen:

   • Canonieke Structuur Features ($f_c$): Verkregen uit de gesegmenteerde T-pose afbeelding ($I_c$) met behulp van een 3D-reconstructiemodel (Hunyuan3D). Dit levert pose-neutrale geometrische informatie.
   • Afbeelding Appearance Features ($f_i$): Verkregen uit de originele gesegmenteerde input-afbeelding ($I$) om texturen en specifieke details vast te leggen.
   • Pose Features ($f_p$): Verkregen via SAM3D-Body uit de input-afbeelding om de menselijke articulatie expliciet te coderen.

3. Feature Fusion Module:

   • De drie feature-stromen worden geprojecteerd naar een gedeelde embedding-ruimte en samengevoegd via een Transformer-encoder.
   • Deze encoder gebruikt een hybride attention-strategie om kruismodale interacties te leren, waardoor het model zowel de kledingstructuur als de pose-informatie effectief kan integreren.

4. Parameter Decoding:

   • Een decoder-Transformer voorspelt autoregressief de gestructureerde parameters van het naadpatroon.
   • De output omvat: 2D-paneelcoördinaten (vertices), randcurvatuur (via Bézier-curves), 3D-rigide transformaties (rotatie en translatie per paneel) en naadcorrespondenties (stitching labels).
   • Deze parametrische weergave zorgt ervoor dat het gegenereerde patroon direct compatibel is met fysieke simulatie.

5. Post-Processing (Textuur en Simulatie):

   • Textuur: In plaats van geometrie en textuur gezamenlijk te genereren (wat lastig is), worden eerst de 3D-kledingstukken gesimuleerd. Vervolgens worden texturen gegenereerd op het 3D-mesh (met Hunyuan3D-Paint) en geprojecteerd op de UV-kaart van het naadpatroon.
   • Simulatie: De gegenereerde patronen worden gebruikt om kleding op een SMPL-X lichaam te drapeën. Een Position-Based Dynamics (PBD) en CIPC-simulator zorgen voor een fysiek correcte fitting zonder doorboringen.

Belangrijkste Bijdragen

• Eerste Feed-Forward Pipeline voor In-the-Wild Patroongeneratie: DressWild is de eerste methode die direct 2D-naadpatronen en 3D-kleding herstelt uit één enkele, willekeurige afbeelding zonder iteratieve optimalisatie.
• VLM-gebaseerde Canonicalisatie: Het gebruik van Vision-Language Models om een canonieke T-pose afbeelding te genereren, stelt het model in staat om pose-varianties te negeren en de onderliggende kledingstructuur te leren.
• Hybride Feature Fusion: Een innovatief ontwerp dat pose-informatie, canonieke structuur en afbeeldingsfeatures combineert via een Transformer, wat leidt tot robuuste reconstructie onder uitdagende condities.
• Simulatie-klare Output: Het systeem produceert niet alleen visuele 3D-modellen, maar ook editbare, scheidbare en fysiek consistente 2D-naadpatronen die direct gebruikt kunnen worden voor fabricage en animatie.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd en DressWild vergeleken met state-of-the-art methoden zoals NeuralTailor en SewFormer.

• Kwantitatieve Prestaties: DressWild overtreft de baselines aanzienlijk:
  • Paneel Nauwkeurigheid: 94,35% (vs. 25,99% voor NeuralTailor en 28,81% voor SewFormer).
  • Rand Nauwkeurigheid: 85,41% (vs. 29,05% en 34,56%).
  • Geometrische Fouten: Significante reductie in Shape L2 Error (6,22 vs. >22) en Chamfer Distance (0,01899).
• Kwalitatieve Prestaties: De methode herstelt coherent en goed geproportioneerd naadpatronen voor diverse kledingsoorten (jassen, jurken, broeken) in complexe houdingen, terwijl baselines vaak gefragmenteerde of misplaatste patronen genereren.
• Ablatie Studies: Experimenten tonen aan dat zowel de canonieke features (T-pose) als de pose-features essentieel zijn. Zonder pose-features interpreteert het model verkeerd hoe de kleding valt; zonder canonieke features ontbreekt de nauwkeurige geometrische structuur.

Betekenis en Impact

DressWild lost een fundamenteel probleem op in de digitale kledingindustrie: de kloof tussen visuele generatie en fysieke maakbaarheid.

• Toegankelijkheid: Het democratiseert kledingontwerp door niet-experts in staat te stellen direct van een foto naar een productieklare naadpatroon te gaan.
• Efficiëntie: Door te voorkomen dat er iteratieve simulaties nodig zijn, biedt het een schaalbare oplossing voor realtime applicaties.
• Toepassingen: De output is direct inzetbaar voor virtuele pasproeven (virtual try-on), fysieke fabricage, en realistische animatie in games en films. De methode werkt zelfs voor meerlagige kleding (bijv. een jas over een shirt) door de VLM te gebruiken om lagen te decomponeren.

Samenvattend biedt DressWild een robuuste, snelle en nauwkeurige oplossing voor het genereren van fysiek consistente kledingpatronen uit de echte wereld, wat een grote stap voorwaarts is voor digitale fabricage en simulatie.