Image2Garment: Simulation-ready Garment Generation from a Single Image

1. Het Probleem

Het genereren van kledingstukken die direct bruikbaar zijn voor fysieke simulaties (bijv. in games, VR of modeontwerp) op basis van slechts één enkele afbeelding is een uiterst uitdagend probleem. De belangrijkste obstakels zijn:

• Gebrek aan datasets: Er bestaan geen grote datasets die realistische kledingafbeeldingen koppelen aan de fysieke parameters die nodig zijn voor doeksimulatie (zoals rekstijfheid, buigstijfheid, dichtheid en demping).
• Ill-posed probleem: Het direct afleiden van fysieke eigenschappen uit een 2D-afbeelding is ambigu. Verschillende materialen kunnen er visueel bijna identiek uitzien, maar zich fysiek totaal anders gedragen.
• Beperkingen van bestaande methoden:
  • Methoden die op multi-view opnames of video's vertrouwen, zijn onpraktisch voor dagelijks gebruik.
  • Methoden die fysieke parameters optimaliseren via differentieerbare simulatie vereisen langdurige iteratieve optimalisatie en zijn vaak beperkt tot eenvoudige kledingtypes.
  • Bestaande single-image methoden voorspellen vaak alleen de geometrie (vorm) en negeren de materiaaleigenschappen, waardoor de simulatie onrealistisch is.

2. Methodologie

De auteurs stellen een feed-forward framework voor dat het probleem oplost door het "image-to-physics" probleem te ontleden in twee leerbare stappen via een semantisch onderliggende latente decompositie. In plaats van direct afbeeldingen naar fysieke parameters te mappen, gebruiken ze een tussenlaag van interpreteerbare materiaaldeskriptoren.

Het proces verloopt in drie fasen:

A. Geometrieherstel

Het kledinggeometrie (naaimodel) wordt herleid uit de inputafbeelding met behulp van een bestaand model, ChatGarment. Dit model voorspelt het naaimodel dat vervolgens wordt gedrapeerd over een standaard menselijk lichaam (SMPL) om de 3D-vorm te krijgen.

B. Voorspelling van Materiaalattributen (Fabric Attribute Prediction)

Dit is de kerninnovatie. Het model voorspelt niet direct fysieke waarden, maar eerst een gestructureerde set van attributen:

• Materiaalsamenstelling: De exacte vezelpercentages (bijv. 80% katoen, 20% elastaan).
• Familiestijl: Het type weefsel (bijv. denim, chiffon, jersey).
• Structuurtype: Of het geweven (woven), gebreid (knit) of anders is.
• Dichtheid en Dikte: Geschatte oppervlaktedichtheid (gsm) en dikte (mm).

Om dit te doen, fine-tunen de auteurs een Vision-Language Model (VLM), specifiek Qwen-2.5-VL, op een nieuw dataset genaamd FTAG (Fabric Attributes from Garment Tags). Het model wordt getraind om een gestructureerde JSON-uitvoer te genereren. Omdat visuele aanwijzingen voor dichtheid en dikte vaag zijn, gebruiken ze een hiërarchische zoekstrategie op een fysiek dataset om deze waarden te schatten op basis van de voorspelde attributen.

C. Mapping naar Fysieke Parameters (Physics Parameter Prediction)

De voorspelde attributen worden vervolgens omgezet naar de specifieke parameters die nodig zijn voor industriestandaard simulators (zoals Marvelous Designer/CLO3D).

• Hiervoor gebruiken ze een tweede nieuw dataset: T2P (Tag-to-Physics), dat 1.254 stoffen koppelt aan hun gemeten fysieke respons.
• Een Random Forest Regressor (RFR) leert de mapping van de attributen (samenstelling, familie, structuur, dichtheid, dikte) naar de fysieke parameters (buigstijfheid, rekstijfheid, schuifstijfheid, knikstijfheid, etc.).
• Dit resulteert in een volledig voorspelde set parameters die direct in de simulator kunnen worden geladen.

3. Belangrijkste Bijdragen

1. Nieuwe Datasets:
   • FTAG: Een dataset van 16.026 afbeeldingen met annotaties voor materiaalsamenstelling, stofgezin en structuurtype, afkomstig van online winkels.
   • T2P: Een dataset van 1.254 stoffen die attributen koppelt aan meetbare fysieke parameters voor simulatie.
2. Feed-forward Framework: Een volledig geautomatiseerde, optimalisatievrije pijplijn die van één afbeelding naar een simulatieklaar kledingstuk gaat, zonder iteratieve correcties.
3. Semantische Decompositie: De introductie van een tussenstap (attributen) die het ill-posed probleem regulariseert en de data-efficiëntie drastisch verbetert.
4. State-of-the-art Prestaties: Het bereiken van superieure nauwkeurigheid in zowel materiaaleigenschappen als dynamische simulatie in vergelijking met bestaande methoden.

4. Resultaten

De auteurs evalueren hun methode op een synthetische benchmark (4D-Dress) en in-the-wild video's:

• Kwantitatieve resultaten: Image2Garment behaalt de beste scores in Chamfer Distance (CD), Intersection-over-Union (IoU) en beeldkwaliteitsmetingen (PSNR, SSIM, LPIPS) in vergelijking met state-of-the-art methoden zoals ChatGarment, AIpparel en GarmentRecovery.
• Fysieke nauwkeurigheid: De simulaties met de voorspelde parameters vertonen een veel hogere fideliteit aan de grondwaarheid (ground truth) dan methoden die willekeurige of standaard materialen gebruiken. De dynamiek (bijv. hoe een jurk beweegt tijdens een sprong) is realistisch.
• Snelheid: Omdat het een feed-forward proces is, is het aanzienlijk sneller dan methoden die gebaseerd zijn op differentieerbare simulatie en iteratieve optimalisatie (die uren kunnen duren).
• Ablatiestudies: Deze tonen aan dat het fine-tunen van het VLM en het gebruik van volledige afbeeldingen (in plaats van alleen een crop van de stof) cruciaal zijn voor de nauwkeurigheid.

5. Betekenis en Impact

Deze paper is significant omdat het de kloof overbrugt tussen visuele waarneming en fysieke simulatie voor kleding.

• Toegankelijkheid: Het maakt het mogelijk om realistische kledingsimulaties te genereren voor VR, gaming en modeontwerp zonder dure multi-view opnamesets of handmatige materiaalmetingen.
• Schaalbaarheid: De methode werkt direct op "in-the-wild" afbeeldingen, wat het toepasbaar maakt voor grote datasets en real-time toepassingen.
• Fundering voor de toekomst: Door het introduceren van gestructureerde datasets (FTAG, T2P) en een robuust framework, legt het een basis voor toekomstig onderzoek in fysiek onderbouwde 3D-generatie.

Kortom, Image2Garment transformeert een complex, ill-posed inverse probleem in een haalbaar, data-efficiënt proces door gebruik te maken van semantische materiaalkennis als brug tussen visuele data en fysieke simulatie.