Virtual Try-On for Cultural Clothing: A Benchmarking Study

Deze studie introduceert BD-VITON, een nieuwe dataset voor virtuele passen van traditionele Bangladeshi kleding zoals saree's en panjabis, en toont aan dat het herbekijken en evalueren van bestaande modellen op deze dataset leidt tot significante verbeteringen ten opzichte van zero-shot inferentie.

De kern

Proefkleden in de digitale wereld: Een reis naar culturele kleding

Stel je voor dat je in een virtuele kledingwinkel loopt. Je ziet een prachtige jurk of een traditionele sjaal, en je wilt weten hoe die eruit zou zien op jouw lichaam. In plaats van naar een paskamer te rennen, klik je op een knop en poef! De kleding zit perfect op je foto. Dit heet "Virtual Try-On" (VTO).

Tot nu toe was dit magische systeem echter een beetje eenzijdig. Het was getraind op foto's van westerse kleding (zoals T-shirts en jeans) en vooral op vrouwen. Het was alsof je een vertaler had die alleen Engels en Frans sprak, maar je vroeg hem om een tekst in het Bengaals te vertalen. Het resultaat? De kleding viel er vaak raar uit, of het systeem wist niet hoe het de stof moest laten vallen.

In dit paper introduceren de auteurs BD-VITON, een nieuwe oplossing om dit probleem op te lossen. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Westerse Bril"

De huidige slimme computersystemen die kleding op mensen "plakken", zijn opgeleid met een Westerse bril. Ze kennen de strakke lijnen van een spijkerbroek of een strak T-shirt. Maar wat gebeurt er als je ze vraagt om een Sari (een lang stuk stof dat in complexe plooien om het lichaam wordt gewikkeld) of een Panjabi (een traditionele tuniek) te proberen?

Het systeem raakt in de war. Het probeert de stof te rekken als een T-shirt, terwijl een Sari juist moet vallen en plooien. Het is alsof je probeert een olifant in een poppenhuisje te proppen; de vorm klopt gewoon niet.

2. De Oplossing: BD-VITON (De Nieuwe Leerling)

De auteurs hebben een nieuwe dataset (een verzameling foto's) gemaakt, specifiek voor Bangladeshi kleding. Ze noemen het BD-VITON.

• Wat zit erin? Foto's van mannen en vrouwen in traditionele kleding zoals de Sari, Panjabi en Salwar Kameez.
• Waarom is dit speciaal? Deze kledingstukken hebben complexe vormen, veel plooien en vallen anders dan westerse kleding. Het is als het verschil tussen een strak pak en een dansende sjaal.

3. Hoe hebben ze het getest? (De Oefensessie)

De auteurs hebben drie van de slimste "kleding-plaksystemen" die er vandaag de dag bestaan (VITON-HD, HR-VITON en StableVITON) op deze nieuwe dataset laten oefenen.

• De "Zero-Shot" poging (Zonder oefening): Eerst lieten ze de systemen de nieuwe kleding proberen zonder dat ze er ooit eerder naar hadden gekeken. Het resultaat was slecht: de kleding zag eruit alsof het op een verkeerde persoon was geplakt, of de plooien waren verdwenen.
• De "Fine-Tuning" poging (Met oefening): Vervolgens lieten ze de systemen de nieuwe foto's bestuderen. Ze leerden de systemen hoe een Sari om een lichaam valt en hoe een Panjabi zit.
• Het resultaat: Na deze "oefensessie" waren de systemen veel beter! Ze konden de kleding nu realistisch en mooi op de mensen laten lijken. Het bewijst dat als je een systeem leert over specifieke culturen, het veel slimmer wordt.

4. De Technische Magie (Maar dan simpel)

Hoe hebben ze de computers geholpen? Ze hebben een soort "digitale schaar en lijm" gebruikt:

1. Het lichaam isoleren: Ze hebben de kleding van de originele foto verwijderd, zodat er een "geest" van de persoon overbleef (zonder de oude kleding).
2. De kleding voorbereiden: Ze hebben de nieuwe kleding (bijvoorbeeld de Sari) eruit geknipt.
3. De puzzel oplossen: De computer moest nu de nieuwe kleding op het "geest-lichaam" plakken, rekening houdend met de houding van de persoon. Omdat de kleding van Bangladesh zo complex is (veel lagen, plooien), moesten ze de computer extra leren hoe die lagen zich gedragen.

5. Waarom is dit belangrijk?

Voor de 2,4 miljard mensen in Zuid-Azië die traditionele kleding dragen, was deze technologie tot nu toe nutteloos. Met BD-VITON wordt de digitale kledingwereld inclusiever. Het laat zien dat technologie niet alleen voor "standaard" westerse kleding hoeft te werken, maar dat we specifieke datasets nodig hebben voor elke cultuur.

Kortom:
De auteurs hebben een nieuwe "trainingsboek" gemaakt voor slimme computers, speciaal voor de complexe en prachtige kleding van Bangladesh. Hierdoor kunnen deze computers nu eindelijk goed doen wat ze moeten doen: je laten zien hoe je eruitziet in een prachtige Sari of Panjabi, zonder dat je ooit een paskamer hoeft binnen te stappen. Het is een grote stap naar een wereld waar digitale kleding voor iedereen werkt, ongeacht je cultuur.

Technische samenvatting

Titel: Virtual Try-On voor Culturele Kleding: Een Benchmarkstudie

1. Het Probleem

Bestaande systemen voor virtueel passen (Virtual Try-On of VTO) hebben aanzienlijke vooruitgang geboekt dankzij diffusiemodellen. Echter, de huidige benchmarks en datasets (zoals VITON, VITON-HD en DressCode) zijn sterk bevooroordeeld ten opzichte van Westerse kledingstijlen en vrouwelijke modellen.

• Beperkte Generalisatie: Deze modellen falen systematisch bij kleding met complexe draperingen, asymmetrische lagen en specifieke draagmanieren die niet voorkomen in de Westerse mode.
• Culturele Lekkage: Voor de 2,4 miljard mensen in Zuid-Azië die traditionele kleding dragen (zoals in Bangladesh), zijn bestaande VTO-systemen inefficiënt of onbruikbaar.
• Datasethiaten: Bestaande datasets missen vaak volledige lichaamsweergave voor mannen en kleding met complexe structuren zoals sari's, panjabis en salwar kameez.

2. Methodologie

De auteurs introduceren BD-VITON, een nieuwe dataset en benchmark specifiek gericht op traditionele Bangladeshi kleding, en evalueren bestaande state-of-the-art modellen op deze dataset.

A. Dataset Constructie (BD-VITON)

• Inhoud: De dataset bevat gepaarde afbeeldingen van personen en kledingstukken, specifiek voor Saree (vrouwen), Panjabi (mannen) en Salwar Kameez (vrouwen).
• Statistieken: Totaal 1.013 samples (810 voor training, 203 voor testen).
  • Genderverdeling: 340 mannelijke samples (Panjabi) en 673 vrouwelijke samples (Kameez en Saree). De onbalans komt door de schaarste aan traditionele mannelijke kleding op commerciële platforms.
  • Resolutie: Hoogwaardige resoluties (mediaan 1080×1440), wat een verbetering is ten opzichte van oudere datasets.
• Annotatie Pipeline: Een geautomatiseerde pipeline werd ontwikkeld om de volgende inputs te genereren voor de modellen:
  1. Semantische Parsing: Gebruik van SCHP en FASHN Human Parser voor pixel-niveau segmentatie van lichaamsdelen.
  2. Parse-Agnostische Representatie: Verwijdering van kleding en armen om "lekkage" van de oorspronkelijke kleding te voorkomen tijdens de synthese.
  3. Kledingmasker & Extractie: Isolatie van het kledingstuk voor gebruik als input.
  4. Agnostic Mask: Een masker dat de kledingstructuur verwijdert maar de houding (pose) en identiteit behoudt.
  5. Pose Schatting: Extractie van 2D keypointen (OpenPose COCO-18) via DWPose.
  6. DensePose: Generatie van een 24-delig lichaamsoppervlak (SMPL model) voor nauwkeurige textuurtoewijzing.

B. Model Adaptatie en Training
Drie bestaande VTO-modellen werden getraind en geëvalueerd op BD-VITON:

1. VITON-HD: Een drie-staps framework (semantische layout, geometrische uitlijning via TPS, en fotorealistische synthese). De auteurs implementeerden hun eigen trainingsscript omdat de officiële niet beschikbaar was, en gebruikten transfer learning.
2. HR-VITON: Een twee-staps framework. Een specifiek probleem was dat het model de kleding "kopiëren en plakken" leerde in plaats van te vervormen. Dit werd opgelost door Gaussian noise aan de randen van de kleding toe te voegen en rotatie-augmentatie toe te passen om de kleding visueel te onderscheiden van de originele afbeelding.
3. StableVITON: Een op diffusie gebaseerd model dat latent feature representations gebruikt. Dit model vereiste geen fundamentele architecturale aanpassingen voor de dataset.

C. Experimentele Setup

• Training vond plaats op een NVIDIA RTX 5060 Ti GPU (CUDA 13.0).
• Resolutie: 512 × 384.
• Vergelijking: Zero-shot inferentie (zonder training op BD-VITON) versus fine-tuning op BD-VITON.

3. Belangrijkste Bijdragen

• BD-VITON Dataset: De eerste openbare dataset die zich richt op complexe, niet-Westerse kledingstructuren (Saree, Panjabi, Kameez) met een mix van mannelijke en vrouwelijke modellen.
• Benchmarking: Een uitgebreide evaluatie van drie toonaangevende modellen (VITON-HD, HR-VITON, StableVITON) op cultureel specifieke kleding.
• Validatie van Hypothese: Het paper bewijst dat het fine-tunen van bestaande architecturen op cultureel specifieke, in-distribution data de prestaties aanzienlijk verbetert, zelfs zonder de modelarchitectuur zelf te wijzigen.
• Technische Innovatie: Ontwikkeling van een robuuste annotatiepipeline die specifiek is aangepast voor complexe draperingen en lagen die in traditionele kleding voorkomen.

4. Resultaten

De resultaten tonen consistente verbeteringen bij training op BD-VITON vergeleken met zero-shot inferentie.

• Kwantitatieve Resultaten (SSIM, LPIPS, FID):
  • Alle modellen presteerden beter na training.
  • VITON-HD behaalde de beste zero-shot prestaties (SSIM 0.813, FID 100.07) en verbeterde daarnaast naar SSIM 0.868 en FID 49.89 na training.
  • HR-VITON had zeer slechte zero-shot prestaties (FID 259.25) vanwege het kopiëren van kleding, maar verbeterde drastisch na training (FID 42.92) dankzij de augmentatiestrategieën.
  • StableVITON presteerde verrassend slecht na training (FID 50.40) vergeleken met zijn zero-shot prestaties. De auteurs attribueren dit aan het beperkte aantal trainingsepoche (slechts 5) en de complexiteit van de attention-layers die meer tijd nodig hebben om te convergeren.
• Kwalitatieve Resultaten:
  • VITON-HD: Leverde stabiele resultaten met goede uitlijning dankzij TPS-warping, maar minder detail dan diffusiemodellen.
  • HR-VITON: Struikelde zonder training over vervorming; met training werden de resultaten coherenter.
  • StableVITON: Toonde overfitting in zero-shot (veranderde kleding naar Westerse stijl). Na training werden de resultaten coherenter, hoewel er nog kleurinconsistenties waren.

5. Betekenis en Toekomstperspectief

• Culturele Inclusiviteit: Dit werk is een belangrijke stap naar het democratiseren van e-commerce en virtuele kledingproeven voor niet-Westerse markten. Het toont aan dat "one-size-fits-all" datasets onvoldoende zijn voor de globale mode-industrie.
• Toekomstige Werk:
  • Uitbreiding van de dataset met meer kledingtypes (bijv. Japanse Kimono, Chinese Hanfu) om de diversiteit te vergroten.
  • Vergroten van de datasetgrootte om training van generatieve modellen van scratch mogelijk te maken zonder overfitting.
  • Verdere verfijning van de modellen om complexe patronen en lagen beter te hanteren.

Conclusie: Het paper demonstreert dat het introduceren van cultureel specifieke data (BD-VITON) essentieel is om de generalisatiecapaciteit van virtuele pas-systemen te verbeteren, waardoor deze effectief kunnen worden ingezet voor complexe, traditionele kledingstijlen.