MV-Fashion: Towards Enabling Virtual Try-On and Size Estimation with Multi-View Paired Data

Dit paper introduceert MV-Fashion, een groot meerkijkend video-dataset met 3.273 sequenties en gedetailleerde annotaties, dat is ontworpen om de kloof te overbruggen tussen synthetische en realistische data voor taken zoals virtueel passen en kledinggrootte-schatting.

De kern

Stel je voor dat je online kleding koopt. Je ziet een foto van een model, maar je weet nooit zeker of die broek je ook zo goed staat, of dat het shirt te strak zit of juist te wijd. En als je het probeert, is de kans groot dat je het weer moet retourneren. Dat is zonde van tijd, geld en het milieu.

De onderzoekers van dit paper, MV-Fashion, hebben een oplossing bedacht die voelt als een magische kledingwinkel in de toekomst. Hier is hoe het werkt, vertaald naar gewone taal:

1. Het Probleem: De "Gok" van Online Kopen

Tot nu toe hadden we twee soorten hulpmiddelen, maar geen van beide was perfect:

• De simpele foto's: Je ziet een kledingstuk plat op de grond liggen (zoals in een catalogus) en een model dat het draagt. Maar je mist de 3D-dimensie. Je weet niet hoe het stof beweegt als je loopt.
• De dure 3D-scans: Er zijn wel datasets met mensen die in 3D worden gescand, maar daar ontbreekt de link naar de "platte" kleding. Je kunt niet makkelijk zeggen: "Ik wil die specifieke jas van de website op dit model proberen."

Het was alsof je een auto wilt kopen, maar je mag alleen de motor zien (de 3D-scan) of alleen de brochure (de foto), maar nooit beide tegelijk.

2. De Oplossing: Een "Kleding-Cinema"

De onderzoekers hebben een enorme nieuwe database gebouwd, genaamd MV-Fashion.

Stel je een studio voor met 68 camera's die allemaal tegelijk filmen. In het midden staat een persoon. Ze dragen een outfit, draaien om hun as, en doen verschillende poses.

• Het unieke trucje: Voor elke outfit die ze dragen, hebben ze ook een foto gemaakt van diezelfde kledingstukken, plat op de grond, alsof je ze uit de verpakking haalt.
• De "Tweeling": Ze hebben dus voor elke video van een mens in kleding, ook de "platgelegde" versie van die kleding. Dit is de heilige graal voor virtueel passen.

3. Waarom is dit zo speciaal? (De Creatieve Analogieën)

A. De "Lego-mens" vs. De "Echte Mens"
Veel eerdere databases waren gemaakt met computersimulaties (zoals in een videogame). Dat ziet er soms net niet echt genoeg uit; de stof valt niet natuurlijk.
MV-Fashion is echter gemaakt met echte mensen in echte kleding. Ze hebben zelfs kleding gedragen met meerdere lagen (een trui over een overhemd) en verschillende stijlen (mouwen opgerold, broek in de laarzen gestopt). Het is alsof ze een film hebben gemaakt in plaats van een tekening.

B. De "Kleding-CT-scan"
Ze hebben niet alleen video's gemaakt. Ze hebben ook een soort "CT-scan" voor kleding gedaan. Ze weten precies:

• Hoe elastisch het stof is (is het een stijve jas of een rekbaar T-shirt?).
• Hoe de maten precies zijn (niet alleen S, M of L, maar centimeter voor centimeter).
• Hoe de kleding eruitziet als je hem plat legt.

C. De "Tijdmachine voor Passen"
Met deze data kunnen ze een computer leren om te doen wat we allemaal willen: Virtueel Passen.
Stel, je uploadt een foto van jezelf en een foto van een jas die je online ziet. Het systeem gebruikt de MV-Fashion database als een "tussenstap". Het weet precies hoe die jas eruitziet als hij plat ligt, en hoe hij eruitziet op een mens die beweegt. Daardoor kan het de jas op jouw foto "plakken" en laten zien hoe hij eruitziet terwijl je loopt, zonder dat je hem fysiek aan hoeft te hebben.

4. Wat levert dit op?

Dit onderzoek is niet alleen leuk voor de kledingindustrie, maar ook voor het milieu:

• Minder retouren: Als je weet dat de broek je goed staat voordat je hem bestelt, hoef je hem niet terug te sturen.
• Minder afval: Minder retourzendingen betekent minder vrachtwagens op de weg en minder verpakkingsafval.
• Beter ontwerp: Ontwerpers kunnen zien hoe hun kleding eruitziet op verschillende lichaamstypes voordat ze er ook maar één fysiek exemplaar van maken.

Samenvattend

MV-Fashion is als het bouwen van een gigantische, digitale spiegel. Deze spiegel is zo slim dat hij niet alleen je reflecteert, maar ook precies weet hoe elk stukje kleding eruitziet, hoe het voelt en hoe het beweegt. Het maakt de stap van "online kijken" naar "online passen" eindelijk echt en betrouwbaar.

Het is een grote stap naar een wereld waar je nooit meer een kledingstuk online koopt en denkt: "Oh, had ik dat maar eerder geweten..."

Technische samenvatting

1. Het Probleem

Bestaande datasets voor menselijke modellering en mode-onderzoek vertonen significante tekortkomingen die de ontwikkeling van geavanceerde applicaties zoals Virtual Try-On (VTON) en kledinggrootte-schatting belemmeren:

• Gebrek aan realisme en dynamiek: Synthetische datasets missen vaak de complexe dynamiek van echte kleding (zoals plooien, lagen en stofeigenschappen).
• Ontbrekende annotaties en gepaarde data: Real-world datasets bevatten vaak wel 3D-geometrie en beweging, maar missen de cruciale "gepaarde" data: de link tussen een kledingstuk in een platte catalogus (productfoto) en hetzelfde kledingstuk gedragen door een persoon in diverse poses.
• Fragmentatie: VTON-datasets zijn meestal 2D en unpaired (geen 3D-geometrie), terwijl 3D/4D-datasets vaak geen catalogus-afbeeldingen bevatten. Dit maakt het moeilijk om zowel de geometrie als de visuele consistentie over verschillende perspectieven te modelleren.
• Complexiteit van styling: Bestaande datasets behandelen kleding vaak als statische objecten, zonder variaties in styling (bijv. opgerolde mouwen, ingestopte overhemden) of meervoudige lagen.

2. Methodologie en Dataset: MV-Fashion

Om deze kloof te overbruggen, stellen de auteurs MV-Fashion voor: een groot, gesynchroniseerd multi-view video-dataset specifiek ontworpen voor mode-analyse.

Dataverzameling en Opstelling:

• Hardware: Een hybride multi-view opstelling met 68 camera's: 60 Raspberry Pi global shutter camera's (1.6 MP) voor RGB-video en 8 Orbbec Femto Bolt camera's (4K RGB + diepte/ToF).
• Synchronisatie: Alle camera's zijn elektronisch gesynchroniseerd met een nauwkeurigheid van minder dan 2 milliseconden.
• Protocol: Er zijn drie types sequenties opgenomen voor 80 proefpersonen (diverse etnische achtergronden, geslachten en lichaamstypes):
  1. Body sequence: Minimaal gekleed voor lichaamsvorm-schatting.
  2. Template sequence: Statische poses om de geometrie van elk kledingstuk apart vast te leggen.
  3. Motion sequence: Dynamische poses om kledingdynamiek te modelleren.
• Inhoud: Het dataset bevat 3.273 sequenties (72,5 miljoen frames) met 474 outfits (754 individuele kledingstukken). Dit omvat complexe scenario's zoals meervoudige lagen (tot 3 lagen) en diverse stylingvariaties.

Data Representatie en Annotaties:
Het dataset biedt een rijke, multi-modale datastructuur:

• Gepaarde data: Voor elke video-sequentie zijn er corresponderende platte/catalogus-afbeeldingen van de kledingstukken.
• Semantische annotaties: Pixel-niveau segmentatie van de mens en individuele kledinglagen.
• 3D Data: Geproduceerde 3D-puntenwolken en SMPL-X lichaamspose/shape parameters.
• Materiaal en Maten: Handmatig opgenomen materiaaleigenschappen (elasticiteit, stofsoort), gedetailleerde maattabellen (sizing charts) en categorische labels voor pasvorm (slim, regular, loose) en styling (bijv. mouwen opgerold).
• Tekstuele beschrijvingen: Generatie van gedetailleerde kledingbeschrijvingen met behulp van een Large Language Model (Qwen3-VL).

3. Belangrijkste Bijdragen

1. MV-Fashion Dataset: Een schaalbaar, multi-view video-dataset met een unieke combinatie van schaal, realisme en mode-specifieke details (lagen, styling, gepaarde catalogus-data).
2. Unieke Opname-scenario's: Ontworpen om kledingdynamiek te testen, inclusief meervoudige lagen en diverse stylingopties die zeldzaam zijn in bestaande datasets.
3. Rijke Annotaties: Inclusief pixel-niveau segmentatie, grond-waarheid materiaaleigenschappen, gedetailleerde maattabellen en 3D-puntenwolken.
4. Catalogus-naar-Multi-view Koppeling: De aanwezigheid van platte kledingafbeeldingen voor elke video-sequentie opent nieuwe wegen voor VTON en grootte-schatting.
5. Benchmarks: Het stellen van baseline resultaten voor Virtual Try-On, kledinggrootte-schatting en Novel View Synthesis (NVS).

4. Resultaten en Experimenten

De auteurs hebben state-of-the-art modellen getraind en getest op MV-Fashion om de bruikbaarheid te valideren:

• Virtual Try-On (VTON):

  • Modellen zoals IDM-VTON en InsertAnything presteren goed op het single-view subset, wat aantoont dat MV-Fashion compatibel is met bestaande pipelines.
  • Semantische Controle: Modellen getraind met styling-augmentatie kunnen reageren op prompts (bijv. "jasje open"), hoewel fijne controle nog uitdagend blijft.
  • Multi-View Analyse: Het gebruik van zowel frontale als achterste catalogus-afbeeldingen (View-Adaptive Try-On) vermindert geometrische fouten bij het synthetiseren van nieuwe perspectieven, in vergelijking met het gebruik van slechts één perspectief.

• Grootte-schatting (Size Estimation):

  • Een aanpassing van SPnet werd gebruikt om kledingmaten direct af te leiden van beelden van geklede mensen.
  • Een Multi-Task aanpak (die gemeenschappelijke metingen over kledinggroepen heen combineert) presteerde aanzienlijk beter dan per-groep training, met een gemiddelde fout (MAE) van 4,28 cm. Dit bewijst dat het dataset voldoende signalen bevat om nauwkeurige maten te leren zonder synthetische data.

• Novel View Synthesis (NVS):

  • Methoden zoals Instant-NGP, Nerfacto en 3D Gaussian Splatting werden getest.
  • 3D Gaussian Splatting leverde de beste resultaten op, met hoge PSNR en SSIM scores, en slaagde erin fijne texturen en plooien te reconstrueren.
  • Een ablatiestudie toonde aan dat de kwaliteit verzadigt bij ongeveer 56 camera's, wat aangeeft dat de huidige opstelling optimaal is voor deze taken.

5. Betekenis en Conclusie

MV-Fashion vult een kritieke lacune in de computer vision-literatuur door de kloof tussen multi-view 3D-captures en 2D Virtual Try-On te dichten.

• Toekomstgericht: Het dataset biedt een robuust testbed voor onderzoek naar fysica-simulatie van kleding, duurzaamheid (minder fysieke monsters), en e-commerce (betere grootte-adviezen om retouren te verminderen).
• Reproduceerbaarheid: Het dataset en de baseline-implementaties worden openbaar gemaakt, wat de gemeenschap in staat stelt om verder te bouwen op deze fundamenten.
• Impact: Door realistische dynamiek, gepaarde data en gedetailleerde annotaties te combineren, stelt MV-Fashion onderzoekers in staat om complexere en meer betrouwbare modellen te ontwikkelen voor digitale mode en menselijke modellering.

Kortom, MV-Fashion is een mijlpaal-dataset die de weg vrijmaakt voor de volgende generatie realistische virtuele kledingtoepassingen.