PROMO: Promptable Outfitting for Efficient High-Fidelity Virtual Try-On

Titel: PROMO: Promptable Outfitting for Efficient High-Fidelity Virtual Try-On

Auteurs: Haohua Chen, Tianze Zhou, Wei Zhu, et al. (Xiaohongshu Inc., Beihang University, Tsinghua University).

---

1. Het Probleem

Virtuele passen (Virtual Try-On of VTON) is een kernfunctie voor e-commerce, waarbij realistische resultaten nodig zijn om kleding op klanten te visualiseren. Bestaande methodes kampen echter met verschillende beperkingen:

• Architecturale complexiteit: Veel diffusion-based methoden gebruiken ingewikkelde architecturen met extra "reference networks" (bijv. parallelle netwerken), wat leidt tot hoge inferentiekosten en complexe initialisatie.
• Efficiëntie vs. Kwaliteit: Er is een voortdurend compromis tussen fotorealistische kwaliteit en snelheid. Bestaande methoden zijn vaak traag door de noodzaak van extra netwerken of inefficiente conditionering (bijv. het samenvoegen van afbeeldingen op pixelniveau).
• Beperkte controle: Veel modellen kunnen de "dressing style" (hoe de kleding gedragen wordt, zoals "opgestopt" of "losjes") niet goed aansturen via prompts. Sommige werken negeren dit of vereisen gesloten bronnen (closed-source VLM's) voor tekstgeneratie.
• Multi-garment uitdagingen: Het tegelijkertijd passen van meerdere kledingstukken (bijv. boven- en onderkleding) met behoud van consistentie is moeilijk, vooral bij complexe scenario's in het wild.

2. Methodologie

PROMO benadert VTON als een gestructureerd beeldbewerkingsprobleem en bouwt op een Flow Matching Diffusion Transformer (DiT) backbone. De kerncomponenten zijn:

A. Latent Multi-Modal Conditional Concatenation

In plaats van een apart reference-netwerk te gebruiken, voegt PROMO alle condities (persoon, kleding, pose, masker) direct toe aan de latent space van het DiT-model.

• Efficiënte Ruimtelijke Conditionering: Maskers en pose-informatie worden gecomprimeerd (2x downsampled in pixelruimte) en vervolgens samengevoegd. Dit reduceert het aantal tokens aanzienlijk (tot 12,5% van de oorspronkelijke dual-condition representatie), wat de training en inferentie versnelt.
• Gebiedsgerichte Loss Weighting: Een gewogen verliesfunctie wordt gebruikt om het model te focussen op kledingdetails (lichaamsgebieden) en ruis in de achtergrond te minimaliseren.

B. Promptable Dressing Style (Style Prompt System)

Om de stijl van het kledingstuk aan te sturen (bijv. "v-hals", "opgestopt"), ontwikkelden de auteurs een systeem dat tekstuele beschrijvingen genereert uit kledingafbeeldingen.

• Ze fine-tunen een Qwen2.5-VL-7B model (in plaats van een groter, duurder model) om JSON-gebaseerde schema's te genereren die kledingattributen en stijlen beschrijven.
• Deze gestructureerde data wordt omgezet in natuurlijke taal prompts voor het generatieproces, wat controle mogelijk maakt zonder gesloten bronnen.

C. Temporal Self-Reference & 3D-RoPE

Om multi-garment try-on efficiënt te maken zonder extra parameters:

• Temporal Self-Reference: De model gebruikt een caching-mechanisme waarbij Key-Value paren van kledingcondities bij de eerste tijdstap worden opgeslagen en hergebruikt in latere stappen. Dit elimineert de noodzaak voor een tweede netwerk.
• 3D-RoPE (Rotary Positional Embedding): De temporale dimensie van RoPE wordt herschikt om verschillende condities (bijv. kledingstuk A vs. kledingstuk B) te onderscheiden binnen dezelfde forward pass. Dit voorkomt fouten bij het toewijzen van kleding aan het juiste lichaamsdeel.

D. Robuustheid voor Real-World Scenarios

PROMO bevat twee hulpmodules voor incomplete input:

1. Style Prompt System: Genereert stijlbeschrijvingen.
2. TryOff Model: Kan kleding uit een modelafbeelding extraheren als er geen losse kledingafbeelding beschikbaar is, waardoor het systeem ook met ongepaarde data kan trainen.

3. Belangrijkste Bijdragen

1. PROMO Framework: Een multi-modale, prompt-controleerbare VTON-architectuur die een DiT-backbone combineert met efficiënte conditionering en self-reference mechanismen voor snelle, hoge-kwaliteit generatie.
2. Stijl Prompt Systeem: Een geoptimaliseerd systeem dat een klein, gespecialiseerd VLM (Qwen2.5-VL-7B) gebruikt voor betrouwbare stijlbeschrijvingen, wat de controle over de "dressing style" mogelijk maakt.
3. Efficiëntie en Schaalbaarheid: Door het gebruik van Temporal Self-Reference en token-merging, reduceert PROMO de inferentie-overhead aanzienlijk zonder kwaliteitsverlies, wat een verbetering is ten opzichte van bestaande UNet- of Reference-netwerk gebaseerde methoden.
4. Uitgebreide Evaluatie: Prestaties zijn getest op standaard datasets (VITON-HD, DressCode) en een nieuw "in-the-wild" dataset, waarbij PROMO zowel VTON-specialisten als generieke beeldbewerkingsmodellen overtreft.

4. Resultaten

• Kwaliteit: PROMO behaalt state-of-the-art resultaten op zowel gepaarde als ongepaarde testsets. Het overtreft modellen zoals OOTDiffusion, Any2AnyTryon en PromptDresser in metrics zoals FID, KID, SSIM en LPIPS.
• Vergelijking met Generieke Modellen: Op de DressCode en VITON-HD datasets presteert PROMO beter dan gespecialiseerde beeldbewerkingsmodellen (zoals Seedream 4.0, Qwen Image Edit, Nanobanana) wat betreft kleurconsistentie en artifact-reductie.
• Snelheid: Door Temporal Self-Reference en Spatial Token Merging wordt de inferentietijd aanzienlijk verkort (bijv. van ~22s naar ~9s op een H800 GPU) terwijl de kwaliteit behouden blijft.
• User Study: In een studie met menselijke beoordelaars op "in-the-wild" data scoorde PROMO het hoogst op textuur, lichaamsvorm, stijl en kleurconsistentie (84,42% "excellent" rating), wat hoger is dan commerciële concurrenten.

5. Betekenis en Impact

PROMO lost een kritiek probleem in de VTON-industrie op: het vinden van een evenwicht tussen fideliteit (realisme) en efficiëntie (snelheid).

• Technologische Vooruitgang: Het bewijst dat Flow Matching Transformers, gekoppeld aan multi-modale conditionering en self-reference, een superieur alternatief zijn voor de traditionele UNet-architecturen met reference networks.
• Praktische Toepassing: De mogelijkheid om meerdere kledingstukken tegelijk te passen en de stijl via prompts te controleren, maakt het systeem zeer bruikbaar voor realistische e-commerce applicaties.
• Toekomstgericht: De methode is trainbaar op een breder scala aan beeldbewerkings taken en biedt een schaalbare oplossing voor de groeiende vraag naar interactieve en realistische virtuele pasproeven.

Kortom, PROMO introduceert een nieuwe standaard voor virtuele passen door een slimme architectuur te combineren die zowel sneller als realistischer is dan de huidige state-of-the-art.