CORAL: Correspondence Alignment for Improved Virtual Try-On

Dit paper introduceert CORAL, een DiT-gebaseerd framework dat de prestaties van virtuele pasproeven verbetert door expliciete uitlijning van de correspondentie tussen persoon en kledingstuk via een distillatieverlies en entropieminimalisatie, wat leidt tot een betere behoud van fijne details en globale vormoverdracht.

De kern

CORAL: De "Perfecte Passvorm" voor Virtuele Proefruimtes

Stel je voor dat je een virtuele kledingwinkel bezoekt. Je wilt een nieuwe trui of jurk proberen, maar in plaats van naar de kledingcabine te lopen, klik je gewoon op een foto van jezelf en een foto van het kledingstuk. Helaas werkt dit in de echte wereld vaak nog niet goed: de kleding ziet eruit alsof hij op een stok is gehangen, de mouwen vallen op de verkeerde plek, of het logo van het shirt staat scheef.

Deze paper introduceert CORAL, een slimme nieuwe technologie die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verkeerde Handdruk"

Bij eerdere methoden probeerde de computer te raden welk deel van de kleding bij welk deel van je lichaam hoort. Het was alsof je iemand een hand geeft, maar je mist de hand van de ander en grijpt in de lucht. De computer wist niet precies waar de kraag van het shirt op je nek moest komen of waar de zoom van de broek op je enkels moest eindigen. Hierdoor ontstonden rare artefacten, zoals dubbele zoomlijnen of logo's die in de lucht zweven.

2. De Oplossing: CORAL (De "Matchmaker")

De auteurs hebben een systeem bedacht dat ze CORAL noemen. Het staat voor Correspondence Alignment (Correspondentie Uitlijning).

Je kunt CORAL zien als een super-gevoelige matchmaker die twee dingen doet:

• De "DINO-vriend" (De Expert): CORAL gebruikt een slimme AI (genaamd DINOv3) die al miljoenen foto's heeft gezien. Deze AI weet precies hoe een mouw eruitziet en waar die op een arm hoort te zitten. CORAL vraagt deze expert: "Waar hoort dit stukje stof precies te zitten?"
• De "Laser-Focus" (De Scherpte): Soms twijfelt de computer een beetje: "Zit deze mouw hier of daar?" CORAL pakt deze twijfel en maakt de focus scherp. Het is alsof je van een wazige foto naar een 4K-beeld gaat. De computer wordt gedwongen om precies op het juiste punt te kijken en niet ergens in de buurt.

3. Hoe werkt het technisch? (Maar dan simpel)

De computer gebruikt een heel krachtig brein genaamd een Diffusion Transformer. Dit brein kijkt naar alle onderdelen van de foto tegelijk (je gezicht, je armen, de kleding).

• De oude manier: Het brein keek naar de kleding en dacht: "Oh, dit is een mouw, ik plak hem ergens op de arm."
• De CORAL-methode: Het brein krijgt een opdracht: "Kijk naar de vraag (waar is de arm?) en het antwoord (waar is de mouw?). Zorg dat deze twee elkaar perfect vinden, net zoals de DINO-expert dat zou doen."

Ze gebruiken twee trucjes om dit te forceren:

1. Leer van de expert: Ze straffen de computer als hij niet kijkt naar waar de DINO-expert zegt dat de kleding moet zitten.
2. Maak het scherp: Ze straffen de computer als hij twijfelt. De aandacht moet als een laserstraal zijn, niet als een wazige lantaarn.

4. Het Resultaat: Kleding die echt "draagt"

Door deze trucjes gebeurt er magie:

• Geen zwevende logo's: Als je een shirt met een groot logo kiest, staat het logo precies op de borst, niet op je schouder of in je nek.
• Perfecte pasvorm: De mouwen eindigen precies bij de pols, en de zoom van de broek zit net boven de schoenen.
• Natuurlijk gedrag: Als je je armen zwaait in de foto, beweegt de kleding mee alsof het echt stof is, en niet alsof het een sticker is.

5. Waarom is dit belangrijk?

Vroeger was virtuele passen vooral een "gokje" dat vaak mislukte. Met CORAL wordt het betrouwbaar. Of je nu een t-shirt probeert of een complexe jurk, de computer begrijpt nu de ruimtelijke relatie tussen jou en de kleding. Het is alsof je van een poppetje in een doosje overstapt naar een echte, levende proefruimte waar de kleding perfect past.

Kortom: CORAL zorgt ervoor dat de computer niet meer "gokt" waar de kleding moet zitten, maar het weet precies waar het hoort, waardoor het resultaat eruitziet alsof je het echt hebt aangetrokken.

Technische samenvatting

Probleemstelling

Bestaande methoden voor Virtueel Aantrekken (Virtual Try-On of VTON) worstelen vaak met het behoud van fijne kledingdetails, vooral in niet-gepaarde (unpaired) settings waar een nauwkeurige overeenkomst tussen de persoon en het kledingstuk essentieel is. Hoewel recente methoden gebruikmaken van geavanceerde inferencetechnieken of extra conditionele signalen, missen ze vaak een expliciete mechanisme om de uitlijning tussen persoon en kleding te forceren. Dit leidt tot artefacten zoals gedupliceerde zooms, vervormde patronen of onjuiste passen.

Bovendien is er beperkt onderzoek gedaan naar het gebruik van Diffusion Transformers (DiTs) voor VTON. Hoewel DiTs sterke interacties tussen tokens mogelijk maken via volledige 3D-attention, is het mechanisme waarmee de correspondentie tussen persoon en kleding binnen deze architectuur ontstaat, nog niet volledig begrepen of geoptimaliseerd.

Methodologie

De auteurs introduceren CORAL (CORrespondence ALignment), een DiT-gebaseerd framework dat de correspondentie tussen persoon en kleding expliciet verbetert door de matching van query- en key-tokens in de 3D-attention mechanismen te sturen.

1. Analyse van Attention in DiTs:
De auteurs analyseren het gedrag van de volledige 3D-attention in DiTs en ontdekken dat de kwaliteit van de RGB-uitlijning tussen persoon en kleding kritiek afhankelijk is van de precisie van de query-key correspondentie. Ze tonen aan dat er een sterke lineaire correlatie bestaat tussen de nauwkeurigheid van deze matching en de visuele kwaliteit van het gegenereerde resultaat. Onnauwkeurige matching leidt tot verspreide attention maps en slechte resultaten.

2. Architectuur:
CORAL bouwt voort op een baseline DiT-architectuur met een "diptych" formulering (horizontale concatenatie van kleding- en persoon-latents). Een belangrijke innovatie is de injectie van pose-informatie via token-concatenatie in plaats van channel-concatenatie, waarbij Rotary Position Embeddings (RoPE) worden gebruikt om de ruimtelijke uitlijning tussen pose en persoon te garanderen.

3. De CORAL Loss-functies:
Om de query-key matching te verbeteren, introduceert CORAL twee complementaire loss-functies die worden toegepast op de attention maps:

• Correspondence Distillation Loss ($\mathcal{L}_{corr}$): Deze loss aligneert de door de model gegenereerde query-key matching met robuuste, externe correspondenties afgeleid van DINOv3 (een vision foundation model). Omdat de argmax-operatie niet differentieerbaar is, wordt een "soft argmax" gebruikt om de geschatte correspondenties te berekenen en deze te vergelijken met de pseudo-ground-truth van DINOv3.
• Entropy Minimization Loss ($\mathcal{L}_{ent}$): Deze loss minimaliseert de entropie van de attention distributie. Het doel is om de attention scherp en lokaal te houden, zodat de matching niet verspreid raak over onjuiste locaties. Dit zorgt voor een meer betrouwbare en gefocuste correspondentie.

De totale loss is een gewogen som van de velocity loss (standaard voor Diffusion Models) en de CORAL loss:
$$\mathcal{L}_{total} = \mathcal{L}_{velocity} + \lambda_{corr}\mathcal{L}_{corr} + \lambda_{ent}\mathcal{L}_{ent}$$

4. Evaluatieprotocol:
De auteurs introduceren een nieuw evaluatieprotocol gebaseerd op Vision Language Models (VLMs) om menselijke voorkeur beter te reflecteren dan traditionele metrics. Dit protocol beoordeelt drie aspecten:

• Garment Transfer Consistency (GTC): Behoud van visuele uiterlijk en details.
• Textual Attribute Consistency (TAC): Overeenkomst met tekstuele attributen (bijv. mouwlengte, halslijn).
• Fit Pose Coherence (FPC): Natuurlijkheid van de pasvorm en behoud van de pose.

Belangrijkste Bijdragen

1. Inzicht in DiT-mechanismen: Het paper onthult dat nauwkeurige persoon-kleding uitlijning in VTON kritiek afhankelijk is van precieze query-key correspondentie binnen de volledige 3D-attention van DiTs.
2. CORAL Framework: De introductie van een nieuw framework dat deze correspondentie expliciet versterkt via distillatie van DINOv3-matching en entropieminimalisatie.
3. State-of-the-Art Prestaties: CORAL behaalt de beste resultaten op standaard benchmarks (VITON-HD, DressCode) en een nieuw geïntroduceerd "in-the-wild" dataset (PPR10K), zowel in gepaarde als niet-gepaarde settings.
4. Nieuwe Evaluatiestandaard: Een robuust VLM-gebaseerd evaluatieprotocol dat beter correleert met menselijke beoordeling dan traditionele metrics zoals FID of SSIM.

Resultaten

• Kwantitatieve Resultaten: CORAL overtreft bestaande methoden (zoals IDM-VTON, CatVTON, OOTDiffusion) consistent op alle metrics (SSIM, LPIPS, FID, KID). Op de VITON-HD dataset verbetert de SSIM van 0.889 (baseline) naar 0.907, en de LPIPS daalt naar 0.048.
• Kwalitatieve Verbetering: De gegenereerde beelden tonen minder artefacten, scherpere details (zoals logo's en tekst) en een nauwkeurigere behoud van de kledingvorm, zelfs bij complexe poses en niet-gepaarde inputs.
• Ablatiestudies: Experimenten bevestigen dat zowel de distillatie loss als de entropie loss noodzakelijk zijn; de combinatie levert de beste resultaten op. De methode werkt ook effectief op andere DiT-baselines.
• Menselijke & VLM Evaluatie: In zowel menselijke studies als VLM-beoordelingen scoort CORAL het hoogst op GTC, TAC en FPC, wat aantoont dat de methode niet alleen statistisch beter is, maar ook visueel overtuigender.

Betekenis

CORAL markeert een verschuiving in VTON-onderzoek van het puur verbeteren van generatieve capaciteiten naar het expliciet optimaliseren van de semantische correspondentie binnen de attention-mechanismen van moderne Diffusion Transformers. Door de afhankelijkheid van fotonometrische consistentie te verminderen en te vertrouwen op robuuste visuele foundation models (DINOv3) voor matching, biedt CORAL een oplossing voor de uitdagingen van "in-the-wild" virtueel aantrekken. De introductie van VLM-based evaluatie stelt ook een nieuwe standaard voor het beoordelen van VTON-kwaliteit, waarbij menselijke voorkeur centraal staat.