Mobile-VTON: High-Fidelity On-Device Virtual Try-On

Deze paper introduceert Mobile-VTON, een privacyvriendelijk framework dat hoge-kwaliteit virtuele passen op consumentele mobiele apparaten mogelijk maakt door een geoptimaliseerde TGT-architectuur te gebruiken die offline werkt en presteert op het niveau van servergebaseerde systemen.

De kern

Stel je voor dat je een nieuwe trui wilt kopen, maar je niet zeker weet of hij goed staat. Normaal gesproken moet je naar de winkel, in de cabine gaan en proberen hoe het zit. Of je moet je foto uploaden naar een server in de cloud, waar een computer het voor je simuleert. Maar dat laatste voelt voor veel mensen onveilig (privacy) en gaat vaak te langzaam.

Deze paper introduceert MOBILE-VTON: een slimme oplossing die dit probleem oplost. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Grote Probleem: De "Zware" Computer

Vroeger waren deze "virtuele pasproeven" heel goed, maar ze hadden een groot nadeel: ze werkten alleen op enorme, dure computers in de cloud.

• De Analogie: Het is alsof je een simpele taak (zoals een foto bewerken) doet door een vrachtwagen te huren die 500 kilometer verderop staat. Je moet je foto erin laden, wachten tot hij daar aankomt, verwerken, en dan terugsturen. Dat kost tijd, energie en je geeft je privéfoto's uit handen.
• Het Nieuwe Doel: De onderzoekers wilden een systeem bouwen dat volledig op je eigen telefoon werkt. Geen internet nodig, geen data uploaden, en direct resultaat.

2. De Oplossing: Een Slimme "Drie-Persoons Team"

Om dit op een kleine telefoon te laten werken, hebben ze een speciaal team van drie digitale "specialisten" bedacht, genaamd TGT (Teacher-Garment-Tryon).

Stel je voor dat je een meesterkok (de Teacher) hebt die de beste gerechten maakt, maar hij is te groot en te duur om in je keuken te hebben. Je wilt dat je eigen kokje (de Student) net zo goed kan koken, maar dan met minder ingrediënten.

• De Leraar (TeacherNet): Dit is de "meesterkok". Hij is enorm en heel slim, maar hij zit vast in de cloud. Hij werkt niet mee in de app, maar hij geeft les. Hij kijkt naar wat er gebeurt en zegt: "Kijk, zo ziet een echte stofstructuur eruit."
• De Kleding-specialist (GarmentNet): Deze specialist is als een fotograaf die een kledingstuk vastlegt. Zijn taak is om te zorgen dat de trui of het shirt er precies hetzelfde uitziet, of je nu staat, zit of draait. Zonder deze specialist zou de trui soms "vervagen" of van kleur veranderen terwijl de computer hem probeert te tekenen.
• De Pas-specialist (TryonNet): Dit is de naald en draad van het team. Hij neemt de foto van de persoon en de foto van de kleding en naait ze perfect aan elkaar. Hij zorgt ervoor dat de mouwen op de armen zitten en dat de stof natuurlijk valt.

3. De Magische Trucs (Hoe werkt het?)

Om dit team op een telefoon te laten werken, gebruiken ze drie slimme trucs:

A. De "Geest van de Meester" (Distillatie)

In plaats van dat de telefoon probeert alles zelf uit te vinden (wat te moeilijk is), leert het systeem van de "Leraar" in de cloud.

• De Vergelijking: Het is alsof je een student laat oefenen door naar de antwoorden van een professor te kijken, zonder dat de professor zelf in de klas hoeft te staan. De telefoon leert de gevoelens en patronen van de grote computer, maar dan in een klein, lichtgewicht pakketje. Ze noemen dit FGA Distillatie: een manier om de "kunst" van de grote computer over te dragen naar de kleine telefoon.

B. De "Tijdsbestendige Kleding" (Trajectory Consistency)

Bij het tekenen van kleding op een computer, kan het gebeuren dat de kleding in het ene moment een streep heeft en in het volgende moment een vlek.

• De Vergelijking: Stel je voor dat je een tekening maakt en elke seconde verandert de verf van kleur. Dat is verwarrend. De GarmentNet is als een stevige anker. Hij zorgt ervoor dat de kleding, tijdens het hele tekenproces, op zijn plaats blijft en niet "drijft" of vervormt. De strepen blijven strepen, en het logo blijft een logo.

C. De "Directe Naad" (Zonder Voorkennis)

Normaal gesproken moeten deze systemen eerst duizenden uren leren over kleding voordat ze iets kunnen maken. Dat is te zwaar voor een telefoon.

• De Vergelijking: In plaats van dat de student eerst 10 jaar kledingtheorie moet studeren, geven ze hem direct de kleding en de persoon in zijn handen. Ze plakken de foto van de kleding en de persoon fysiek naast elkaar (zoals een collage) en zeggen: "Kijk goed, en probeer ze samen te voegen." Hierdoor kan het systeem vanaf nul leren, zonder dat het eerst jarenlang op een supercomputer heeft moeten trainen.

4. Het Resultaat: Waarom is dit geweldig?

De onderzoekers hebben getoond dat hun systeem, dat alleen op je mobiel draait, net zo goed (of zelfs beter) werkt dan de zware systemen die in de cloud draaien.

• Privacy: Je foto's blijven bij jou. Ze gaan nooit het huis uit.
• Snelheid: Geen wachttijd voor een server. Het gebeurt direct op je scherm.
• Kwaliteit: De kleding ziet er echt uit. De stof valt goed, de patronen kloppen en je gezicht blijft herkenbaar.

Kort samengevat:
MOBILE-VTON is als het hebben van een persoonlijke, onzichtbare kleermaker die in je telefoon woont. Hij is klein genoeg om op je telefoon te passen, maar slim genoeg om de kleding perfect op je lichaam te laten passen, zonder dat je je privacy hoeft op te offeren of naar de winkel hoeft te gaan. Het is de toekomst van online winkelen: veilig, snel en direct.

Technische samenvatting

Probleemstelling

Virtual Try-On (VTON) technologie heeft de afgelopen jaren aanzienlijke vooruitgang geboekt in visuele kwaliteit, voornamelijk dankzij grote diffusiemodellen. Echter, de bestaande systemen hebben twee fundamentele beperkingen:

1. Privacy en Latentie: De meeste systemen vereisen dat gebruikers hun persoonlijke foto's uploaden naar cloud-based GPU's voor inferentie. Dit introduceert vertraging, energieverbruik en, belangrijker, ernstige privacyrisico's, vooral onder strikte data-beschermingsregels.
2. Hardware-beperkingen: Bestaande hoogwaardige modellen zijn te groot voor mobiele apparaten. Ze hebben een groot aantal parameters, wat leidt tot een te hoog geheugengebruik en latentie voor mobiele NPUs en GPU's.

Daarnaast kampen diffusiemodellen met semantische drift: de representatie van het kledingstuk kan veranderen tijdens de diffusiestappen, wat leidt tot vervormde texturen en inconsistenties. Veel modellen zijn ook afhankelijk van uitgebreide pre-training op grote datasets, wat de flexibiliteit van lichtgewicht architecturen beperkt.

Methodologie: MOBILE-VTON

Het paper introduceert MOBILE-VTON, een framework dat volledig offline op commerciële mobiele apparaten kan draaien. Het systeem gebruikt slechts één foto van de persoon en één foto van het kledingstuk. De architectuur is gebaseerd op een TeacherNet–GarmentNet–TryonNet (TGT) structuur, geoptimaliseerd via kennisdistillatie.

De kerncomponenten zijn:

1. Feature-Guided Adversarial (FGA) Distillatie:

   • Om de prestaties van een zware "Teacher" (gebaseerd op Stable Diffusion 3.5 Large) over te dragen naar een lichtgewicht "Student" (Light-UNets), wordt een hybride trainingsstrategie gebruikt.
   • Feature-Level Distillatie: De student leert niet alleen pixelwaarden te voorspellen, maar matcht de score-functies (gradienten van de log-probabiliteit) van de teacher. Dit zorgt voor een betere distributie-overeenkomst in de latente ruimte.
   • Adversarial Realism: Een lichte discriminator wordt gebruikt om de student te trainen om fotorealistische resultaten te genereren die niet te onderscheiden zijn van echte afbeeldingen.

2. Trajectory-Consistent GarmentNet (TCG):

   • Om te voorkomen dat de kledingsemantiek verandert tijdens de diffusiestappen, wordt GarmentNet getraind met een traject-consistentie-verlies.
   • In plaats van ruis toe te voegen tijdens training, wordt het diffusieproces deterministisch toegepast. Het model moet het originele kledingstuk consistent reconstrueren over alle tijdstappen heen. Dit zorgt voor stabiele texturen en vorm, ongeacht pose of viewpoint.

3. Garment-Aware TryonNet:

   • Dit is de module die de uiteindelijke try-on afbeelding synthetiseert. In tegenstelling tot andere methoden, wordt deze vanaf nul getraind (zonder externe pre-training) op de VTON-taak zelf.
   • Latent Concatenation (LC): De persoon- en kledingafbeeldingen worden ruimtelijk samengevoegd en als input gebruikt. Hierdoor kan het model de uitlijning tussen lichaam en kleding direct leren zonder externe priors.
   • Light-Adapter: Een efficiënte module (gebaseerd op DINOv2 in plaats van zware CLIP-encoders) die visuele kenmerken van het kledingstuk injecteert in de cross-attention mechanismen van TryonNet.

Belangrijkste Bijdragen

• Eerste On-Device Diffusie-VTON: MOBILE-VTON is, voor zover bekend, het eerste diffusie-based VTON-systeem dat volledig lokaal op een mobiel apparaat draait zonder extra input naast de foto's.
• Novel TGT Architectuur: Een uniek framework dat kennisdistillatie, kleding-gestuurde generatie en uitlijning combineert in één pipeline.
• Pre-training Vrij: Het systeem is in staat om hoge kwaliteit te bereiken zonder afhankelijk te zijn van grote-scale pre-training op algemene datasets, wat de toepasbaarheid op specifieke taken vergroot.
• Privacy en Efficiëntie: Het systeem draait volledig offline, elimineert datatransmissie en is geoptimaliseerd voor mobiele hardware (slechts ~415M parameters).

Resultaten

De evaluatie vond plaats op drie benchmarks: VITON-HD, DressCode en VITON-HD In-the-Wild (met realistischere scenario's). Alle experimenten werden uitgevoerd bij een resolutie van 1024×768.

• Kwaliteit: MOBILE-VTON presteert gelijk aan of beter dan state-of-the-art server-based baselines (zoals IDM-VTON, StableVITON, CatVTON) op metrische schalen zoals LPIPS (perceptuele gelijkenis), SSIM (structurele gelijkenis) en CLIP-I (semantische uitlijning).
• Efficiëntie: Het model gebruikt slechts 2,84 GB geheugen, vergeleken met 5 tot 18 GB voor server-baselines.
• Robuustheid: Zelfs zonder gebruik van segmentatiemaskers (mask-free) en zonder pre-training, behaalt het systeem competitieve resultaten. Het slaagt erin om details zoals logo's, patronen en stofdeformaties nauwkeurig weer te geven.
• Ablatie-studies: Experimenten tonen aan dat zowel de Trajectory-Consistent GarmentNet (TCG) als de Latent Concatenation (LC) essentieel zijn voor het behalen van hoge kwaliteit. Zonder deze componenten ontstaan er vervormingen in patronen en logo's.

Betekenis en Impact

MOBILE-VTON bewijst dat hoogwaardige, privacy-bewuste virtuele pasproeven haalbaar zijn op mobiele apparaten. Dit opent de deur voor real-world toepassingen in e-commerce en mode, waar gebruikers hun persoonlijke data niet hoeven te delen met cloud-diensten. Het paper legt een fundament voor de ontwikkeling van efficiënte, lokaal draaiende generatieve AI-modellen die complexe taken zoals kleding-synthese kunnen uitvoeren zonder de beperkingen van cloud-infrastructuur.