Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

Stel je voor dat je een robot probeert te leren hoe hij zich moet aankleden. Je laat de robot een foto van een persoon en een foto van een tof nieuw jasje zien, en je vraagt: "Kun je het jasje aan de persoon aantrekken?" Dit is de wereld van Virtual Try-On (VITON), een tak van computer vision waarbij machines proberen het puzzelstukje op te lossen van hoe kleding op verschillende lichamen staat. Om dit te doen, gebruikt de robot een speciaal soort "brein" dat een diffusiemodel wordt genoemd. Denk aan een diffusiemodel als een magische kunstenaar die begint met een canvas bedekt met statische ruis (zoals sneeuw op een oude tv) en stap voor stap de ruis wegwerkt om een afbeelding te onthullen. Als je deze kunstenaar een tekstbeschrijving geeft zoals "een rode shirt," kan hij er een schilderen. Maar als je wilt dat hij precies dat specifieke shirt op die specifieke persoon schildert, met de mouwen die net op de elleboog eindigen en de kraag die precies goed zit, raakt de kunstenaar vaak in de war. Hij schildert het shirt misschien te lang, te kort, of in de verkeerde kleur. Dit is een groot probleem voor webshops, want als een klant een shirt koopt op basis van een nepfoto die niet overeenkomt met de werkelijkheid, zal hij ontevreden zijn.

Dit rapport door Max Rehman Linder pakt die verwarring aan. De auteur vraagt: "Wat als we de robot een liniaal en een set instructies kunnen geven, in plaats van alleen een vage beschrijving?" Het paper stelt een nieuwe methode voor genaamd ControlableClothing. In plaats van de robot alleen de foto's te laten zien, meet het team van de auteur de kleding en het lichaam van de persoon met wiskundige precisie—ze berekenen exact hoeveel van de schouder bedekt is, hoe diep de halslijn is en hoe lang de mouwen zijn. Ze veranderen deze metingen in een geheime code (labels) en voeren deze samen met de afbeeldingen aan de robot. Het resultaat is een systeem dat niet alleen raadt waar de kleding komt te zitten, maar een kaart volgt. Het paper sugggeelt dat door deze precieze metingen en een speciale "adapter" (een hulpmiddel dat de robot helpt de code te begrijpen) te gebruiken, de gegenereerde afbeeldingen veel meer controleerbaar worden. De auteur merkt echter voorzichtig op dat hoewel de robot nu deze regels kan volgen, hij nog steeds meer oefening nodig heeft om elk klein detail perfect te krijgen, en dat sommige van de nieuwe tools die ze gebouwd hebben nog getest worden om te zien of ze inderren werken zoals gehoopt.

De Magie van de "Ruis-verwijderende" Kunstenaar

Om te begrijpen hoe dit werkt, laten we naar het brein van de robot kijken. Het paper maakt gebruik van een type AI dat een latent diffusion model wordt genoemd. Stel je een emmer modderig water voor. Als je het blijft roeren, wordt het steeds viezer totdat het gewoon bruine prut is. Een diffusiemodel leert juist het tegenovergestelde te doen: het leert hoe het die bruine prut kan nemen en langzaam, zorgvuldig, het vuil van het water kan scheiden totdat je weer een helder beeld hebt. In de computerwereld is de "prut" willekeurige ruis, en het "heldere beeld" is een foto van een persoon die kleding draagt.

Lama tijd waren deze robots goed in het maken van nieuwe plaatjes vanaf nul, maar erg slecht in het volgen van strikte regels. Als je vroeg om een shirt met mouwen die precies op de elleboog eindigen, zou de robot gewoon gokken. Het is alsof je een kind vraagt om een huis te tekenen met een deur die precies 3 inch breed is; ze tekenen misschien een deur, maar het is zelden de exacte maat die je wilde. Eerdere pogingen om dit te fixen maakten gebruik van GANs (een ander type AI), maar die waren vaak stijf en konden geen realistische plooien of belichting creëren. Toen kwamen de Diffusion Models, die veel beter zijn in het echt laten lijken van zaken, maar ze hadden nog steeds moeite met het "exacte plaatsingsprobleem".

De Nieuwe Oplossing: De Robot een Liniaal Geven

Het hoofdpidea van de auteur is simpel: stop met gokken en begin met meten.

In het verleden, als je een shirt wilde passen, liet je de robot gewoon het shirt en de persoon zien. De robot zou proberen het shirt te "vervormen" (warpen) om het te laten passen. Maar de auteur realiseerde zich dat om het goed te doen, de robot moet weten hoe het shirt past. Zit het strak? Zit het los? Eindigt de mouw bij de pols of de elleboog?

Dus heeft het team een pre-processing pipeline gebouwd. Voordat de robot de foto zelfs maar ziet, gebruiken ze andere slimme tools om:

1. De kleding uit te snijden: Ze gebruiken een "masker" om het deel van de persoon te verbergen waar het nieuwe shirt komt te zitten.
2. Alles te meten: Ze gebruiken computer vision om de afstand van de heupen van de persoon tot de onderkant van het shirt te meten, de breedte van de nek, en hoeveel van de schouder bedekt is.
3. Een "Scorekaart" te maken: Ze veranderen deze metingen in getallen en labels. Bijvoorbeeld, in plaats van alleen "lange mouwen" te zeggen, zeggen ze misschien "mouwen eindigen op 0.8 van de armlengte."

Het "Adapter" Hulpmiddel: De Vertaler

Het brein van de robot (het diffusiemodel) is al heel goed in schilderen, maar het spreekt de taal van "metingen" niet. Om dit op te lossen, bouwde de auteur een speciaal hulpmiddel genaamd een adapter. Zie deze adapter als een vertaler.

De vertaler neemt de "Scorekaart" (de metingen en labels) en de foto van het shirt, en zet deze om in een taal die de robot begrijpt. Vervolgens fluistert deze de instructies in het oor van de robot terwijl hij aan het schilderen is.

• De IP-Adapter: Dit deel helpt de robot de look van het shirt te begrijpen (het patroon, de kleur).
• De T2I-Adapter: Dit deel helpt de robot de details te begrijpen en waar hij ze moet plaatsen.

De auteur heeft een nieuwe, aangepaste versie van deze vertaler gemaakt, specifiek voor het "up-sampling" deel van het schilderproces. Dit is de fase waarin de robot de fijne details toevoegt, zoals de textuur van de stof of de manier waarop het licht op een plooi valt. Door de meetgegevens precies in deze fase in te voegen, kan de robot de details aanpassen op basis van de instructies van de liniaal.

Wat de Experimenten Lieten Zien

De auteur heeft dit nieuwe systeem getraind op duizenden afbeeldingen van mensen en kleding. Dit is wat zij ontdekten:

• Het werkt, maar het is een werk in uitvoering: Wanneer ze aan de "knoppen" draaiden (de meetlabels), veranderde de robot de kleding daadwerkelijk. Bijvoorbeeld, als ze de robot vertelden om de halslijn dieper te maken (door een getal te veranderen van 1 naar -2), tekende de robot een diepere halslijn. Als ze de opdracht gaven om slechts één schouder te bedekken, deden ze dat ook.
• Getallen zijn beter dan woorden: De auteur vond dat het geven van een specifiek getal (zoals een float-waarde) beter werkte dan het geven van een categorie (zoals "lange mouw"). Het is alsoals een chef vertellen "voeg 5 gram zout toe" in plaats van "voeg een beetje zout toe". De robot kon het getal veel nauwkeuriger volgen.
• De "Masker" truc: Het team heeft de robot ook geleerd om delen van de afbeelding te negeren die achter een masker verborgen zijn. Ze ontdekten dat als ze de robot vertelden "het masker eindigt hier, maar je mag erboven schilderen," de robot nieuwe stof boven de maskerlijn genereerde. Dit is enorm belangrijk, want het betekent dat je een foto van iemand in een lang shirt kunt nemen en de robot kunt vertellen om er een crop top van te maken, en de robot weet hoe hij het ontbrekende buikgedeelte moet schilderen.
• De Limieten: Het paper geeft toe dat de robot nog niet perfect is. Wanneer de kleding zeer complexe patronen of details had, verloor de robot deze soms. De auteur vermoedt dat dit komt omdat de nieuwe "up-sampling" tool die ze gebouwd hebben, nog niet lang genoeg getraind is. De robot is nog aan het leren hoe hij zijn nieuwe liniaal moet gebruiken.

Waar de Auteur "Nee" Tegen Zegt

De auteur was heel duidelijk over wat niet werkt of waar de focus niet op ligt:

• Alleen tekstprompts gebruiken is niet genoeg: Ze probeerden de robot te vragen om "de mouwen langer te maken" met alleen woorden, maar de robot negeerde ze vaak of deed het fout. De metingen waren noodzakelijk.
• One-hot encoding is niet ideaal: Ze probeerden eenvoudige "aan/uit"-schakelaars te gebruiken voor zaken als mouwlengte (bijv. "is het lang? Ja/Nee"), maar ontdekten dat continue getallen (zoals een schuifregelaar van 0 tot 1) veel betere controle gaven.
• Het is geen magische oplossing voor alles: De auteur merkt op dat als de robot getraind is op een dataset waar hij de antwoorden al heeft uit het hoofd geleerd, het toevoegen van nieuwe instructies misschien niet helpt. Ze moesten vanaf nul beginnen om het nieuwe systeem te laten werken.

Het Eindoordeel

Dit paper suggereert dat door nauwkeurige metingen te combineren met slimme "adapter"-tools, we veel meer controle kunnen geven aan virtuele try-on systemen. Het is geen opgelost probleem—de robot heeft nog steeds meer training nodig om de kleine details perfect te krijgen, en de nieuwe tools moeten nog meer getest worden—maar de richting is veelbelovend. De auteur laat zien dat als je de AI een liniaal en een set instructies geeft, de AI stopt met gokken en begint met opdrachten opvolgen, waardoor afbeeldingen ontstaan die veel dichter bij wat een echte klant zou zien. Het is een stap naar een toekomst waarin je online kleding kunt passen, en de foto die je ziet, precies is wat je krijgt wanneer het pakketje arriveert.