FashionPose: Unified Text-Driven Fashion Synthesis with Joint Geometric and Photometric Control

Stel je voor dat je een regisseur bent op een filmset, maar in plaats van acteurs in te huren, geef je een digitale kunstenaar de opdracht om een persoon te tekenen met een specifiek outfit. In de wereld van computer vision—de wetenschap van het leren van computers om te "zien" en afbeeldingen te creëren—is dit een lastige klus. Meestal, als je wilt dat een computer een persoon in een nieuwe pose tekent, moet je een rigide skelet geven, zoals een draadmodel van een pop, om de kleding aan op te hangen. Het is also'n het aankleden van een pop waarbij je alleen de gewrichten kunt bewegen als je al een kant-en-klaar blauwdruk hebt. Bovendien werken de meeste van deze digitale kunstenaars in een "studio" met plat, saai licht. Als je vraagt om iemand te tekenen die in een zonnig park bij zonsondergang staat, raakt de computer vaak in de war, waardoor de persoon eruitziet als een platte sticker die op een achtergrond is geplakt die niet bij de belichting past. Dit artikel pakt het probleem aan van hoe je een computer kunt vertellen een realistische mode-afbeelding te maken met alleen jouw woorden, waarbij zowel de lastige lichaamsbewegingen als de complexe verlichting worden afgehandeld zonder dat er een vooraf gemaakt skelet of een studio-omgeving nodig is.

De onderzoekers achter dit werk, onder leiding van Chuancheng Shi en collega's, stellen een nieuw systeem voor genaamd FashionPose. Denk aan FashionPose als een "magische vertaler" die jouw natuurlijke taalbeschrijvingen direct omzet in een 3D-klaar modeshow, waarbij ze de noodzaak voor rigide draadmodellen overslaan. Zij betogen dat de oude manier van doen—het vertrouwen op vooraf gedefinieerde skeletten en het negeren van de omgeving—te beperkend is. In plaats daarvan gebruikt hun systeem een driestaps "gecascadeerd" proces om een simpele zin als "een meisje dat bij een zonnig raam in een gezellige kamer staat" om te zetten in een hoogwaardige afbeelding, waarbij de pose van het meisje overeenkomt met de woorden en het zonlicht precies zo op haar kleding valt als beschreven.

Eerst fungeert het systeem als een creatief directeur die naar jouw verhaal luistert en een pose schetst. In plaats van te zoeken naar een vooraf gemaakt skelet, gebruikt het een "bidirectioneel contrastief uitlijningsmechanisme". Stel je dit voor als een spelletje "warm of koud" waarbij de computer leert om het gevoel van jouw woorden (zoals "gekruiste benen" of "armen omhoog") direct te koppelen aan de geometrie van een lichaam, zonder dat daar een sjabloon voor nodig is. Om de computer dit te leren, heeft het team een enorme nieuwe bibliotheek gebouwd genaamd PoseCap, die meer dan 40.000 paren tekstbeschrijvingen en lichaamskenpunten bevat. Dit stelt de AI in staat om te leren dat "staan bij een zonnig raam" niet alleen een achtergronddetail is, maar een aanwijzing is voor hoe het licht op de persoon moet vallen.

Vervolgens gaat het systeem over naar de fase van de "kostuumontwerper". Zodra het de pose heeft, genereert het een hoogwaardige afbeelding van de persoon. Cruciaal is dat het een "identiteit-verankerde" strategie gebruikt. Stel je voor dat je een foto hebt van een specifiek model dat een specifieke jas draagt. Het systeem neemt die jas en het gezicht van het model, vergrendelt deze op hun plaats, en rekt en plooit ze vervolgens in de nieuwe pose die je hebt beschreven. Dit zorgt ervoor dat zelfs als de persoon een complexe dansbeweging maakt, de knopen van de jas en het gezicht van het model exact hetzelfde blijven, wat de "smeltende gezichten" of "vervormde kleding" glitches voorkomt die gebruikelijk zijn bij andere AI-kunsttools.

Ten slotte handelt het systeem de "lichttechnici" af. Dit is waar FashionPose schittert vergeleken met oudere methoden. Het bevat een "prompt-geconditioneerd herbelichtingsmodule". Als jouw tekst zegt "gouden uur" of "zachte studiollichting", past deze module de schaduwen en highlights op de gegenereerde persoon aan om te passen bij die specifieke atmosfeer. Het is alsof je een lichttechnicus hebt die jouw script leest en de spotlights rond beweegt om de stemming te matchen, wat ervoor zorgt dat de persoon er niet uitziet alsof hij uit een andere foto is uitgesneden en erin is geplakt.

Het team heeft hun systeem rigoureus getest. Ze ontdekten dat FashionPose de bestaande methoden overtrof in zowel nauwkeurigheid als realisme. In hun tests behaalde het systeem een keypoint error (MSE) van 243,8, wat lager (beter) is dan de op één na beste methoden die rond de 262,2 schommelden. Wanneer het kwam op de algemene look van de afbeeldingen, gemeten met een metriek genaamd FID (waarbij lager beter is), scoorde FashionPose 5,6690, waarmee het de vorige beste combinatie van tools versloeg die 6,3671 scoorde. In gebruikersstudies, waarbij echte mensen stemden op welke afbeeldingen er het beste uitzagen, werd FashionPose in 46,8% van de gevallen verkozen voor pose-consistentie en in 55,9% voor algemene esthetische kwaliteit.

Het artikel sluit expliciet de gedachte uit dat je een bestaand skelet of een "studio-achtige" neutrale achtergrond nodig hebt om goede resultaten te behalen. Zij betogen dat het vertrouwen op externe pose-estimators de AI beperkt in wat zij kan doen, en dat het negeren van de omgeving leidt tot onrealistische afbeeldingen waarbij de verlichting niet overeenkomt met de pose. Door te bewijzen dat een enkele tekstprompt zowel de geometrie als de fotometrie (verlichting) gelijktijdig kan controleren, suggereren zij een nieuwe weg vooruit voor virtuele mode. Hoewel ze niet beweren elk probleem in het universum te hebben opgelost, suggereren hun experimenten dat deze verenigde aanpak een veel robuustere en flexibelere oplossing creëert voor gepersonaliseerde, scène-bewuste virtuele mode-displays, waardoor het gemakkelijker wordt voor iedereen om kleding in elke setting te visualiseren door simpelweg een zin te typen.