Multi-Level Conditioning by Pairing Localized Text and Sketch for Fashion Image Generation

Dit paper introduceert LOTS, een framework voor het genereren van modeafbeeldingen dat globale schetsgids combineert met gelokaliseerde tekst-schetsparen via een multi-level conditioning-mechanisme, ondersteund door het nieuwe Sketchy-dataset met zowel professionele als 'in the wild'-schetsen.

De kern

Stel je voor dat je een mode-ontwerper bent. Je hebt een idee in je hoofd: een jurk met een bloemenprint, een broek van leer en een jas met een V-hals. In het verleden moest je dit eerst met de hand schetsen en dan, als je een computer wilde gebruiken, alles in één grote tekst beschrijven. Dat werkte vaak niet goed. De computer dacht dan: "Ah, bloemenprint? Dan zet ik dat op de broek én op de jas," terwijl jij dat niet bedoelde.

Deze paper introduceert een slimme nieuwe manier om dit op te lossen, genaamd LOTS.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verwarde Chef"

Stel je een kookchef voor die een recept moet maken. Als je de chef alleen vertelt: "Maak een gerecht met kip, aardappelen en een zure saus," maar je zegt niet waar de saus bij hoort, dan kan de chef de saus over de hele pan gieten. Misschien wil je de saus alleen bij de kip, en de aardappelen droog?

Bij oude computerprogramma's voor modeontwerp was het hetzelfde. Als je een schets van een outfit tekende en erbij schreef "rode jas, blauwe broek", dacht de computer dat de rode kleur misschien op de broek moest komen. Dit noemen de auteurs "attributenverwarring". De computer wist niet precies welk woord bij welk stukje van de tekening hoorde.

2. De Oplossing: LOTS (De Slimme Assistent)

De auteurs hebben een nieuw systeem bedacht, LOTS (Localized Text and Sketch with multi-level guidance). Je kunt dit zien als een super-georganiseerde assistent die twee dingen tegelijk doet:

• De Globale Blik (De Architect): De assistent kijkt eerst naar de hele tekening van de outfit. Hij ziet de algemene vorm: "Oké, dit is een mannelijk figuur, het is een avondjurk, en de achtergrond is een stad." Dit zorgt ervoor dat alles samenhangt en niet uit elkaar valt.
• De Lokale Blikken (De Vakmensen): Vervolgens kijkt de assistent naar elk kledingstuk apart. Hij pakt een stukje van de tekening (bijvoorbeeld de mouw) en leest de tekst die daar direct bij hoort ("paars, fluweel"). Hij doet dit voor elk kledingstuk apart, alsof hij een team van vakmensen heeft die elk hun eigen taak doen zonder elkaar te verstoren.

De Magische Stap:
In plaats van alle informatie in één grote soep te gooien, laat LOTS de computer tijdens het "tekenen" (het genereren van het plaatje) langzaam alle instructies toevoegen. Het is alsof je eerst de contouren tekent (de structuur) en daarna, stap voor stap, de kleuren en patronen toevoegt op de juiste plekken. Hierdoor blijft de jas een jas en de broek een broek, zonder dat de kleuren door elkaar lopen.

3. De Nieuwe "Tekenboek" (Sketchy)

Om dit systeem te trainen, hadden ze een nieuw soort tekenboek nodig. Bestaande boeken hadden alleen hele outfits of losse kledingstukken, maar niet de juiste koppeling tussen een specifiek stukje tekening en de tekst erbij.

Dus hebben ze Sketchy gemaakt. Dit is een enorme verzameling van mode-ontwerpen waarbij:

• Elk kledingstuk (jasje, broek, schoenen) zijn eigen tekening heeft.
• Elk kledingstuk zijn eigen beschrijving heeft.
• Ze hebben zelfs een "wild" gedeelte toegevoegd: tekeningen gemaakt door gewone mensen (niet-schilders) met een muis of een stift. Dit zorgt ervoor dat het systeem niet alleen werkt met perfecte tekeningen, maar ook met krabbels van de gemiddelde gebruiker.

4. Waarom is dit cool?

Vroeger was het alsof je een computer vroeg om een outfit te maken en je hoopte maar dat het goed kwam. Met LOTS kun je nu heel precies zeggen:

• "Deze broek moet gestreept zijn."
• "Die jas moet van leer zijn."
• "De schoenen moeten rood zijn."

En de computer luistert echt. Hij maakt geen fouten waarbij de strepen op de jas komen in plaats van op de broek.

Kortom:
Deze paper introduceert een slimme manier om mode te ontwerpen met AI. Het combineert een ruwe schets (de vorm) met specifieke tekstbeschrijvingen (de details) en zorgt ervoor dat de computer precies weet wat bij wat hoort. Het is alsof je van een willekeurige tekening en een paar zinnen een perfect, professioneel modeplaatje krijgt, zonder dat de kleuren door elkaar lopen. En het werkt zelfs als je niet kunt tekenen!

Technische samenvatting

Probleemstelling

In de modeontwerppraktijk gebruiken ontwerpers vaak schetsen om structuur, silhouet en ruimtelijke relaties vast te leggen, terwijl tekstuele beschrijvingen nodig zijn voor materiaal, kleur en stijl. Bestaande methoden voor het genereren van modebeelden uit schetsen en tekst (sketch-to-image) hebben echter twee belangrijke beperkingen:

1. Attribuutverwarring (Attribute Confusion): Bestaande diffusion-modellen gebruiken vaak één globale tekstbeschrijving voor het hele outfit. Hierdoor worden eigenschappen van kledingstukken verkeerd toegewezen (bijv. de kleur van een jas wordt op de broek weergegeven).
2. Gebrek aan fijnmazige lokale controle: Het is moeilijk om meerdere kledingstukken binnen één outfit onafhankelijk te sturen met specifieke schets-tekstparen, zonder dat de globale structuur van het outfit verloren gaat of eigenschappen "lekken" naar andere delen.

Het doel is om multi-gelocaliseerde conditionele beeldgeneratie mogelijk te maken: het synthetiseren van realistische modebeelden op basis van een set van lokale schets-tekstparen (voor elk kledingstuk apart), gecombineerd met een globale schets voor de algehele structuur.

Methodologie: LOTS Framework

De auteurs stellen LOTS (LOcalized Text and Sketch with multi-level guidance) voor, een framework dat gebruikmaakt van diffusion-modellen met een tweestapsproces:

1. Multi-Level Conditioning Stage (Meerlagige Conditionering)
In deze fase worden de invoerdata (lokale schets-tekstparen en globale schets) omgezet in een gezamenlijke latent space:

• Lokaal Niveau (Modularized Pair-Centric Representation): Elke lokale schets-tekstpaar ($S_i, T_i$) wordt onafhankelijk verwerkt. Specifieke encoders (voor tekst en schets) projecteren de data naar een gedeelde latent space. Vervolgens worden ze samengevoegd door een Pair-Former module. Deze module gebruikt leerbare tokens en self-attention om de semantische tekst te koppelen aan de ruimtelijke structuur van de bijbehorende schets, zonder dat informatie tussen verschillende paren vermenigvuldigt.
• Globaal Niveau (Global Conditioning): Om de algehele samenhang van het outfit te waarborgen, wordt de globale schets ($S_g$) ook gecodeerd. Een Cross-Attention mechanisme fuseert deze globale representatie met de lokale paren. Dit zorgt ervoor dat het model de globale structuur en houding behoudt, terwijl de lokale details behouden blijven.

2. Diffusion Pair Guidance Stage
In plaats van alle conditioneringssignalen direct te samenvoegen (wat leidt tot verwarring), worden de lokale en globale representaties stapsgewijs ingebracht tijdens het denoising-proces van het diffusion-model:

• Er worden extra leerbare cross-attention-modules (adapters) toegevoegd aan de bestaande diffusion-architectuur.
• Deze adapters injecteren de multi-level conditionering ($P_{m-l}$) in elke stap van het denoising-proces.
• Dit zorgt voor een geleidelijke integratie van informatie, waardoor het model kan leren hoe lokale attributen correct op hun plaats moeten worden geplaatst zonder de globale structuur te verstoren.

Het Sketchy Dataset

Om dit probleem aan te pakken, hebben de auteurs Sketchy ontwikkeld, de eerste dataset specifiek voor lokale schets-naar-beeld generatie:

• Basis: Gebaseerd op Fashionpedia, maar uitgebreid met 47.000 outfits en 104.000 lokale kledingstuk-annotaties.
• Inhoud: Elke outfit bevat meerdere kledingstukken, elk met een bijbehorende lokale schets, een hiërarchische tekstuele beschrijving (inclusief kleur, die eerder ontbrak) en een globale contextbeschrijving.
• "In the Wild" Split: Een unieke toevoeging met 141 outfits getekend door niet-experts (met muis of stylus). Dit dient om de robuustheid van het model te testen tegen variatie en imperfecties in schetsen.

Resultaten

LOTS is geëvalueerd op de Sketchy-dataset en vergeleken met state-of-the-art methoden zoals ControlNet, IP-Adapter, T2I-Adapter en AnyControl.

• Kwantitatieve Prestaties: LOTS behaalt de beste resultaten op de meeste metrics, waaronder FID (beeldkwaliteit), GlobalCLIP en LocalCLIP (semantische uitlijning), en L-VQAScore (lokale attribuutcorrectheid). Het slaagt erin om attributen correct toe te wijzen aan het juiste kledingstuk, terwijl andere methoden vaak last hebben van attribuutverwarring.
• Robuustheid: LOTS presteert ook sterk op de "in the wild" split met amateur-schetsen, wat aantoont dat het model goed generaliseert naar variabele invoer.
• Ablatie-studies: Deze bevestigen dat de combinatie van lokale en globale conditionering via attention-mechanismen cruciaal is. Simpele concatenatie van features leidt tot slechtere structurele uitlijning, en het uitstellen van de integratie naar het diffusion-proces (in plaats van vroeg samenvoegen) is essentieel om attribuutverwarring te voorkomen.
• Menselijke Evaluatie: In user studies bleek LOTS de voorkeur te hebben boven concurrenten voor zowel attribuutlokalisatie (minimale lekkage van eigenschappen) als structurele uitlijning (volgen van de schets).

Significantie en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Nieuw Formulier: Een nieuwe definitie van beeldgeneratie die fijnmazige, lokale controle mogelijk maakt via meerdere schets-tekstparen, in plaats van één globale prompt.
2. LOTS Framework: Een innovatief meerlagig conditioning-systeem dat lokale semantiek en globale structuur effectief combineert zonder ze te laten interfereren.
3. Sketchy Dataset: Een grote, gedetailleerde dataset met lokale annotaties en een "in the wild" split, wat een nieuwe standaard zet voor de evaluatie van multimodale modegeneratie.
4. State-of-the-Art Prestaties: Het bewijzen dat het mogelijk is om complexe outfits te genereren met hoge semantische nauwkeurigheid en structurele integriteit, wat een doorbraak is voor geautomatiseerd modeontwerp.

Kortom, LOTS lost het probleem van "attribuutverwarring" op in multi-kledingstuk generatie en biedt een robuust platform voor de toekomst van interactief en geautomatiseerd fashion design.