TrendGen: An Outfit Recommendation and Display System

Probleemstelling

De mode-industrie wordt getransformeerd door AI, maar bestaande systemen voor kledingherkenning en outfit-aanbevelingen kampen met ernstige beperkingen in real-world scenario's:

1. Data-kwaliteit: Ruwe productafbeeldingen bevatten vaak storende elementen zoals menselijke modellen, rommelige achtergronden, inconsistent licht en ongunstige hoeken.
2. Inconsistentie: Bestaande methoden vertrouwen vaak op "lay-down" (platgelegd) foto's en tekstbeschrijvingen. Echter, veel producten worden alleen geïntroduceerd met foto's van modellen, wat leidt tot suboptimale aanbevelingen door ruis in de data.
3. Repetitie en Diversiteit: Bestaande aanbevelingsalgoritmes focussen vaak alleen op esthetische compatibiliteit, wat resulteert in herhalende outfits en een gebrek aan diversiteit voor de consument.
4. Integratie: Veel onderzoek is beperkt tot gecurateerde datasets en slaagt er niet in om robuust te zijn in productieomgevingen met complexe input.

Methodologie: Het TrendGen Systeem

TrendGen is een geïntegreerd AI-systeem dat is ingezet op een grote e-commerce platform. Het systeem bestaat uit drie kerncomponenten die een pijplijn vormen van ruwe data tot een complete outfit-aanbeveling:

1. Product Attribution Engine (Attributie)

• Doel: Het extraheren van gestructureerde productattributen (zoals categorie, kleur, mouwlengte, zoomtype) uit ruwe afbeeldingen en producttitels.
• Technologie: Het gebruikt Fashion-CLIP, een op de mode-industrie aangepaste versie van het CLIP-model.
• Werking: Fashion-CLIP genereert embeddings voor zowel de afbeelding als de tekst. Deze multimodale embeddings worden vervolgens gevoerd naar een aangepaste classifier (bestaande uit fully connected lagen met PReLU-activatie en Dropout) om specifieke attributen te voorspellen.
• Voordeel: Dit combineert visuele en semantische informatie, wat nauwkeuriger is dan het gebruik van afzonderlijke CNN's of NLP-modellen.

2. Virtual Try-Off (Generatie van Lay-Down Beelden)

• Doel: Het transformeren van foto's van kleding gedragen door een model ("human-worn") naar schone, platgelegde afbeeldingen ("lay-down" of "tiled"). Dit verwijdert afleidingen en biedt een gestructureerde weergave voor de aanbevelingsengine.
• Technologie: Een Latent Diffusion Model (LDM) gebaseerd op de inpainting-variant van Stable Diffusion v1.5.
• Architectuur:
  • In plaats van tekst-prompten, gebruikt het model een kledingmasker (cloth mask) als leidraad.
  • Het model is gefinetuned met een U-Net architectuur. De input bestaat uit de ruwe afbeelding met het masker en de bijbehorende platgelegde afbeelding als target.
  • Het systeem is getraind op het VITON-HD dataset en een proprietary dataset van het e-commerce platform.
• Resultaat: Het genereert hoogwaardige, fotorealistische platgelegde beelden die als input dienen voor de aanbevelingsmodule.

3. Outfit Recommendation Engine

• Doel: Het genereren van complete, esthetisch coherente outfits die diversiteit waarborgen.
• Embedding: De platgelegde afbeeldingen en de gegenereerde attributen worden opnieuw verwerkt door Fashion-CLIP om een 1024-dimensionale multimodale representatie te creëren.
• TripleNet: Een netwerk dat wordt getraind met Triplet Loss. Het leert de afstand tussen een "anchor" (het product), een "positive" (esthetisch compatibel item) en een "negative" (incompatibel item) te minimaliseren/maximaliseren.
  • Negatieve steekproeven: Worden zorgvuldig geselecteerd op basis van expertregels (bijv. geen meerdere veelkleurige items in één outfit) om de modelkwaliteit te verhogen.
• STYLERANK Algorithm: Om repetitie te voorkomen, introduceert het paper een rangschikkingssysteem dat de esthetische compatibiliteit combineert met de historische frequentie van een item in eerdere aanbevelingen. Items die te vaak zijn geselecteerd, krijgen een lagere prioriteit, wat zorgt voor een bredere variatie aan outfits.

Belangrijkste Bijdragen

1. Robuuste Attributie: Een nauwkeurig systeem voor het extraheren van mode-attributes uit ruwe data, wat de basis vormt voor betere aanbevelingen.
2. Geavanceerde Virtual Try-Off: Een state-of-the-art diffusion-model dat menselijke modellen effectief verwijdert en schone platgelegde weergaves genereert, specifiek geoptimaliseerd voor productieomgevingen.
3. Diversiteitsbewuste Aanbeveling: Een aanbevelingsengine die niet alleen kijkt naar stijl, maar ook naar diversiteit via het STYLERANK-algoritme, waardoor herhaling wordt voorkomen.
4. End-to-End Evaluatie: Een uitgebreide evaluatie op zowel publieke datasets (VITON-HD) als een grote proprietary dataset, met bewijs van succes in een live productieomgeving.

Resultaten

De prestaties van TrendGen zijn getest op verschillende metrieken:

• Attributie: Het voorgestelde systeem (FashionCLIP + Classifier) bereikte een 92,3% nauwkeurigheid, significant hoger dan de baseline van 73,8% (alleen FashionCLIP) of 89,1% (ResNet + NLP). Voor de kritieke categorie-indeling (Tops/Bottoms) werd 99,6% nauwkeurigheid behaald.
• Virtual Try-Off: Het model presteerde beter dan bestaande methoden zoals TryOffDiff en MGT op de DISTS-metriek (21,01 vs 23,0 voor TryOffDiff), wat aangeeft dat de gegenereerde beelden visueel trouwder en fotorealistischer zijn.
• Aanbevelingsnauwkeurigheid: De aanbevelingen bereikten 91,3% nauwkeurigheid (gebaseerd op expertbeoordeling) wanneer gebruik werd gemaakt van platgelegde beelden en attributen. Dit is een aanzienlijke verbetering ten opzichte van het gebruik van ruwe afbeeldingen (79,8%) of de OutfitTransformer-baseline (75,2%).
• Bedrijfsimpact (A/B-test): Na drie maanden live testen op het platform:
  • Omzet per bezoek (RPV): +6,60%
  • Netto marge per bezoek (NMPV): +6,62%
  • Conversieratio (CVR): +5,61%
  • Click-Through Rate (CTR): +8,2%

Betekenis en Conclusie

TrendGen markeert een significante stap voorwaarts in de toepassing van AI in de mode-e-commerce. Het paper demonstreert dat het overbruggen van de kloof tussen ruwe, real-world data en gestructureerde AI-input (via virtuele try-off en attributie) cruciaal is voor succes.

De belangrijkste conclusie is dat een geïntegreerde aanpak, die niet alleen kijkt naar esthetische compatibiliteit maar ook naar data-kwaliteit en diversiteit in de aanbevelingen, leidt tot meetbare commerciële winst en een betere gebruikerservaring. TrendGen bewijst dat AI-systemen robuust kunnen worden ingezet in productieomgevingen om zowel de verkoop te stimuleren als de klanttevredenheid te verhogen.