ProFashion: Prototype-guided Fashion Video Generation with Multiple Reference Images

ProFashion is een nieuw kader voor het genereren van modevideo's dat meerdere referentieafbeeldingen en pose-gevoelige aggregatie gebruikt om betere weergaveconsistentie en tijdscoherentie te bereiken dan bestaande methoden.

De kern

Stel je voor dat je een modeontwerp wilt laten zien aan je klanten. Je hebt een foto van een jurk van voren, een van achteren en een van opzij. Je wilt nu een video maken waarin een model die jurk draait en beweegt, zodat de klant alles kan zien.

Het probleem met de oude technologie (zoals "Animate Anyone") is dat ze vaak maar één foto konden gebruiken. Het was alsof je probeerde een 360-graden video te maken van een auto, maar je had alleen een foto van de voorbumper. Het resultaat? De computer probeerde de rest van de auto te "gokken" (in het Engels: hallucineren). De achterkant van de jurk zag er misschien uit als de voorkant, of de patronen verdwenen gewoon.

ProFashion is de nieuwe oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald in simpele termen:

1. Het Grote Idee: Een Team van Experts in plaats van Eén

In plaats van te vertrouwen op één foto, laat ProFashion de computer kijken naar meerdere foto's tegelijk (bijvoorbeeld voren, achteren en zijkant).

• De Metafoor: Stel je voor dat je een schilder bent die een portret moet maken. De oude methode gaf je één foto en zei: "Maak een video." ProFashion geeft je een map met drie foto's en zegt: "Gebruik deze om te weten hoe de jurk eruitziet van elke kant."

2. De "Slimme Samenvoeger" (Pose-aware Prototype Aggregator)

De computer moet nu beslissen: "Welke foto moet ik gebruiken op dit moment?" Als het model zich naar links draait, wil je de foto van de linkerkant gebruiken, niet de voorkant.

• Hoe het werkt: ProFashion heeft een slimme "regisseur" (de Pose-aware Prototype Aggregator). Deze regisseur kijkt naar de houding van het model in de video.
• De Analogie: Het is alsof je een DJ bent die platen draait. Als de danser (het model) een beweging maakt die lijkt op de foto van de achterkant, "mixt" de DJ die specifieke foto erbij. Hij pakt de beste details van elke foto en plakt ze samen tot één perfecte "sjabloon" (prototype) voor dat exacte moment. Zo krijg je geen wazige mix, maar een helder beeld.

3. De "Stroom-Versterker" (Flow-enhanced Prototype Instantiator)

Het is niet genoeg om alleen de juiste foto te kiezen; de beweging moet ook soepel zijn. Oude methoden maakten vaak haperende video's waarbij de jurk leek te "glijden" of te vervormen.

• Hoe het werkt: ProFashion gebruikt een extra hulpmiddel dat kijkt naar hoe de gewrichten van het menselijk lichaam bewegen (zoals knieën en ellebogen).
• De Analogie: Stel je voor dat je een poppetje op een touwtje beweegt. De oude methode sleepte het poppetje soms raar door de lucht. ProFashion gebruikt een onzichtbaar spoor (de Flow) dat precies aangeeft waar elk lichaamsdeel naartoe gaat. Hierdoor glijdt de jurk perfect mee met de beweging, alsof het echt stof is en geen digitale pixels.

4. Waarom is dit belangrijk?

• Voor winkels: Je kunt nu realistische video's maken van kleding zonder dat je een heel filmteam, een studio en tientallen modellen nodig hebt. Je hebt alleen een paar foto's nodig.
• Voor de klant: Je ziet precies hoe de kleding eruitziet als je je omdraait. Geen verrassingen meer bij het uitpakken van een pakketje.

Samenvatting

ProFashion is als een slimme mode-assistent die:

1. Kijkt naar meerdere foto's om alle details van een kledingstuk te kennen.
2. Slim de juiste foto kiest op basis van hoe het model beweegt.
3. Zorgt dat de beweging soepel en natuurlijk blijft.

Het resultaat is een video die eruitziet alsof het echt is, zonder dat de computer hoeft te "gokken" over hoe de kleding eruitziet.

Technische samenvatting

Probleemstelling

Het genereren van modevideo's (fashion video generation) heeft als doel om coherente video's te synthetiseren vanuit referentieafbeeldingen van een specifiek kledingstuk. Bestaande methoden, die vaak gebaseerd zijn op diffusiemodellen, hebben echter twee fundamentele beperkingen:

1. Beperking tot één referentieafbeelding: Bestaande methoden accepteren slechts één input-afbeelding. Dit leidt tot ernstige hallucinaties (foute details) wanneer kledingstukken patronen hebben die afhankelijk zijn van het gezichtspunt (bijvoorbeeld verschillende patronen op de voorkant en achterkant). Een enkele afbeelding biedt onvoldoende informatie om een volledig rondlopende video te genereren.
2. Ondertekende ruimtetemporele consistentie: De veelgebruikte motion modules propageren informatie slechts langs dezelfde ruimtelijke positie in de tijd. Dit is ontoereikend voor grote menselijke bewegingen (zoals draaien), wat resulteert in inconsistenties in de video.

Methodologie: ProFashion

ProFashion is een raamwerk dat gebruikmaakt van meerdere referentieafbeeldingen en een sturende pose-sequentie om de bovenstaande problemen op te lossen. Het model is gebouwd op een Latent Diffusion Model en bestaat uit drie hoofdcomponenten:

1. Referentie Encoder

Deze module verwerkt meerdere input-afbeeldingen en extrahert hiërarchische, fijnmazige features.

• Het gebruikt een VAE-encoder voor lokale features en een CLIP-encoder voor globale semantische features.
• Een U-Net-achtige structuur met spatial self-attention en semantische cross-attention verrijkt de representatie van de kledingdetails.

2. Pose-aware Prototype Aggregator (PPA)

Dit is de kerninnovatie om meerdere afbeeldingen efficiënt te combineren zonder de rekenkosten te verhogen.

• Doel: Het selecteren en aggregeren van features van meerdere referentieafbeeldingen op basis van de huidige pose van het personage in de gegenereerde video.
• Werking: De PPA berekent een "aggregatiemap" door de gelijkenis te meten tussen de pose van de huidige frame (driving pose) en de poses van de referentieafbeeldingen.
• Prototypes: Op basis van deze gelijkenis worden globale en fijnmazige prototypes samengesteld. Deze prototypes hebben dezelfde vorm als de features van één enkele afbeelding, waardoor ze de denoising-proces kunnen sturen met dezelfde rekenkosten als een single-reference model, maar dan met informatie uit meerdere hoeken.

3. Flow-enhanced Prototype Instantiator (FPI)

Deze module zorgt voor soepele beweging en consistentie tussen frames.

• Prototype-guided Spatial Attention: Gebruikt de gegenereerde prototypes om de ruimtelijke details van de kleding te sturen tijdens het denoising-proces.
• Flow-enhanced Temporal Attention (FTA): Om bewegingsconsistentie te verbeteren, introduceert deze laag een extra ruimtetemporele attention-mechanisme.
• Knooppunt-flow: Het model gebruikt de beweging van menselijke keypointen (geëxtraheerd uit de driving pose) om een offset-map te voorspellen. Hiermee worden features van hetzelfde lichaamsdeel tussen opeenvolgende frames correct geprojecteerd, zelfs bij grote bewegingen zoals draaien.

Belangrijkste Bijdragen

1. Multi-image Conditioning: Uitbreiding van de taak van single-image naar multi-image conditioning, wat het probleem van perspectiefafhankelijke patronen oplost en hallucinaties reduceert.
2. Pose-aware Prototype Aggregator (PPA): Een efficiënte methode om features van meerdere bronnen te aggregeren tot één "prototype" per frame, gebaseerd op pose-gelijkenis, zonder extra rekenlast.
3. Flow-enhanced Prototype Instantiator (FPI): Een verbeterde denoiser die menselijke keypoint-flow gebruikt om spatiotemporele warping te sturen, wat zorgt voor soepelere beweging en betere detailbehoud.
4. Nieuwe Dataset (MRFashion-7K): Het verzamelen van een dataset van 7.335 modevideo's met diverse kledingdetails en bewegingen, specifiek ontworpen om multi-perspectief generatie te evalueren.

Resultaten

De auteurs evalueren ProFashion op de nieuwe MRFashion-7K dataset en de bestaande UBC Fashion dataset.

• Kwantitatieve Resultaten (MRFashion-7K):

  • ProFashion presteert significant beter dan single-reference baselines (zoals Animate Anyone en Champ) op alle metrics: SSIM, PSNR, LPIPS en FVD (Fréchet Video Distance).
  • De FVD-score verbeterde met 35,56% ten opzichte van een model met alleen PPA, wat wijst op een enorme verbetering in bewegingskwaliteit door de FTA-laag.
  • Human evaluation toont aan dat ProFashion superieur is in "kledingdetail" en "bewegingsvloeiendheid".

• Kwantitatieve Resultaten (UBC Fashion):

  • ProFashion overtreft state-of-the-art methoden (zoals DreamPose en Animate Anyone) op alle metrics, met name een verbetering van 31,4% in FVD ten opzichte van de vorige beste methode.

• Kwalitatieve Resultaten:

  • Visualisaties tonen aan dat ProFashion in staat is om de achterkant van een kledingstuk correct te genereren wanneer deze niet zichtbaar is in de input-afbeelding, terwijl single-reference modellen hierin hallucineren.

Betekenis en Toekomst

ProFashion is een doorbraak voor de online mode-industrie. Het stelt merken in staat om realistische, view-consistente video's van kledingstukken te genereren vanuit een beperkt aantal foto's, wat de presentatie van producten verbetert en de behoefte aan dure fotoshoots met modellen in beweging verlaagt.

Beperkingen: Hoewel het model uitstekend presteert bij patronen en vormen, worstelt het nog met het behoud van scherpe tekstuele details op kleding, wat soms leidt tot vervorming of wazigheid in tekstgebieden.