ProFashion: Prototype-guided Fashion Video Generation with Multiple Reference Images

ProFashion è un nuovo framework per la generazione di video di moda che supera i limiti dei metodi esistenti utilizzando più immagini di riferimento e moduli innovativi di aggregazione e istanziazione dei prototipi per garantire una maggiore coerenza temporale e visiva.

L'essenziale

Immagina di voler mostrare un vestito nuovo su un sito di e-commerce. Vuoi che il cliente possa vederlo girare, voltarsi e muoversi, proprio come se lo stesse provando in un negozio. Il problema? Di solito hai solo una o due foto statiche del vestito.

Se provi a far "girare" il modello usando solo una foto, l'intelligenza artificiale spesso inizia a inventare cose che non esistono (allucinazioni), perché non sa com'è fatto il retro della giacca o il lato opposto della gonna. È come se dovessi descrivere un'auto guardando solo la foto del cofano anteriore e poi dovessi disegnarne il retro: finiresti per inventare dettagli sbagliati.

ProFashion è la soluzione a questo problema. Ecco come funziona, spiegato in modo semplice:

1. Il Concetto: Non un solo specchio, ma una stanza di specelli

Invece di dare all'AI una sola foto di riferimento, ProFashion ne prende molte (ad esempio: una di fronte, una di profilo, una di spalle).

• L'analogia: Immagina di dover dipingere un ritratto di una persona. Se hai solo una foto frontale, non sai come sono i suoi capelli dietro. Ma se hai tre foto (fronte, lato, retro), il pittore (l'AI) ha tutte le informazioni necessarie per dipingere il personaggio mentre si gira, senza inventare nulla.

2. Il Segreto: L'Aggregatore "Sapiente" (Pose-aware Prototype Aggregator)

Qui entra in gioco la vera magia. L'AI riceve molte foto, ma non può usarle tutte contemporaneamente in modo disordinato, altrimenti il computer impazzirebbe (costo computazionale troppo alto).

• L'analogia: Pensa a un chef che prepara un piatto. Ha molte verdure fresche (le diverse foto) sul bancone. Non butta tutto nella pentola insieme. Invece, guarda la ricetta (la posa del modello che deve muoversi).
  • Se il modello deve girarsi di spalle, lo chef prende la foto di spalle dal bancone e la usa come ingrediente principale.
  • Se il modello è di profilo, prende la foto di profilo.
  • Questo sistema si chiama Aggregatore di Prototipi. Sceglie e mescola le informazioni giuste in base a come si muove il personaggio, creando una "guida perfetta" per ogni singolo fotogramma del video, senza appesantire il lavoro.

3. Il Movimento: Il "Flusso" che tiene tutto insieme

Spesso, quando le AI fanno video, il vestito sembra "scivolare" o deformarsi quando la persona si muove.

• L'analogia: Immagina di disegnare un omino che corre su un foglio. Se disegni ogni posizione a caso, l'omino sembra saltellare in modo innaturale. ProFashion usa una mappa del movimento (basata sui punti chiave del corpo umano, come ginocchia e gomiti).
  • È come se avessi un filo invisibile che collega il ginocchio sinistro del fotogramma 1 al ginocchio sinistro del fotogramma 2.
  • Questo "flusso" guida l'AI a sapere esattamente dove deve spostare ogni dettaglio del vestito, rendendo il movimento fluido e realistico, come se il vestito fosse davvero tessuto sulla pelle.

Perché è importante?

Prima di ProFashion, se volevi mostrare un vestito con un motivo complesso (magari diverso davanti e dietro) in un video, dovevi fare un video reale con una modella, il che costa tempo e denaro.

Con ProFashion:

1. Prendi 3 o 4 foto del vestito da angolazioni diverse.
2. L'AI le unisce intelligentemente.
3. Crei un video in cui il vestito si muove, gira e si vede da ogni lato, mantenendo i dettagli perfetti (niente allucinazioni!).

In sintesi: ProFashion è come avere un regista virtuale che, invece di dover girare una scena con una troupe costosa, prende le tue foto statiche, le guarda con attenzione, sceglie l'angolo giusto per ogni movimento e crea un video di moda fluido e realistico, pronto per essere usato nei negozi online.

Sommario tecnico

1. Il Problema

La generazione di video di moda mira a sintetizzare video temporalmente coerenti a partire da immagini di riferimento di un personaggio specifico. Nonostante i progressi nei modelli di diffusione, le metodologie esistenti presentano due limitazioni critiche:

• Limitazione dell'immagine singola: I metodi attuali accettano solo una singola immagine di riferimento. Questo causa gravi allucinazioni (hallucination) quando si generano video che mostrano diverse angolazioni di capi con pattern complessi o diversi sul davanti e sul retro. Una singola immagine non fornisce informazioni sufficienti per garantire la coerenza visiva (view consistency) durante i movimenti del corpo.
• Incoerenza spaziotemporale: I moduli di movimento esistenti propagano le informazioni solo lungo la dimensione temporale nella stessa posizione spaziale. Questo approccio è insufficiente per modellare i movimenti complessi del corpo umano (es. girare su se stessi), portando a una scarsa coerenza spaziotemporale e a dettagli che si deformano.

2. Metodologia: ProFashion

ProFashion è un framework di generazione video guidato da prototipi che supera queste limitazioni utilizzando multiple immagini di riferimento e una sequenza di pose guida. L'architettura si basa su un modello di diffusione latente e si compone di tre moduli principali:

A. Reference Encoder (Codificatore di Riferimento)

È una struttura basata su U-Net che estrae rappresentazioni multi-scala e fini (fine-grained) dalle immagini di riferimento.

• Utilizza un VAE per ottenere rappresentazioni latenti fini.
• Utilizza un CLIP image encoder per estrarre rappresentazioni globali.
• Integra meccanismi di self-attention spaziale e cross-attention semantica per arricchire le informazioni latenti con dati globali.

B. Pose-aware Prototype Aggregator (PPA)

Questo modulo risolve il problema di integrare informazioni da più immagini senza aumentare eccessivamente il costo computazionale.

• Selezione basata sulla posa: Calcola mappe di aggregazione dei prototipi in base alla similarità tra la posa guida (driving pose) di un frame e le pose delle immagini di riferimento.
• Aggregazione: Seleziona e aggrega le caratteristiche fini e globali dalle immagini di riferimento per creare un "prototipo" per ogni frame.
• Efficienza: I prototipi aggregati hanno la stessa forma delle caratteristiche di una singola immagine, permettendo di guidare il processo di denoising allo stesso costo computazionale di un metodo a singola immagine, ma con informazioni molto più ricche.

C. Flow-enhanced Prototype Instantiator (FPI)

Questo modulo gestisce la generazione del video e la coerenza del movimento.

• Prototype-guided Spatial Attention: Utilizza i prototipi aggregati per guidare l'attenzione spaziale durante il processo di denoising, assicurando che i dettagli del capo siano corretti per la vista corrente.
• Flow-enhanced Temporal Attention (FTA): Introduce un processo di attenzione spaziotemporale avanzato. Sfrutta il flusso di movimento dei punti chiave umani (human keypoint motion flow) per guidare il campionamento (warping) delle caratteristiche tra frame adiacenti. Questo permette di propagare le informazioni non solo nella stessa posizione spaziale, ma verso le nuove posizioni occupate dalle parti del corpo in movimento, garantendo una fluidità superiore.

3. Contributi Chiave

1. Estensione a Multi-Riferimento: Trasforma il compito di generazione video di moda da un problema mal posto (single-image) a uno più trattabile utilizzando multiple immagini di riferimento per coprire diverse prospettive.
2. PPA (Pose-aware Prototype Aggregator): Un meccanismo innovativo che aggrega dinamicamente le caratteristiche di più immagini in base alla posa, mantenendo un costo computazionale basso e guidando efficacemente la generazione.
3. FPI (Flow-enhanced Prototype Instantiator): Migliora la coerenza temporale e la fluidità del movimento integrando il flusso ottico dei punti chiave nel meccanismo di attenzione spaziotemporale.
4. Dataset MRFashion-7K: Creazione di un nuovo dataset contenente 7.335 video di moda raccolti da internet, caratterizzati da dettagli di abbigliamento complessi e movimenti significativi, specifico per valutare questo tipo di task.

4. Risultati

Il metodo è stato valutato su MRFashion-7K e sul dataset UBC Fashion.

• Risultati Quantitativi:

  • Su MRFashion-7K, ProFashion supera significativamente i baseline a singola immagine (es. Animate Anyone, Champ) e le varianti ablate (media pooling, concatenazione).
  • Miglioramenti notevoli in SSIM (0.885 vs 0.829), PSNR (23.57 vs 20.84) e LPIPS (0.086 vs 0.127).
  • Riduzione drastica dell'FVD (Fréchet Video Distance) da 196.95 a 126.92 rispetto alla versione senza FPI, indicando una qualità video superiore.
  • Su UBC Fashion, ProFashion supera tutti gli stati dell'arte (SOTA), ottenendo un FVD di 86.2 (miglioramento del 31.4% rispetto al SOTA precedente).

• Risultati Qualitativi e Umani:

  • Gli studi con utenti (13 volontari) hanno mostrato che ProFashion eccelle in autenticità del personaggio, dettaglio dell'abbigliamento e fluidità del movimento.
  • Visivamente, il metodo elimina le allucinazioni tipiche dei metodi a singola immagine quando il personaggio ruota, mantenendo la coerenza dei pattern su entrambi i lati del capo.

5. Significato e Impatto

ProFashion rappresenta un passo avanti significativo per l'industria della moda digitale e l'e-commerce.

• Coerenza Visiva: Risolve il problema fondamentale della generazione di video coerenti per capi con pattern complessi su più lati, cosa impossibile con una sola immagine.
• Efficienza: Dimostra che è possibile gestire più riferimenti senza un costo computazionale proibitivo, rendendo la tecnologia scalabile.
• Applicazione: Offre un potenziale enorme per il retail online, permettendo di visualizzare come i capi d'abbigliamento appaiono e si muovono in modo realistico da diverse angolazioni, migliorando l'esperienza d'acquisto e riducendo i resi.

Limitazioni: Il paper nota che, sebbene i dettagli dei pattern siano ben preservati, ProFashion fatica ancora a mantenere la leggibilità e la correttezza dei testi stampati sui vestiti, che possono apparire distorti o sfocati.