Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps

1. Il Problema

La generazione di avatar umani fotorealistici e controllabili a partire da una singola immagine "in-the-wild" (scattata in condizioni non controllate) presenta sfide significative. Le foto quotidiane spesso soffrono di illuminazione scarsa, sfondi disordinati e pose arbitrarie.
Le principali limitazioni degli approcci esistenti sono:

• Scarsità di dati accoppiati: I metodi di reposing (cambio di posa) attuali (es. MCLD, LEFFA) si basano su dataset piccoli e accoppiati (es. DeepFashion con ~100 identità), portando a un forte overfitting e a una scarsa generalizzazione su nuove identità.
• Perdita di identità: I modelli tendono a distorcere i tratti facciali e la forma del corpo quando si cambiano le pose drasticamente.
• Interferenza geometrica: Per applicazioni a valle come il Virtual Try-On (VTO), la presenza di vestiti complessi nell'immagine sorgente crea interferenze geometriche che impediscono un montaggio realistico dei nuovi capi.
• Leakage di posa: Nei metodi di auto-supervisione su immagini singole, i bordi delle occlusioni (dove il vestito copre il corpo) rivelano la posa originale, permettendo al modello di "barare" copiando pixel invece di imparare la vera geometria 3D.

2. Metodologia

Pro-Pose propone un framework unificato che combina dati accoppiati (scarsi) e dati non accoppiati (abbondanti) operando nello spazio UV canonico.

A. Spazio UV Canonico e Svestizione

Il cuore del metodo è la trasformazione dell'immagine di input in una mappa UV canonica (una texture 2D che avvolge un modello 3D standard, SMPL-X).

• Standardizzazione: Il soggetto viene trasformato in un abbigliamento minimale standard (canottiera e pantaloncini neri). Questo rimuove le occlusioni complesse dei vestiti originali, fornendo una "tela pulita" per il Virtual Try-On.
• Decoupling: Operare nello spazio UV permette di separare la texture (aspetto/identità) dalla posa, facilitando l'apprendimento da dataset non accoppiati.

B. Re-posing Basato su Donatori (Donor-Based UV Reposing)

Per addestrare il modello su immagini singole senza barare copiando i bordi visibili, gli autori introducono una strategia innovativa:

• Invece di usare la maschera di visibilità della posa originale, il sistema applica una maschera di visibilità presa da un'immagine "donatore" casuale (un'altra persona in una posa diversa).
• Questo crea una texture ibrida dove i bordi delle occlusioni non corrispondono più alla posa di partenza. Il modello è quindi costretto a imparare il vero warping geometrico 3D per ricostruire l'identità, piuttosto che affidarsi a scorciatoie basate sui bordi.

C. Architettura del Modello

• Backbone: Utilizza un modello di Flow Matching (basato su Flux.1) che opera nello spazio latente compresso (VAE).
• Formulazione: Il problema è visto come la generazione di un'immagine target $A_p$ data una texture parziale $T_p$ e una posa target $p$.
• Addestramento Ibrido:
  • Branch Accoppiato: Usa dati reali (sorgente-target) con maschere parziali e ritagli del viso per alta fedeltà.
  • Branch Auto-supervisionato: Usa immagini singole con la tecnica "Donor-Based" e senza condizione del viso (per evitare la copia dei pixel), forzando la rete a ricostruire l'identità dalla sola texture deformata.

D. Personalizzazione a Test-Time (Few-Shot)

Per gestire pose estreme o migliorare la fedeltà dell'identità su soggetti specifici, il metodo include una fase di fine-tuning leggero (LoRA) durante il test. Utilizzando un piccolo set di immagini di riferimento del soggetto, il modello si adatta rapidamente, riducendo drasticamente la deriva dell'identità (identity drift).

3. Contributi Chiave

1. Framework di Addestramento Scalabile: Integrazione efficace di dati accoppiati scarsi (DeepFashion) e dati non accoppiati massivi (FFHQ, e-commerce) per superare la limitazione della diversità delle identità.
2. Meccanismo Donor-Based UV Reposing: Una tecnica auto-supervisionata che rompe la correlazione tra posa e texture, prevenendo il leakage di informazioni e permettendo l'apprendimento robusto da dati non accoppiati.
3. Dataset Base Clothing (BC): Creazione di un dataset standardizzato (soggetti in canottiera e pantaloncini neri) utilizzando Gemini 2.5 Flash Image, essenziale per isolare l'identità dai vestiti.
4. Adattamento Specifico per Soggetto: Un meccanismo di fine-tuning LoRA a test-time che garantisce un'elevata preservazione dell'identità anche in scenari difficili.
5. Applicazione a Valle (Virtual Try-On): Dimostrazione che la rappresentazione canonica di Pro-Pose migliora drasticamente la qualità dei sistemi VTO esistenti, eliminando le interferenze geometriche dei vestiti originali.

4. Risultati

Il metodo è stato valutato su dataset in-domain (DeepFashion) e out-of-domain (WPose, foto reali).

• Performance Quantitativa: Pro-Pose ottiene lo stato dell'arte (SOTA) su tutte le metriche chiave: fedeltà dell'immagine (PSNR, SSIM), qualità percettiva (FID, LPIPS), e soprattutto preservazione dell'identità (FaceSim, DINO).
• Robustezza alla Posa: A differenza dei baselines che falliscono con cambi di posa superiori a 30-45 gradi (perdita dell'identità), Pro-Pose mantiene un punteggio di similarità facciale elevato anche per pose estreme.
• Ablation Study:
  • L'uso combinato di dati accoppiati e non accoppiati è superiore all'uso esclusivo di uno dei due.
  • La tecnica "Donor-Based" è cruciale: l'uso di maschere casuali semplici (random patching) fallisce nel prevenire il leakage di posa.
  • Il fine-tuning a test-time migliora ulteriormente la fedeltà dell'identità (aumento del 18% su FaceSim).
• Virtual Try-On: L'applicazione di VTO su avatar generati da Pro-Pose produce risultati molto più fedeli rispetto all'applicazione diretta su foto "in-the-wild".

5. Significato e Impatto

Pro-Pose rappresenta un avanzamento significativo nella sintesi di avatar umani perché risolve il dilemma tra la necessità di dati accoppiati (per il controllo) e la disponibilità di dati non accoppiati (per la diversità delle identità).

• Fondazione per il Metaverso e E-commerce: Fornisce un modo scalabile per creare avatar digitali fedeli a partire da foto casuali, essenziali per il Virtual Try-On di alta qualità.
• Superamento dell'Overfitting: Dimostra che è possibile addestrare modelli generativi su identità sconosciute senza bisogno di dataset massivi di coppie "prima/dopo", aprendo la strada a sistemi più generalizzabili.
• Nuovo Paradigma di Controllo: La standardizzazione in uno spazio UV canonico offre un "canvas" geometrico pulito che semplifica notevolmente compiti complessi come la manipolazione dei vestiti e la modifica dell'aspetto.

In sintesi, Pro-Pose trasforma una singola foto in un avatar 3D controllabile, preservando l'identità unica della persona e rimuovendo le complessità dei vestiti originali, ponendo le basi per applicazioni di realtà aumentata e commercio digitale più realistiche.