Riepilogo Tecnico: PSHuman

Definizione del Problema

La ricostruzione fotorealistica di esseri umani 3D da una singola immagine RGB "in-the-wild" rimane un problema aperto e complesso a causa delle pose corporee articolate, delle sofisticate auto-occlusioni e della complessa topologia degli abiti. I metodi esistenti si affidano tipicamente a funzioni implicite o generano solo viste frontali/posteriori per mitigare l'ambiguità. Tuttavia, questi approcci soffrono spesso di:

1. Perdita di dettagli e artefatti: I paradigmi di regressione implicita faticano a catturare geometrie e texture ad alta fedeltà, portando ad artefatti nelle viste da nuove angolazioni.
2. Ambiguità spaziale: La generazione di una singola vista posteriore non fornisce informazioni stereoscopiche sufficienti per risolvere le ambiguità spaziali.
3. Distorsioni geometriche: L'applicazione diretta di modelli di diffusione multiview a immagini umane a singola vista spesso causa gravi distorsioni geometriche, in particolare nei tratti del viso e nelle proporzioni corporee, a causa della natura mal posta del problema e della mancanza di prior anatomici.
4. Perdita dell'identità del volto: I modelli di diffusione pre-addestrati producono spesso dettagli del volto distorti o innaturali in input full-body, poiché il volto occupa una regione piccola e a bassa risoluzione nell'immagine, fornendo informazioni insufficienti per una predizione dettagliata delle normali dopo la codifica VAE.

Metodologia

PSHuman propone un framework innovativo che ricostruisce esplicitamente mesh umane testurizzate sfruttando i prior di un modello di diffusione multiview. La pipeline si compone di due fasi primarie:

1. Diffusione Multiview Cross-Scale Corpo-Volto

Invece di generare solo viste frontali/posteriori, PSHuman genera direttamente sei viste (frontale, fronto-sinistra, sinistra, retro, destra, fronto-destra) sia di mappe di colore che di mappe delle normali. Per affrontare sfide specifiche, vengono introdotti due meccani chiave:

• Diffusione Condizionata a SMPL-X: Per prevenire strutture corporee innaturali e incongruenze degli arti causate dall'auto-occlusione, il modello di diffusione è condizionato su modelli parametrici SMPL-X. I parametri SMPL-X stimati vengono renderizzati dalle viste target e concatenati con l'immagine di input come condizioni latenti. Ciò guida il processo di diffusione verso l'aderenza all'anatomia umana, garantendo viste coerenti anche con pose complesse.
• Diffusione Cross-Scale Corpo-Volto: Per risolvere la distorsione del volto e il cambiamento di identità, gli autori propongono un framework di modellazione della distribuzione di probabilità congiunta $p(x_B, x_F)$ che genera simultaneamente immagini globali full-body e immagini del volto locali ad alta risoluzione.
  • Denoising Congiunto: Un livello di miscelazione del rumore (noise blending) è impiegato all'interno dei blocchi di auto-attenzione della UNet. Il vettore latente della branca del volto viene ridimensionato e miscelato nella regione del volto della branca corporea globale. Ciò consente alle informazioni del volto di essere trasferite alle nuove viste del corpo tramite attenzione cross-view, garantendo coerenza cross-scale e cross-view pur preservando l'identità.

2. Scultura Umana Esplicita Inizializzata con SMPLX

A differenza dei metodi impliciti che mappano le feature sulle superfici tramite MLP, PSHuman utilizza le mappe di normali e di colore generate per scolpire esplicitamente una mesh 3D.

• Inizializzazione: Il processo inizia con una mesh SMPL-X inizializzata dall'immagine di input.
• Rimessaggio Differenziabile: La mesh SMPL-X viene deformata e rimessata utilizzando la rasterizzazione differenziabile. L'ottimizzazione regola iterativamente le posizioni dei vertici e i bordi delle facce per minimizzare la differenza tra le normali e le silhouette renderizzate e quelle generate. Questo approccio, diversamente dal semplice spostamento dei vertici, permette il recupero di dettagli complessi come gli abiti morbidi.
• Fusione dell'Aspetto: Una volta recuperata la geometria, le immagini di colore multiview vengono fuse sulla mesh. Una pipeline di rendering differenziabile ottimizza i colori per vertice per mitigare le incongruenze generative. Una maschera di visibilità e un'interpolazione basata su KDTree vengono utilizzati per gestire le aree non osservate, garantendo una copertura completa della texture.

Contributi Chiave

1. Framework PSHuman: Un nuovo metodo esplicito basato sulla diffusione per la modellazione umana 3D dettagliata e realistica da una singola immagine, che raggiunge la ricostruzione in circa un minuto.
2. Diffusione Cross-Scale e Condizionata: L'introduzione di un modello di diffusione cross-scale corpo-volto e di un modello di diffusione multiview condizionato a SMPL-X. Questi consentono la generazione full-body ad alta fedeltà con identità facciale preservata e coerenza anatomica, anche con dati di addestramento few-shot (3.000 scansioni).
3. Modulo di Scultura Esplicita: Un modulo di scultura umana esplicita inizializzato con SMPLX che utilizza la rasterizzazione differenziabile per recuperare rapidamente mesh testurizzate da immagini cross-dominio multiview, superando i baseline impliciti.

Risultati Sperimentali

Esperimenti estesi sono stati condotti sui dataset THuman2.1, CustomHumans e CAPE.

• Qualità della Geometria: PSHuman dimostra prestazioni superiori in Chamfer Distance (CD), Point-to-Surface (P2S) e Normal Consistency (NC) rispetto ai metodi impliciti (PIFu, PIFuHD) ed espliciti (ECON, GTA) allo stato dell'arte. Raggiunge il valore più basso di CD (0.4399 cm) e P2S (0.4077 cm) sul subset THuman2.1 utilizzando i prior SMPL-X reali.
• Qualità dell'Aspetto: Il metodo raggiunge i valori più alti di PSNR (20.85) e SSIM (0.8636) e il valore più basso di LPIPS (0.0764) sul subset THuman2.1, indicando un'alta fedeltà della texture e coerenza nelle nuove viste.
• Ricostruzione del Volto: I confronti quantitativi mostrano che PSHuman supera significativamente i baseline (ECON, SIFU, SITH) nelle metriche di geometria e texture del volto, validando l'efficacia della diffusione cross-scale.
• Robustezza: Il metodo mantiene prestazioni robuste anche quando la stima SMPL-X contiene errori, superando altri approcci basati su template in condizioni di pose/forma rumorose.

Significato e Rivendicazioni

Il paper sostiene che PSHuman raggiunga un equilibrio critico tra precisione, efficienza e robustezza della posa. Mentre i recenti metodi basati su SDS possono ottenere dettagli geometrici elevati, spesso richiedono ore di ottimizzazione e faticano con pose complesse. Al contrario, PSHemann genera viste da nuove angolazioni di alta qualità, dettagliate e armoniose in meno di un minuto.

Gli autori sottolineano che il loro lavoro affronta i fallimenti specifici dell'applicazione della diffusione multiview agli esseri umani:

• Previene l'"allucinazione" di strutture corporee impossibili attraverso il condizionamento SMPL-X.
• Risolve la perdita di identità e dettaglio del volto attraverso la diffusione cross-scale e il noise blending.
• Va oltre le rappresentazioni implicite verso la scultura di mesh esplicita, permettendo una migliore gestione di dettagli geometrici fini come le pieghe dei tessuti e i tratti del viso.

Il paper conclude che PSHuman rappresenta un passo avanti significativo nella ricostruzione umana 3D da singola immagine, offrendo una soluzione pratica per applicazioni che richiedono una modellazione umana veloce, ad alta fedeltà e robusta rispetto alla posa.