🤖 AI

Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

Questo articolo propone FPDM, un nuovo framework basato sulla diffusione per la sintesi di immagini di persone guidate dalla posa, che utilizza un modulo esplicito di fusione immagine-pose e apprendimento contrastivo per allineare gli embedding di posa-sorgente con le immagini target, migliorando così significativamente la fedeltà delle texture e la coerenza della generazione al variare di pose e aspetti.

Autori originali: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una foto di un amico che indossa un determinato abbigliamento (l'Immagine Sorgente) e un disegno a stick figure di una posa diversa (la Posa Target). Il tuo obiettivo è creare una nuova foto dello stesso amico che indossa esattamente quell'abbigliamento, ma in piedi nella nuova posa. Questo è chiamato Sintesi di Immagini di Persone Guidata dalla Posa.

Per molto tempo, i computer hanno faticato con questo compito. O riuscivano a indovinare la posa corretta ma rovinavano i vestiti, oppure mantenevano i vestiti corretti ma perdevano l'identità della persona.

Ecco come gli autori di questo articolo, FPDM, hanno risolto il problema utilizzando una nuova "ricetta" per la generazione di immagini tramite intelligenza artificiale.

1. Il Problema: Lo "Chef Confuso"

I metodi precedenti erano come uno chef che riceve due istruzioni separate: "Prepara una pizza" (l'abbigliamento) e "Rendila rotonda" (la posa). Lo chef cerca di mescolare queste istruzioni mentre cucina. Poiché le istruzioni sono mescolate nel pentolone, il risultato è spesso disordinato. A volte la pizza sembra quadrata, o gli ingredienti si perdono.

In termini tecnici, i vecchi modelli di IA cercavano di fondere l'"aspetto" della persona e la "forma" della posa nell'ultimo istante della creazione. Questo portava a risultati incoerenti: se si chiedeva la stessa posa con una foto sorgente leggermente diversa, l'IA si confondeva e cambiava l'identità della persona o la texture dei vestiti.

2. La Soluzione: La "Pianta Maestra" (Fusion Embedding)

Gli autori propongono un nuovo metodo chiamato FPDM. Invece di mescolare le istruzioni mentre si cucina, creano una Pianta Maestra prima che inizi la cottura.

Pensala così:

Il Vecchio Modo: Consegni allo chef una foto di una camicia e uno schizzo di una posa, e dici: "Risolvi mentre procedi".
Il Modo FPDM: Prima prendi la foto della camicia e lo schizzo della posa, e usi un traduttore speciale per combinarli in un unico, perfetto Progetto. Questo progetto dice esattamente: "Questa è la camicia, e questo è come appare quando la persona è in questa posa".

3. Come Creano il Progetto: L'"Innamoratore"

Come creano questo progetto perfetto? Usano una tecnica chiamata Apprendimento Contrastivo, che agisce come un severo Innamoratore.

L'IA crea un progetto mescolando la "Foto Sorgente" e lo "Schizzo della Posa".
L'Innamoratore confronta poi questo progetto con la Foto Target Reale (la verità fondamentale).
Se il progetto non corrisponde perfettamente alla foto reale, l'Innamoratore dice: "No, è sbagliato!" e li spinge lontano.
Se sembrano simili, l'Innamoratore li avvicina.

Crucialmente, gli autori hanno aggiunto un trucco speciale: mostrano anche all'Innamoratore la Foto Sorgente e dicono: "Questo non è il target; non confonderli". Questo costringe l'IA a imparare la differenza tra "com'è fatta la persona" e "come è posata", assicurando che il progetto catturi la relazione tra i due, non solo una mescolanza sfocata di entrambi.

4. Il Processo di Cottura: La "Rete di Denoising"

Una volta che l'IA ha questo perfetto Progetto di Fusione, utilizza un potente motore chiamato Modello Diffusivo.

Immagina che il Modello Diffusivo sia come uno scultore che inizia con un blocco di argilla rumorosa e piena di statiche. Il Progetto agisce come una guida per lo scultore.

Lo scultore rimuove lentamente il rumore (la parte di "denoising").
Poiché il Progetto è così preciso e pre-allineato, lo scultore sa esattamente dove ogni piega della camicia e ogni ripiegatura del tessuto dovrebbero andare.
Il risultato è un'immagine di alta qualità in cui l'identità della persona è preservata, i vestiti sembrano reali e la posa è esattamente quella richiesta.

5. Funziona? (I Risultati)

Gli autori hanno testato questo su due cose principali:

Foto di Moda: Hanno utilizzato un enorme dataset di foto di abbigliamento (DeepFashion). Il loro metodo era migliore nel mantenere la texture dei vestiti (come strisce o motivi) coerente, anche quando la persona si girava o cambiava posa.
Lingua dei Segni: L'hanno testato su video di persone che usano la lingua dei segni (dataset RWTH-PHOENIX). Questo è complicato perché i dettagli delle mani sono minuscoli e complessi. Il loro metodo ha prodotto mani più chiare e movimenti più accurati rispetto ai precedenti modelli di IA.

Analogia di Sintesi

Vecchia IA: Come cercare di dipingere un ritratto mentre qualcuno urla istruzioni sulla posa e sugli abiti allo stesso tempo. Finisci con un pasticcio sfocato.
FPDM: Come avere un architetto maestro che disegna un progetto perfetto e dettagliato che combina lo stile del cliente e la forma dell'edificio prima che inizi la costruzione. La squadra di costruzione (il Modello Diffusivo) segue semplicemente il progetto, risultando in un edificio perfetto ogni volta.

L'articolo conclude che creando prima questo esplicito "Progetto di Fusione", l'IA può generare immagini coerenti e di alta qualità che rispettano sia l'identità della persona che la nuova posa, risolvendo un grosso grattacapo nella visione artificiale.

Riepilogo Tecnico: FPDM (Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model)

Enunciato del Problema
La Sintesi di Immagini di Persone Guidata dalla Posizione (PGPIS) mira a generare un'immagine fotorealistica di una persona in una posizione target specificata, preservando l'identità, i vestiti e la texture di un'immagine sorgente. Sebbene gli approcci basati su diffusione recenti abbiano migliorato la qualità dell'immagine, essi si affidano tipicamente a un'aggregazione implicita delle caratteristiche all'interno del processo di denoising. In questi metodi esistenti, le incorporazioni (embeddings) dell'aspetto sorgente e della posizione target vengono iniettate direttamente nella rete di denoising (ad esempio, UNet) senza un pre-allineamento esplicito. Di conseguenza, l'interazione tra aspetto e posizione viene appresa in modo implicito, portando spesso a un "intreccio" (entanglement) in cui la relazione diventa dipendente dalla specifica traiettoria di denoising. Ciò si traduce in risultati di generazione incoerenti per la stessa identità quando variano l'aspetto sorgente o la posizione target, manifestandosi come texture distorte, contorni sfocati o deriva dell'identità.

Metodologia
Gli autori propongono FPDM (Fusion Embedding for PGPIS with Diffusion Model), un framework che allinea esplicitamente le incorporazioni fuse sorgente-posizione con le incorporazioni dell'immagine target prima del processo di diffusione. L'architettura consta di due fasi principali:

Modulo di Fusione Immagine-Posizione (IPF) (Fase Pre-Diffusione):
- Questo modulo apprende una rappresentazione unificata fondendo l'incorporazione dell'immagine sorgente e l'incorporazione della posizione target.
- Impiega una Rete Combinatrice (adattata da CLIP4CIR) per integrare le caratteristiche provenienti da un Encoder di Immagini basato su CLIP e un Encoder di Posizione basato su CLIP.
- Strategia di Apprendimento Contrastivo: L'innovazione centrale è l'Approccio di Fusione Posizione Potenziata dalla Sorgente. A differenza dell'apprendimento contrastivo di base che allinea semplicemente l'incorporazione fusa con l'immagine target, questo approccio tratta esplicitamente l'incorporazione dell'immagine sorgente come campione negativo durante l'addestramento.
- Costruendo una perdita InfoNCE aumentata a livello di batch in cui l'incorporazione fusa deve essere vicina all'immagine target ma esplicitamente distante dall'immagine sorgente (nella condizione della posizione target), il modello impone una separazione consapevole della posizione. Ciò impedisce all'incorporazione fusa di collassare in una rappresentazione dominata esclusivamente dall'aspetto sorgente, assicurando che catturi distinzioni condizionate dalla posizione.
Modello Diffusivo Condizionato (Fase di Generazione):
- Costruito sul framework Stable Diffusion (SD), il modello generativo è guidato da tre input distinti:
  - Aspetto Sorgente: Estratto tramite un encoder DINOv2 e iniettato nei blocchi transformer di UNet come caratteristiche chiave/valore.
  - Posizione Target: Estratta tramite un encoder basato su CNN (stile ControlNet) e concatenata con il latente rumoroso.
  - Incorporazione di Fusione ( $e_f$ ): L'output del modulo IPF pre-addestrato, iniettato nei blocchi ResNet insieme alle incorporazioni del timestep.
- Durante l'inferenza, il modello utilizza uno schema esteso di Guida Senza Classificatore (CFG) per pesare indipendentemente i contributi della condizione sorgente-posizione e dell'incorporazione di fusione.

Contributi Chiave

Allineamento Esplicito tramite Apprendimento Contrastivo: FPDM è il primo framework PGPIS basato su diffusione ad allineare esplicitamente le incorporazioni fuse sorgente-posizione con le incorporazioni dell'immagine target utilizzando l'apprendimento contrastivo, affrontando i limiti della condizione implicita.
Fusione Posizione Potenziata dalla Sorgente: Gli autori introducono un obiettivo di apprendimento contrastivo innovativo che distingue esplicitamente tra rappresentazioni sorgente e target trattando l'incorporazione sorgente come campione negativo. Ciò assicura che l'incorporazione di fusione sia invariante alle variazioni dell'aspetto sorgente pur rimanendo sensibile alla posizione.
Segnale di Condizionamento Robusto: L'incorporazione di fusione appresa funge da segnale di condizionamento stabile durante l'intero processo di denoising, consentendo una preservazione coerente dell'identità attraverso posizioni e immagini sorgenti variabili.

Risultati Sperimentali
Il metodo è stato valutato su due benchmark: DeepFashion (sintesi di immagini di moda) e RWTH-PHOENIX-Weather 2014T (generazione di video in lingua dei segni).

Prestazioni Quantitative: Su DeepFashion, FPDM ha ottenuto prestazioni competitive rispetto ai metodi dello stato dell'arte (ad es. MCLD, PCDM, XMDPT). Ha dimostrato punteggi LPIPS superiori (indicando una migliore similarità percettiva e preservazione della texture) e un forte FIDt (Fréchet Inception Distance sul set di test), suggerendo una migliore generalizzazione. Sul dataset Phoenix, FPDM ha ottenuto il più alto Hand SSIM (0,682) e un errore di Hand Pose competitivo, critici per la fedeltà della lingua dei segni.
Prestazioni Qualitative: I confronti visivi hanno mostrato la capacità di FPDM di ricostruire dettagli fini (ad es. pattern specifici degli abiti, loghi) e mantenere la coerenza strutturale anche quando l'immagine sorgente forniva solo viste parziali (ad es. inferendo viste posteriori da viste frontali).
Studi di Ablazione:
- La strategia di Fusione Posizione Potenziata dalla Sorgente (A3) ha superato significativamente la fusione di base (A2) e le incorporazioni solo-sorgente (A1) in termini di accuratezza di recupero (Recall@1 del 99,7% contro il 5,0% per la baseline).
- Il modello completo (B6) ha costantemente superato le varianti senza il modulo IPF o con diverse strategie di fusione in termini di fedeltà della texture e coerenza della posizione.
- L'analisi della convergenza ha indicato che, sebbene il modulo IPF aggiunga complessità ottimizzazione iniziale, porta a prestazioni finali superiori in termini di qualità percettiva.

Significato e Affermazioni
Il paper afferma che FPDM affronta una limitazione fondamentale nella PGPIS basata su diffusione attuale: la mancanza di allineamento esplicito tra segnali di condizionamento eterogenei (aspetto e posizione). Disaccoppiando il processo di allineamento dal processo di generazione tramite un'incorporazione di fusione pre-addestrata, il metodo garantisce che la preservazione dell'identità sia robusta alle variazioni di posizione e aspetto sorgente.

Gli autori posizionano FPDM non come un modello di generazione video a scopo generale, ma come una soluzione specifica per il compito di Sintesi di Immagini di Persone Guidata dalla Posizione. Evidenziano la sua applicabilità pratica in:

Prova Virtuale e Avatar Digitali: Grazie all'alta fedeltà della texture e alla preservazione dell'identità.
Generazione di Lingua dei Segni: Specificamente per generare fotogrammi video coerenti con il firmante, dove mantenere la struttura della mano e l'identità attraverso diverse posizioni è cruciale. Il paper nota che, sebbene FPDM operi a livello di sintesi di immagini, le sue prestazioni elevate su metriche centrate sulla mano lo rendono un componente centrale vitale per le pipeline di video in lingua dei segni.

Gli autori riconoscono le limitazioni, inclusa la difficoltà di riprodurre testo o loghi fini e il costo computazionale intrinseco del campionamento iterativo di diffusione rispetto alle GAN a passaggio singolo. Concludono che il lavoro futuro dovrebbe concentrarsi sull'estendere questa strategia di allineamento esplicito a compiti di generazione video strutturati temporalmente.