High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning

1. Il Problema

Il face swapping (scambio di volti) mira a trasferire l'identità di un'immagine sorgente su un'immagine target preservando gli attributi del target (come posa, espressione e illuminazione). Sebbene i modelli basati su GAN (Generative Adversarial Networks) siano stati lo standard, soffrono di limiti nella qualità dell'immagine e nel collasso delle modalità. I recenti modelli di diffusione offrono capacità generative superiori, ma l'applicazione al face swapping presenta due sfide critiche:

1. Conflitto tra condizioni: L'identità (sorgente) e gli attributi (target) spesso agiscono in opposizione durante l'addestramento. Preservare l'identità spinge il modello verso l'immagine sorgente, mentre allineare gli attributi lo spinge verso il target, creando un conflitto che porta a risultati subottimali o distorsioni.
2. Perdita di identità: Le tecniche esistenti che iniettano entrambe le condizioni in un'unica fase di addestramento tendono a sacrificare la somiglianza dell'identità per seguire gli attributi, o viceversa.

2. Metodologia

Gli autori propongono un framework di addestramento basato su modelli di diffusione che risolve questi problemi attraverso un approccio multi-stadio e un'iniezione di condizioni disaccoppiata.

A. Iniezione di Condizioni Disaccoppiata (Decoupled Condition Injection)

Per evitare la "perdita" di informazioni (leakage) tra identità e attributi, il metodo utilizza:

• Coppie di dati specifiche: Invece di usare la stessa immagine con augmentations (che crea correlazione indesiderata), il modello viene addestrato su coppie di immagini della stessa identità ma con attributi diversi. Questo disaccoppia esplicitamente le due caratteristiche.
• Due percorsi di estrazione:
  • Identità: Estratta dalla sorgente usando un modello di riconoscimento facciale pre-addestrato (ArcFace) e DINOv2 per i dettagli visivi (texture della pelle).
  • Attributi: Estratti dal target usando il codificatore di SimSwap (GAN-based), che cattura efficacemente espressioni, pose e semantica spaziale.
• Fusione: Le feature di identità e attributo vengono fuse tramite un meccanismo di attenzione, permettendo un controllo bilanciato.

B. Schema di Addestramento Multi-Stadio (Identity-Constrained Facial Conditioning)

L'addestramento avviene in tre fasi distinte per garantire prima l'identità e poi l'allineamento degli attributi:

1. Fase 1: Adattamento all'Identità (Identity-oriented tuning): Il modello di diffusione pre-addestrato viene fine-tuned utilizzando solo le condizioni di identità (senza attributi). Questo restringe lo spazio delle soluzioni a output coerenti con l'identità sorgente, evitando che il modello "dimentichi" chi deve essere il volto finale.
2. Fase 2: Adattamento agli Attributi (Attribute tuning): Vengono iniettate le condizioni di attributo (espressione, posa). Per evitare il "catastrophic forgetting" dell'identità, l'iniezione degli attributi parte da pesi inizializzati a zero e la forza del controllo dell'identità viene leggermente ridotta. Il modello impara ad adattare l'identità già fissata agli attributi del target.
3. Fase 3: Rifinitura Post-Addestramento (Post-training refinement): Una fase end-to-end che applica una supervisione esplicita. A differenza di altri metodi che aggiungono la Loss di identità direttamente alla previsione del rumore (rilassando il bound teorico ELBO e peggiorando la qualità), qui l'intero processo di campionamento DDIM (50 passi) è trattato come un modello generativo end-to-end. Si applicano una Loss di Identità e una Loss Adversariale (GAN) su passi campionati casualmente per massimizzare la fedeltà senza compromettere la stabilità dell'addestramento diffusion.

3. Contributi Chiave

1. Iniezione di condizioni disaccoppiata: Una strategia innovativa che separa l'estrazione e l'elaborazione di identità e attributi, risolvendo il conflitto di addestramento e permettendo l'uso di dati di addestramento specifici (stessa persona, diverse espressioni).
2. Schema di condizionamento vincolato all'identità: Un approccio multi-stadio che garantisce la priorità della preservazione dell'identità prima di allineare gli attributi, superando i limiti degli approcci monostadio.
3. Nuovo modello SOTA: Un modello basato su diffusione che stabilisce un nuovo stato dell'arte (State-of-the-Art) sia qualitativamente che quantitativamente, superando sia i metodi basati su GAN che quelli basati su diffusione precedenti.

4. Risultati

Il modello è stato valutato sul dataset FFHQ confrontato con metodi GAN (SimSwap, InfoSwap, E4S) e diffusion (DiffFace, DiffSwap, REFace).

• Metriche Quantitative:
  • FID (Fréchet Inception Distance): Il modello ottiene il punteggio migliore (3.61), indicando una qualità generativa superiore e una maggiore fedeltà rispetto a tutti gli altri metodi, inclusi quelli basati su diffusione.
  • Recupero Identità (ID Retrieval): Raggiunge il 97.9% di Top-1 accuracy, dimostrando una preservazione dell'identità eccezionale.
  • Posa ed Espressione: Rimane competitivo, con un punteggio di espressione pari al miglior metodo GAN (SimSwap).
• Valutazione Umana: In un sondaggio su 39 partecipanti, il modello ha ottenuto il 57.1% dei voti per la fedeltà (fidelity), il 33.2% per la coerenza degli attributi e il 31.6% per la preservazione dell'identità, superando tutti i concorrenti in un equilibrio complessivo.
• Robustezza: Il modello dimostra una forte capacità di generalizzazione su dati fuori distribuzione (es. volti su dipinti o foto stilizzate), mantenendo texture e illuminazione coerenti, grazie all'uso di modelli foundation pre-addestrati.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nel campo della generazione di volti. Dimostra che i modelli di diffusione possono superare le GAN nel face swapping se l'architettura di condizionamento è progettata correttamente per gestire i conflitti tra identità e attributi.
La metodologia proposta non è limitata allo scambio di volti, ma offre un framework generale per la generazione condizionale multi-modale, dove è necessario bilanciare vincoli forti (identità) con variazioni stilistiche o contestuali (attributi). L'approccio "identity-constrained" e la separazione delle fasi di addestramento potrebbero diventare uno standard per future ricerche su personalizzazione e controllo fine nei modelli generativi.