CA-IDD: Cross-Attention Guided Identity-Conditional Diffusion for Identity-Consistent Face Swapping

1. Enunciato del Problema

Il face swapping mira a trasferire l'identità di un volto sorgente su un volto target preservando la posa, l'espressione, l'illuminazione e lo sfondo del target. Sebbene le Reti Avversariali Generative (GAN) siano state l'approccio dominante, soffrono di diverse limitazioni critiche:

• Instabilità dell'Addestramento: Le GAN spesso sperimentano il collasso delle modalità e una convergenza instabile.
• Perdita di Identità e Disaccoppiamento: I metodi GAN esistenti faticano a separare l'identità da altri attributi facciali (come espressione o posa), portando a una perdita di identità o a una sua dispersione in condizioni complesse.
• Controllo Spaziale Limitato: I metodi basati su diffusione attuali (ad esempio, DiffFace, REFace) spesso si affidano a meccanismi di fusione implicita (come la concatenazione globale o la modulazione). Questi metodi mancano della capacità di eseguire un allineamento fine-granulare e adattivo spazialmente dei segnali di identità con specifiche regioni facciali (ad esempio, occhi, naso, bocca).

Il paper affronta la necessità di un framework che offra addestramento stabile, generalizzazione robusta e allineamento dell'identità adattivo spazialmente per realizzare uno swapping facciale ad alta fedeltà e coerente con l'identità.

2. Metodologia: CA-IDD

Gli autori propongono CA-IDD (Cross-Attention Guided Identity-Conditional Diffusion), un framework innovativo che integra una guida multi-modale in un Modello Probabilistico di Diffusione per la Rimozione del Rumore (DDPM) utilizzando cross-attention multi-scala.

Architettura Principale

• Backbone: Un'architettura DDPM basata su UNet.
• Condizionamento Multi-Modale: Il modello si condiziona su tre distinti embedding estratti dall'immagine dell'identità sorgente:
  1. Embedding di Identità ($e_{id}$): Estratto tramite un encoder ArcFace pre-addestrato.
  2. Embedding di Parsing Facciale ($e_{parse}$): Estratto tramite un modello di parsing facciale per identificare le regioni semantiche (occhi, labbra, naso, ecc.).
  3. Embedding dello Sguardo ($e_{gaze}$): Estratto tramite un stimatore dello sguardo per catturare la direzione dello sguardo.
• Meccanismo di Cross-Attention:
  • A differenza dei metodi precedenti che concatenano le feature globalmente, CA-IDD inietta questi embedding nell'UNet tramite layer di cross-attention a multiple risoluzioni (bassa, media e alta).
  • Query (Q): Derivata dalle mappe di feature intermedie dell'immagine target (fornendo la struttura spaziale).
  • Key (K) & Value (V): Derivati dagli embedding sorgente concatenati ($e_{id}, e_{parse}, e_{gaze}$).
  • Funzione: Ciò permette al modello di prestare attenzione dinamicamente a specifiche feature di identità rilevanti per specifiche posizioni spaziali nell'immagine target. Ad esempio, la regione "occhi" nel target si riferisce specificamente alle feature di identità "occhi" dalla sorgente, garantendo un allineamento semantico preciso senza maschere di regione esplicite.

Addestramento e Funzioni di Perdita

Il modello è addestrato per minimizzare la differenza tra il rumore previsto e il rumore ground truth, potenziato da una supervisione guidata da esperti:
$$L_{total} = L_{diff} + \lambda_{id}L_{id} + \lambda_{parse}L_{parse} + \lambda_{gaze}L_{gaze}$$

• $L_{diff}$: Perdita standard di previsione del rumore per la diffusione.
• $L_{id}$: Perdita di similarità coseno tra l'output generato e l'embedding di identità sorgente.
• $L_{parse}$: Perdita Dice o L1 che garantisce che il parsing facciale generato corrisponda alla struttura del target.
• $L_{gaze}$: Perdita di errore angolare che garantisce la coerenza della direzione dello sguardo.

3. Contributi Chiave

1. Cross-Attention Consapevole dello Spazio: Il primo framework di face swapping basato su diffusione a utilizzare cross-attention multi-scala per il condizionamento continuo dell'identità. Ciò consente un allineamento fine-granulare degli embedding di identità con regioni facciali localizzate, superando i limiti della fusione globale.
2. Supervisione Guidata da Esperti: L'integrazione del parsing facciale e della stima dello sguardo come segnali ausiliari per imporre la coerenza semantica e prevenire la deriva dell'identità durante il processo di rimozione del rumore.
3. Framework Flessibile ed Estensibile: L'architettura permette l'aggiunta di nuove condizioni (ad esempio, posa, emozione) tramite embedding ausiliari senza riaddestrare il backbone di diffusione, offrendo una soluzione scalabile per l'editing facciale.
4. Prestazioni all'Avanguardia: Dimostra prestazioni superiori rispetto sia alle baseline basate su GAN che a quelle basate su diffusione esistenti in termini di ritenzione dell'identità e realismo visivo.

4. Risultati Sperimentali

Il framework è stato valutato sui dataset FFHQ e CelebA-HQ.

Prestazioni Quantitative

CA-IDD ha superato le baseline consolidate (FaceShifter, MegaFS, SimSwap, DiffFace) attraverso metriche chiave:

• FID (Fréchet Inception Distance): 11.73 (Valori più bassi sono migliori). Ciò indica alta qualità visiva e diversità, superando le baseline GAN come FaceShifter (12.50) e MegaFS (12.00).
• SSIM (Similarità Strutturale): 0.842, indicando una forte preservazione strutturale del volto target.
• LPIPS (Similarità Appresa delle Patch di Immagine Percettiva): 0.152, mostrando un'alta similarità percettiva con le immagini reali.

Studi di Ablazione

• Rimozione della Cross-Attention: L'FID è aumentato significativamente a 13.96, dimostrando la necessità di un allineamento adattivo spazialmente.
• Rimozione del Condizionamento di Identità: L'FID è peggiorato a 17.81, confermando che i segnali semantici di identità sono critici per preservare i tratti specifici della persona.
• Rimozione delle Perdite Guidate da Esperti: Le prestazioni sono diminuite (FID 13.08), mostrando che il parsing e la supervisione dello sguardo ottimizzano l'allineamento strutturale.

Risultati Qualitativi

I risultati visivi hanno dimostrato che CA-IDD preserva con successo l'identità sorgente (geometria facciale, tono della pelle, forma degli occhi) adattandosi accuratamente alla posa, all'espressione e all'illuminazione del target. Il modello ha gestito condizioni difficili (pose estreme, illuminazione variabile) con meno artefatti rispetto ai metodi basati su GAN.

5. Significato e Impatto

• Cambiamento di Paradigma: CA-IDD stabilisce un nuovo standard per il face swapping spostandosi dall'addestramento instabile delle GAN verso il paradigma di diffusione più affidabile.
• Controllo di Precisione: Sfruttando la cross-attention, il metodo risolve il problema del "disallineamento spaziale" intrinseco nei precedenti approcci di diffusione, permettendo un trasferimento di identità specifico per regione.
• Applicazioni Future: Il framework getta le basi per compiti avanzati di editing facciale, inclusi il reenactment video (estendendo alla dinamica temporale) e il controllo multimodale (integrando testo o audio). Evidenzia inoltre l'importanza dell'IA responsabile, suggerendo lavori futuri su watermarking e rilevamento dei deepfake.

In conclusione, CA-IDD rappresenta un avanzamento significativo nell'editing facciale generativo, offrendo una soluzione robusta, ad alta fedeltà e controllabile che bilancia efficacemente la preservazione dell'identità con la coerenza strutturale e contestuale.