Riepilogo Tecnico: Inpainting del Volto con Modelli di Diffusione Latente che Preservano l'Identità

Enunciato del Problema

L'inpainting del volto mira a ricostruire regioni facciali mancanti o occluse con realismo visivo e coerenza semantica. Sebbene essenziale per applicazioni come il restauro fotografico e la forense digitale, rimane una sfida critica: preservare l'identità unica del soggetto nell'output ricostruito. I modelli di diffusione standard, nonostante la loro fedeltà generativa, spesso mancano di meccanismi espliciti per codificare l'identità specifica del soggetto, causando una deriva delle regioni ricostruite verso un aspetto facciale "medio". Le soluzioni esistenti consapevoli dell'identità si basano tipicamente su un affinamento (fine-tuning) per soggetto computazionalmente costoso (ad es. MyStyle, Custom Diffusion) o mostrano una robustezza limitata verso occlusioni e pose diverse. Inoltre, la valutazione della preservazione dell'identità è complicata da dataset esistenti (ad es. CelebA-HQ, FFHQ) che spesso impiegano occlusioni casuali o su grandi aree, rendendo difficile distinguere tra una generazione facciale plausibile e un vero recupero dell'identità.

Metodologia: ID-ControlNet

Gli autori propongono ID-ControlNet, un framework per l'inpainting del volto che preserva l'identità, costruito su Modelli di Diffusione Latente (LDM). L'approccio integra segnali di identità facciale direttamente nel processo di diffusione senza richiedere un affinamento per soggetto.

Architettura

• Modello Base: Il framework utilizza un backbone di diffusione latente Stable Diffusion (SD1.5) congelato per la generazione di immagini.
• Estensione ControlNet: Ispirato da ControlNet, gli autori introducono un ramo ausiliario addestrabile che inietta segnali di condizionamento esterni. A differenza di ControlNet standard che utilizza segnali spaziali (bordi, profondità), ID-ControlNet inietta embedding di identità.
• Estrazione dell'Identità: Una rete di riconoscimento facciale preaddestrata (ArcFace) estrae embedding di identità dall'immagine di riferimento non mascherata.
• Integrazione Latente: Gli embedding di identità sono elaborati dal ramo di controllo, che li risampola da $8 \times 8$ a $64 \times 64$ per allinearli al percorso del decodificatore U-Net. Strati di convoluzione inizializzati a zero iniettano queste caratteristiche guidate dall'identità nel backbone di diffusione congelato, guidando la traiettoria di denoising verso l'identità target preservando al contempo la coerenza globale.

Strategia di Addestramento

Il modello è addestrato utilizzando una funzione obiettivo composita che combina la perdita di denoising standard con una supervisione esplicita dell'identità:

1. Perdita di Denoising ($\mathcal{L}_{denoise}$): Perdita LDM standard per prevedere il rumore nello spazio latente.
2. Perdita di Coerenza dell'Identità ($\mathcal{L}_{id}$): Una perdita basata sulla distanza coseno che garantisce che l'embedding dell'immagine generata corrisponda all'embedding di identità di condizionamento.
3. Perdita Triplet ($\mathcal{L}_{trip}$): Una perdita a livello di batch per massimizzare la separabilità tra l'identità target e i campioni negativi all'interno del batch.
4. Efficienza: Per evitare il costo computazionale della retropropagazione attraverso una catena completa di denoising a $T$ passaggi, gli autori impiegano un'approssimazione di denoising a singolo passaggio. Il latente viene perturbato a un piccolo timestep, viene applicato un singolo passaggio di denoising e l'immagine risultante viene decodificata per calcolare la perdita dell'embedding.

Contributi Chiave

1. Framework ID-ControlNet: Un'architettura innovativa che condiziona la diffusione latente su embedding di identità estratti da una rete di riconoscimento facciale preaddestrata, abilitando l'inpainting che preserva l'identità senza affinamento per soggetto.
2. Strategia di Addestramento: Una strategia basata su perdita di coerenza dell'identità e perdita triplet che impone l'allineamento tra i volti generati e le rappresentazioni dell'identità target in modo auto-supervisionato.
3. Dataset E-Mask: L'introduzione di un nuovo dataset di benchmark in cui le occlusioni sono rigorosamente limitate alla regione degli occhi. Questo affronta la limitazione dei dataset esistenti concentrandosi sull'area facciale più informativa per l'identità, consentendo una valutazione più precisa delle capacità di ripristino dell'identità.
4. Capacità Zero-Shot: Il metodo raggiunge una preservazione dell'identità allo stato dell'arte in un contesto zero-shot, eliminando la necessità dell'adattamento costoso o dell'affinamento richiesti dai precedenti metodi di personalizzazione basati sulla diffusione.

Risultati Sperimentali

Gli autori hanno valutato ID-ControlNet su CelebA-HQ, FFHQ e sul dataset proposto E-Mask, confrontandolo con baseline di diffusione standard (SD1.5, SD2) e metodi consapevoli dell'identità (PVA, MyStyle, Custom Diffusion).

• Qualità Percettiva: ID-ControlNet raggiunge una qualità percettiva (FID, mFID, LPIPS) paragonabile alle baseline di diffusione standard, indicando che il condizionamento dell'identità non degrada significativamente il realismo visivo.
• Preservazione dell'Identità:
  • Sul benchmark CelebA-HQ-IDI-5, ID-ControlNet corrisponde alla fedeltà dell'identità di PVA (un metodo allo stato dell'arte) operando in un contesto zero-shot, mentre PVA richiede tipicamente un affinamento.
  • Sul dataset E-Mask (occlusioni specifiche per gli occhi), ID-ControlNet supera significativamente sia la baseline che PVA (No-Tune) nei punteggi di similarità dell'identità (0.78 contro 0.63 per PVA No-Tune), dimostrando un recupero superiore delle caratteristiche definitorie dell'identità.
• Generalizzazione: I modelli addestrati su CelebA-HQ-IDI si generalizzano efficacemente al dataset FFHQ non visto senza ulteriore affinamento.

Significato e Affermazioni

Il paper afferma che ID-Controlnet rappresenta un avanzamento significativo nel bilanciare realismo visivo e fedeltà dell'identità nell'inpainting del volto. Integrando gli embedding di identità direttamente nel processo di diffusione tramite un'architettura ispirata a ControlNet, il metodo supera la deriva verso la "faccia media" dei modelli standard e le limitazioni di scalabilità degli approcci basati sull'affinamento.

Gli autori sottolineano che il loro approccio fornisce una soluzione leggera ed efficiente per la generazione coerente con l'identità, particolarmente preziosa per applicazioni a valle come il riconoscimento facciale, la forense digitale e l'interazione uomo-computer, dove distorsioni sottili dell'identità possono degradare criticamente le prestazioni del sistema o la fiducia. L'introduzione del dataset E-Mask è evidenziata come un passo necessario per una valutazione rigorosa, poiché isola le regioni facciali più critiche per il riconoscimento dell'identità.

Gli autori concludono che, sebbene i loro risultati attuali siano promettenti, il lavoro futuro dovrebbe concentrarsi sull'aggiornamento dei modelli backbone e sulla conduzione di studi con utenti per validare ulteriormente la robustezza della qualità dell'immagine e della preservazione dell'identità.