Sintesi Tecnica: Il Diavolo è nella Perdita: Un Framework di Doppia Purificazione Disgiunta per il Trasferimento di Acconciature ad Alta Fedeltà

1. Definizione del Problema

Il trasferimento dell'acconciatura mira a sintetizzare un ritratto fotorealistico trapiantando un'acconciatura da un'immagine di riferimento su un soggetto sorgente, preservando rigorosamente l'identità del soggetto originale. Sebbene i recenti modelli di fondazione su larga scala (ad es., i modelli di diffusione) possiedano forti capacità generative, essi faticano con la disgiunzione (disentanglement) zero-shot necessaria per un editing locale preciso. Questi modelli intrinsecamente intrecciano l'acconciatura di riferimento con l'identità facciale, la posa e l'illuminazione originali, non fornendo un controllo esplicito.

Le pipeline esistenti tentano tipicamente di risolvere questo problema tramite un design a due flussi: la generazione di un'immagine "calva" dal soggetto (flusso geometrico) e l'estrazione di caratteristiche dell'acconciatura indipendenti dall'identità dal riferimento (flusso di stile), per poi fonderli. Tuttavia, gli autori identificano che questo paradigma soffre di un problema fondamentale di leakage (perdita/dispersione) composto da due distinti modi di fallimento:

1. Leakage dell'Identità nell'Acconciatura: Le caratteristiche dell'acconciatura estratte dal riferimento rimangono intrecciate con l'identità e la posa del riferimento. Quando fuse, queste caratteristiche distorcono il volto della persona sorgente, portando a un'incoerenza dell'identità.
2. Leakage dei Difetti nel Calvo: Quando si genera l'immagine "calva" (tipicamente tramite inpainting), spesso rimangono sottili difetti geometrici (ad es., ombre o residui del confine originale dei capelli). Il modello generativo sfrutta questi artefatti come "scorciatoie", portando a correlazioni spurie che causano una replica errata dell'acconciatura originale del soggetto anziché di quella di riferimento.

2. Metodologia: Dual-Purification Framework (DPF)

Gli autori propongono il Dual-Purification Framework (DPF), un'architettura innovativa progettata per purificare esplicitamente e congiuntamente sia lo stile che le informazioni geometriche. Il framework si basa su un backbone di Latent Diffusion Model (LDM), integrato con ControlNet per il controllo spaziale e un modulo ispirato a IP-Adapter per l'iniezione dello stile.

2.1 Architettura Core

Il DPF opera tramite un paradigma di addestramento a Doppia Ricostruzione Auto-Guidata. Dato un'immagine sorgente ($I_{src}$) e una maschera dei capelli, viene generato un ritratto "calvo" ($I_{bald}$). Il modello sintetizza una ricostruzione ($\hat{I}_{src}$) attraverso due percorsi paralleli:

• Percorso di Stile: Un encoder di stile congelato estrae patch di caratteristiche intrecciate dalla sorgente. Un Generatore di Stile ($G$) addestinabile purifica queste in una rappresentazione di stile disgiunta e a lunghezza fissa ($S_{pure}$).
• Percorso Geometrico: Un ControlNet ($C_{Net}$) addestinabile e un encoder di identità congelato estraggono le condizioni spaziali e di identità dal ritratto calvo.

2.2 Adversarial Hairstyle Purification (AHP)

Per affrontare il Leakage dell'Identità, il modulo AHP impiega un gioco avversario tra il Generatore di Stile ($G$) e un Discriminatore ($D$) consapevole del contenuto.

• Obiettivo: Il generatore mira a minimizzare l'informazione mutua tra la rappresentazione dell'acconciatura purificata ($S_{pure}$) e la rappresentazione dell'identità ($C_{bald}$).
• Meccanismo: A differenza delle classiche GAN dove il generatore cerca di ingannare il discriminatore facendo sembrare i dati falsi reali, qui il generatore è addestrato per rendere indistinguibili le coppie positive (stessa identità) dalle coppie negative (identità diverse). Il discriminatore è spinto verso la massima incertezza (probabilità 0.5), costringendo efficacementamente il generatore a rimuovere gli indizi legati all'identità dalle caratteristiche dell'acconciatura.

2.3 Contrastive Geometric Purification (CGP)

Per affrontare il Leakage dei Difetti, il modulo CGP introduce un obiettivo contrastivo per penalizzare la dipendenza del ControlNet dagli artefatti geometrici nell'input $I_{bald}$.

• Meccanismo: Per una singola condizione geometrica ($I_{bald}$), il ControlNet riceve due condizioni di stile contrastanti: lo stile purificato target ($S_{pure}$) e uno stile negativo ($S_{neg}$) da un'immagine casuale.
• Funzione di Perdita: Il modello calcola la similarità del coseno spaziale tra le mappe di caratteristiche risultanti del ControlNet ($C_{pos}$ e $C_{neg}$) strettamente all'interno della regione dei capelli. Una perdita contrastiva ($L_{CGP}$) penalizza l'alta similarità, forzando le caratteristiche a divergere.
• Effetto: Questo impedisce al ControlNet di apprendere una "scorciatoia" basata su artefatti statici nell'immagine calva, garantendo che la geometria generata sia guidata dallo stile target piuttosto che dai residui dei difetti.

2.4 Strategia di Ibrido di Feature

Riconoscendo che nessun encoder pre-addestato eccelle sia nella texture che nella struttura, gli autori impiegano un approccio ibrido. Combinano le caratteristiche di CLIP-B/16 (un "campione della texture") e DINOv2 (un "campione della struttura") come input per il generatore, sfruttando le loro forze complementari.

2.5 Strategia di Inferenza

Durante l'inferenza, il framework utilizza una strategia di Incremental Classifier-Free Guidance (CFG). Addestrando un ramo incondizionato ($\epsilon_{uncond}$) per ricostruire specificamente il ritratto calvo, il sistema stabilisce una base geometrica stabile. L'output finale è generato estrapolando la differenza tra le predizioni condizionali e incondizionali, garantendo un'iniezione di texture ricca pur mantenendo un preciso allineamento strutturale e l'assenza di deriva del tono della pelle.

3. Contributi Chiave

1. Formalizzazione del Problema: Il documento identifica e formalizza sistematicamente il "problema del leakage" nel trasferimento dell'acconciatura, definendo i suoi due componenti: Leakage dell'Identità nell'Acconciatura e Leakage dei Difetti nel Calvo.
2. Dual-Purification Framework (DPF): Un'architettura innovativa che integra due moduli mirati:
   • AHP: Purga esplicitamente l'informazione dell'identità dalle caratteristiche dell'acconciatura tramite la minimizzazione avversaria dell'informazione mutua.
   • CGP: Sopprime la dipendenza dai difetti geometrici nell'immagine calva tramite un obiettivo contrastivo sensibile allo stile.
3. Design di Encoder Ibrido: Una dimostrazione che combinare encoder ottimizzati per la texture (CLIP) e per la struttura (DINOv2) produce risultati superiori rispetto agli approcci a singolo encoder.
4. Prestazioni allo Stato dell'Arte: Esperimenti estesi mostrano che DPF supera i metodi precedenti (inclusi approcci basati su GAN e sulla diffusione) sia in termini di fedeltà qualitativa che di metriche quantitative su benchmark standard e "in-the-wild".

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark CelebA-HQ (ritratti standard) e sul dataset Human-Matting (immagini "in-the-wild" impegnative).

• Prestazioni Quantitative:
  • Su CelebA-HQ, DPF ha raggiunto la più alta Similarità di Identità (ID-Sim: 0.80) e una Fedeltà competitiva (FID: 16.53), superando i baseline basati su GAN come HairCLIPv2 e HairFastGAN.
  • Sul complesso dataset Human-Matting, DPF ha superato significativamente i metodi esistenti, riducendo la FID da 15.81 (HairFusion) a 7.75 e raggiungendo un ID-Sim di 0.75.
• Studi di Ablazione:
  • Il baseline (IP-Adapter + ControlNet) ha subito un alto Tasso di Fallimento del Leakage (LFR) del 37.86%.
  • L'aggiunta di AHP ha migliorato l'ID-Sim ma non ha ridotto significativamente l'LFR.
  • L'aggiunta di CGP ha ridotto drasticamente l'LFR al 10.33%.
  • Il DPF completo con Feature Ibride ha ottenuto l'LFR più basso (3.17%) e le migliori metriche complessive.
• Efficienza: DPF opera con un footprint di memoria di circa 5.4 GB e un tempo di sintesi di circa 6 secondi per immagine, rendendolo più efficiente dal punto di vista delle risorse rispetto a StableHair (16 GB) e HairFusion (10.9 GB).
• Studio Utente: In uno studio cieco (N=22), DPF ha ricevuto i punteggi più alti in accuratezza del trasferimento dello stile, preservazione dell'identità e realismo.

5. Significato e Rivendicazioni

Il documento sostiene che il limite principale degli attuali metodi di trasferimento dell'acconciatura non sia la mancanza di potenza generativa, ma la presenza di un leakage fondamentale nel processo di fusione delle caratteristiche. Affrontando esplicitamente questi leak attraverso la Purificazione Avversaria dell'Acconciatura e la Purificazione Geometrica Contrastiva, gli autori dimostrano che un trasferimento ad alta fedeltà e preservante l'identità è realizzabile anche con input geometrici imperfetti (immagini calve).

Gli autori posizionano DPF come una soluzione robusta per applicazioni del mondo reale (ad es., prove virtuali nei saloni di bellezza) dove le variazioni di posa, illuminazione e sfondo sono comuni. Suggeriscono che il principio della "purificazione esplicita" dei flussi condizionali possa essere generalizzabile ad altri domini di generazione condizionale in cui l'intreccio delle caratteristiche e l'apprendimento di scorciatoie (shortcut learning) sono prevalenti. Il lavoro non pretende di risolvere tutti i compiti di editing generativo, ma mira specificamente alle sfide di disgiunzione inerenti al trasferimento dell'acconciatura.