Technisch overzicht: De duivel zit in de lekkage: Een gedisentangleerd dual-purification framework voor hoogwaardige kapseloverdracht

1. Probleemstelling

Kapseloverdracht (hairstyle transfer) beoogt een fotorealistisch portret te synthetiseren door een kapsel uit een referentieafbeelding over te brengen op een brononderwerp, terwijl de identiteit van de bron strikt behouden blijft. Hoewel recente grootschalige fundamentele modellen (bijv. diffusiemodellen) over sterke generatieve capaciteiten beschikken, worstelen ze met de zero-shot disentanglement die vereist is voor precieze lokale bewerking. Deze modellen zijn inherent verstrengeld (entangled) tussen het referentiekapsel en de oorspronkelijke gezichtsidentiteit, pose en belichting, waardoor ze geen expliciete controle bieden.

Bestaande pipelines proberen dit doorgaans op te lossen via een twee-stromen ontwerp: het genereren van een "kaal" beeld vanuit de bron (geometrische stroom) en het extraheren van identiteitsonafhankelijke kapselkenmerken uit de referentie (stijlstroom), om deze vervolgens te fuseren. De auteurs identificeren echter dat dit paradigma lijdt aan een fundamenteel lekkageprobleem bestaande uit twee afzonderlijke faalmodi:

1. Identiteitslekkage in het kapsel: Kapselkenmerken die uit de referentie worden geëxtraheerd, blijven verstrengeld met de identiteit en pose van de referentie. Wanneer deze gefuseerd worden, vervormen deze kenmerken het gezicht van de bronpersoon, wat leidt tot inconsistentie in de identiteit.
2. Foutlekkage in de kale afbeelding: Bij het genereren van de "kale" afbeelding (meestal via inpainting) blijven vaak subtiele geometrische fouten (bijv. schaduwen of resten van de oorspronkelijke haarrand) achter. Het generatieve model maakt gebruik van deze artefacten als "shortcuts", wat leidt tot spuriaatieve correlaties waardoor het gesynthetiseerde haar onterecht het oorspronkelijke kapsel van de bron reproduceert in plaats van het referentiekapsel.

2. Methodologie: Dual-Purification Framework (DPF)

De auteurs stellen het Dual-Purification Framework (DPF) voor, een nieuwe architectuur die ontworpen is om zowel de kapsel- als de geometrische informatiestromen expliciet en gezamenlijk te zuiveren. Het framework is gebouwd op een Latent Diffusion Model (LDM) backbone, geïntegreerd met ControlNet voor ruimtelijke controle en een IP-Adapter-geïnspireerde module voor stijlinjectie.

2.1 Kernarchitectuur

De DPF werkt via een Dual-Target Self-Reconstruction trainingsparadigma. Gegeven een bronafbeelding ($I_{src}$) en een haarmasker, wordt een "kaal" portret ($I_{bald}$) gegenereerd. Het model synthetiseert een reconstructie ($\hat{I}_{src}$) via twee parallelle paden:

• Stijlpad: Een bevroren stijlencoder extraheert verstrengelde patch-kenmerken uit de bron. Een trainbare Style Generator ($G$) zuivert deze tot een vaste lengte, gedisentangleerde stijlrepresentatie ($S_{pure}$).
• Geometrisch pad: Een trainbare ControlNet ($C_{Net}$) en een bevroren identiteitsencoder extraheren ruimtelijke en identiteitscondities uit het kale portret.

2.2 Adversarial Hairstyle Purification (AHP)

Om Identiteitslekkage aan te pakken, gebruikt de AHP-module een adversariële strijd tussen de Style Generator ($G$) en een content-bewuste Discriminator ($D$).

• Doel: De generator streeft ernaar de wederzijdse informatie tussen de gezuiverde kapselrepresentatie ($S_{pure}$) en de identiteitsrepresentatie ($C_{bald}$) te minimaliseren.
• Mechanisme: In tegenstelling tot standaard GANs waarbij de generator probeert de discriminator te misleiden door te doen voorkomen dat fake data echt is, wordt de generator hier getraind om positieve paren (dezelfde identiteit) ononderscheidbaar te maken van negatieve paren (andere identiteiten). De discriminator wordt gedreven naar maximale onzekerheid (0,5 waarschijnlijkheid), wat de generator effectief dwingt om identiteitsgerelateerde cues uit de kapselkenmerken te verwijderen.

2.3 Contrastive Geometric Purification (CGP)

Om Foutlekkage aan te pakken, introduceert de CGP-module een contrastief objectief dat de ControlNet straft voor de afhankelijkheid van geometrische artefacten in de $I_{bald}$ input.

• Mechanisme: Voor een enkele geometrische conditie ($I_{bald}$) krijgt de ControlNet twee contrasterende stijlcondities gevoed: de doelgerichte gezuiverde stijl ($S_{pure}$) en een negatieve stijl ($S_{neg}$) van een willekeurige afbeelding.
• Verliesfunctie: Het model berekent de ruimtelijke cosinusgelijkenis tussen de resulterende ControlNet-featuremaps ($C_{pos}$ en $C_{neg}$) strikt binnen de haarregio. Een contrastieve loss ($L_{CGP}$) straft een hoge gelijkenis af, waardoor de kenmerken gedwongen worden uiteen te lopen.
• Effect: Dit voorkomt dat de ControlNet een "shortcut" leert op basis van statische artefacten in de kale afbeelding, waardoor wordt gewaarborgd dat de gegenereerde geometrie wordt gedreven door de doelstijl in plaats van door residuele fouten.

2.4 Hybride Feature Strategie

In het besef dat geen enkele vooraf getrainde encoder uitblinkt in zowel textuur als structuur, gebruiken de auteurs een hybride benadering. Ze combineren kenmerken van CLIP-B/16 (een "textuurkampioen") en DINOv2 (een "structuurkampioen") als inputs voor de generator, waarbij ze gebruikmaken van hun complementaire sterktes.

2.5 Inferentiestrategie

Tijdens de inferentie gebruikt het framework een Incremental Classifier-Free Guidance (CFG) strategie. Door een onvoorwaardelijke tak ($\epsilon_{uncond}$) te trainen die specifet de kale afbeelding reconstrueert, vestigt het systeem een stabiele geometrische baseline. De uiteindelijke output wordt gegenereerd door het verschil tussen de voorwaardelijke en onvoorwaardelijke voorspellingen te extrapoleren, wat zorgt voor rijke textuurinjectie terwijl een nauwkeurige structurele uitlijning en nul huidskleurdrift behouden blijft.

3. Belangrijkste Bijdragen

1. Probleemformalisering: Het artikel identificeert en formaliseert systematisch het "lekkageprobleem" in kapseloverdracht, waarbij de twee componenten worden gedefinieerd: Identiteitslekkage in het Kapsel en Foutlekkage in de Kale Afbeelding.
2. Dual-Purification Framework (DPF): Een nieuwe architectuur die twee gerichte modules integreert:
   • AHP: Verwijdert expliciet identiteitsinformatie uit kapselkenmerken via adversariële minimalisatie van wederzijdse informatie.
   • CGP: Onderdrukt de afhankelijkheid van geometrische fouten in de kale afbeelding via een stijlgevoelig contrastief objectief.
3. Hybride Encoder Design: Een demonstratie dat het combineren van textuurgeoptimaliseerde (CLIP) en structuurgeoptimaliseerde (DINOv2) encoders superieure resultaten oplevert vergeleken met single-encoder benaderingen.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat DPF eerdere methoden (inclusief GAN-gebaseerde en diffusie-gebaseerde benaderingen) overtreft in zowel kwalitatieve getrouwheid als kwantitatieve metrieken over standaard en "in-the-wild" benchmarks.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de CelebA-HQ benchmark (standaard portretten) en de Human-Matting dataset (uitdagende in-the-wild afbeeldingen).

• Kwantitatieve Prestaties:
  • Op CelebA-HQ behaalde DPF de hoogste Identiteitsgelijkenis (ID-Sim: 0,80) en concurrerende Getrouwheid (FID: 16,53), waarmee het GAN-gebaseerde baselines zoals HairCLIPv2 en HairFastGAN overtreft.
  • Op de uitdagende Human-Matting dataset presteerde DPF aanzienlijk beter dan bestaande methoden, waarbij de FID werd verminderd van 15,81 (HairFusion) naar 7,75 en een ID-Sim van 0,75 werd bereikt.
• Ablatie studies:
  • De baseline (IP-Adapter + ControlNet) leed aan een hoge Leakage Failure Rate (LFR) van 37,86%.
  • Het toevoegen van AHP verbeterde de ID-Sim, maar verminderde de LFR niet significant.
  • Het toevoegen van CGP verminderde de LFR drastisch tot 10,33%.
  • De volledige DPF met Hybride Kenmerken bereikte de laagste LFR (3,17%) en de beste algemene metrieken.
• Efficiëntie: DPF werkt met een geheugenvoetafdruk van 5,4 GB en een synthesetijd van ~6 seconden per afbeelding, wat het meer middelen-efficiënt maakt dan StableHair (16 GB) en HairFusion (~10,9 GB).
• Gebruikersstudie: In een blind onderzoek (N=22) kreeg DPF de hoogste scores op het gebied van Stijltransfer nauwkeurigheid, Identiteitsbehoud en Realisme.

5. Betekenis en Claims

Het artikel beweert dat de primaire beperking van huidige methoden voor kapseloverdracht niet een gebrek aan generatieve kracht is, maar de aanwezigheid van fundamentele lekkage in het proces van kenmerkfusie. Door deze lekken expliciet aan te pakken via Adversarial Hairstyle Purification en Contrastive Geometric Purification, demonstreren de auteurs dat hoogwaardige, identiteitsbewarende transfer haalbaar is, zelfs met imperfecte geometrische inputs (kale afbeeldingen).

De auteurs positioneren DPF als een robuuste oplossing voor real-world toepassingen (bijv. virtueel passen in salons) waar variaties in pose, belichting en achtergrond gebruikelijk zijn. Ze suggereren dat het principe van "expliciete zuivering" van conditionele stromen kan worden gegeneraliseerd naar andere domeinen van conditionele generatie waar kenmerkverstrengeling en shortcut learning prevalent zijn. Het werk claimt niet alle generatieve bewerkingsopdrachten op te lossen, maar richt zich specifiek op de disentanglement-uitdagingen die inherent zijn aan kapseloverdracht.