Technische Samenvatting: Gezichtsinpainting met Identiteitsbehoudende Latente Diffusiemodellen

Probleemstelling

Gezichtsinpainting heeft tot doel ontbrekende of verduisterde gezichtsregio's te reconstrueren met visuele realisme en semantische coherentie. Hoewel dit essentieel is voor toepassingen zoals fotoherstel en digitale forensiek, blijft een kritieke uitdaging bestaan: het behoud van de unieke identiteit van het onderwerp in de gereconstrueerde output. Standaard diffusiemodellen missen, ondanks hun generatieve fideliteit, vaak expliciete mechanismen om onderwerpspecifieke identiteit te coderen, waardoor gereconstrueerde regio's afwijken naar een "gemiddeld" gezichtsverschijnsel. Bestaande oplossingen die rekening houden met identiteit, vertrouwen doorgaans op rekenkundig duur fijnafstemmen per onderwerp (bijv. MyStyle, Custom Diffusion) of vertonen beperkte robuustheid tegen diverse verduisteringen en houdingen. Bovendien wordt het evalueren van identiteitsbehoud bemoeilijkt door bestaande datasets (bijv. CelebA-HQ, FFHQ) die vaak willekeurige of grote verduisteringen toepassen, waardoor het moeilijk is om onderscheid te maken tussen plausibele gezichtsgeneratie en ware identiteitswederopstanding.

Methodologie: ID-ControlNet

De auteurs stellen ID-ControlNet voor, een raamwerk voor identiteitsbehoudende gezichtsinpainting dat is gebouwd op Latente Diffusiemodellen (LDM's). De aanpak integreert gezichtsidentiteitsaanwijzingen direct in het diffusieproces zonder dat fijnafstemming per onderwerp vereist is.

Architectuur

• Basismodel: Het raamwerk maakt gebruik van een bevroren Stable Diffusion (SD1.5) latente diffusiebackbone voor beeldgeneratie.
• ControlNet-extensie: Geïnspireerd door ControlNet, introduceren de auteurs een trainbare hulpvertakking die externe conditioneringssignalen injecteert. In tegenstelling tot standaard ControlNet, dat ruimtelijke aanwijzingen (randen, diepte) gebruikt, injecteert ID-ControlNet identiteitsembeddings.
• Identiteitsextractie: Een voorgetraind gezichtsherkenningnetwerk (ArcFace) haalt identiteitsembeddings uit het niet-gemaskerde referentiebeeld.
• Latente Integratie: De identiteitsembeddings worden verwerkt door de controlvertakking, die ze van $8 \times 8$ naar $64 \times 64$ opschalen om uit te lijnen met het U-Net-decoderpad. Met nul geïnitialiseerde convolutielagen injecteren deze identiteitsgeleide kenmerken in de bevroren diffusiebackbone, waardoor de ontroostings-trajectorie wordt geleid naar de doelidentiteit terwijl globale coherentie behouden blijft.

Trainingsstrategie

Het model wordt getraind met een samengestelde objectieve functie die standaard ontroostingsverlies combineert met expliciete identiteitssupervisie:

1. Ontroostingsverlies ($\mathcal{L}_{denoise}$): Standaard LDM-verlies om ruis in de latente ruimte te voorspellen.
2. Identiteitsconsistentieverlies ($\mathcal{L}_{id}$): Een cosinusafstandsverlies dat ervoor zorgt dat de embedding van het gegenereerde beeld overeenkomt met de conditionerende identiteitsembedding.
3. Triplet-verlies ($\mathcal{L}_{trip}$): Een verlies op batch-niveau om de scheidbaarheid te maximaliseren tussen de doelidentiteit en negatieve steekproeven binnen de batch.
4. Efficiëntie: Om de rekenkosten van backpropagatie door een volledige $T$-staps ontroostingsketen te vermijden, maken de auteurs gebruik van een benadering met één ontroostingsstap. De latent wordt verstoord naar een kleine tijdstap, één ontroostingsstap wordt toegepast, en het resulterende beeld wordt gedecodeerd om het embeddingverlies te berekenen.

Belangrijkste Bijdragen

1. ID-ControlNet-raamwerk: Een nieuw architectuur dat latente diffusie conditioneert op identiteitsembeddings die zijn ontleend aan een voorgetraind gezichtsherkenningnetwerk, waardoor identiteitsbehoudende inpainting mogelijk is zonder fijnafstemming per onderwerp.
2. Trainingsstrategie: Een strategie voor identiteitsconsistentie en triplet-verlies die uitlijning afdwingt tussen gegenereerde gezichten en doelidentiteitsrepresentaties op een zelftoezichtende manier.
3. E-Mask-dataset: De introductie van een nieuwe benchmarkdataset waarbij verduisteringen strikt beperkt zijn tot het ooggebied. Dit adresseert de beperking van bestaande datasets door zich te richten op het meest identiteitsinformatieve gezichtsgebied, waardoor een nauwkeurigere evaluatie van identiteitswederopstanding mogelijk is.
4. Zero-shot-mogelijkheid: De methode bereikt state-of-the-art identiteitsbehoud in een zero-shot-instelling, waardoor de noodzaak voor kostbare adaptatie of fijnafstemming die door eerdere personalisatiemethoden op basis van diffusie wordt vereist, wordt geëlimineerd.

Experimentele Resultaten

De auteurs hebben ID-ControlNet geëvalueerd op CelebA-HQ, FFHQ en de voorgestelde E-Mask-dataset, en dit vergeleken met standaard diffusiebaselines (SD1.5, SD2) en identiteitsbewuste methoden (PVA, MyStyle, Custom Diffusion).

• Perceptuele Kwaliteit: ID-ControlNet bereikt perceptuele kwaliteit (FID, mFID, LPIPS) die vergelijkbaar is met standaard diffusiebaselines, wat aangeeft dat identiteitsconditionering de visuele realiteit niet significant verslechtert.
• Identiteitsbehoud:
  • Op de CelebA-HQ-IDI-5-benchmark komt ID-ControlNet overeen met de identiteitsfideliteit van PVA (een state-of-the-art methode) terwijl het opereert in een zero-shot-instelling, terwijl PVA doorgaans fijnafstemming vereist.
  • Op de E-Mask-dataset (oogspecifieke verduisteringen) presteert ID-ControlNet significant beter dan zowel de baseline als PVA (No-Tune) op identiteitsgelijkheidsscores (0,78 versus 0,63 voor PVA No-Tune), wat een superieure wederopstanding van identiteitsbepalende kenmerken aantoont.
• Generalisatie: Modellen die zijn getraind op CelebA-HQ-IDI generaliseren effectief naar het ongezette FFHQ-dataset zonder aanvullende fijnafstemming.

Betekenis en Claims

Het artikel beweert dat ID-ControlNet een significante vooruitgang vertegenwoordigt in het balanceren van visueel realisme met identiteitsfideliteit bij gezichtsinpainting. Door identiteitsembeddings direct in het diffusieproces te integreren via een door ControlNet geïnspireerde architectuur, overwint de methode de "gemiddeld gezicht"-afwijking van standaardmodellen en de schaalbaarheidsbeperkingen van op fijnafstemming gebaseerde benaderingen.

De auteurs benadrukken dat hun aanpak een lichtgewicht, efficiënte oplossing biedt voor identiteitsconsistente generatie die bijzonder waardevol is voor downstream-toepassingen zoals gezichtsherkenning, digitale forensiek en mens-computerinteractie, waar subtiele identiteitsvervormingen de systeemprestaties of het vertrouwen kritiek kunnen verslechteren. De introductie van de E-Mask-dataset wordt benadrukt als een noodzakelijke stap voor rigoureuze evaluatie, omdat deze de meest kritieke gezichtsregio's voor identiteitsherkenning isoleert.

De auteurs concluderen dat, hoewel hun huidige resultaten veelbelovend zijn, toekomstig werk zich moet richten op het upgraden van de backbone-modellen en het uitvoeren van gebruikersstudies om de robuustheid van beeldkwaliteit en identiteitsbehoud verder te valideren.