Technische Samenvatting: IConFace

Probleemstelling

Blind face restoration (BFR) is een sterk slecht gesteld probleem, vooral onder ernstige degradatie waar identiteitskritieke details en lokale gezichtscues vaak verloren gaan. Hoewel moderne generatieve priors (diffusie, codeboeken, transformers) de perceptuele realisme verbeteren, worstelen ze met het behoud van identiteitsconsistentie zonder expliciete bewijzen. Referentiebewuste restauratie probeert dit op te lossen door afbeeldingen met dezelfde identiteit te gebruiken om ontbrekende identiteitsbewijzen te verschaffen. Echter, bestaande methoden staan voor een kritieke afweging: referenties coderen niet alleen identiteit, maar ook houding, expressie, verlichting, leeftijd en make-up. Het direct overdragen van deze kenmerken leidt vaak tot "over-attentie", waarbij het gerestaureerde gezicht de specifieke verschijning van de referentie (bijv. houding of expressie) overneemt in plaats van de structuur te behouden die wordt geïmpliceerd door de gedegradeerde invoer. Bovendien moeten praktische systemen scenario's aankunnen waar referenties ontbreken, ruis bevatten of beperkt zijn, maar veel referentiebewuste modellen falen om op een elegante manier te degraderen naar robuuste restauratie zonder referentie.

Methodologie: IConFace

De auteurs stellen IConFace voor, een unifyend kader dat zowel referentiebewuste als referentievrije restauratie ondersteunt binnen één enkel checkpoint. De kerninnovatie is Asymmetrische Voorwaarde voor Identiteit–Structuur, waarbij de gedegradeerde invoer en referentieafbeeldingen verschillend worden behandeld op basis van hun rollen.

1. Ontwerp voor Asymmetrische Voorwaarde

Het kader is gebouwd op een FLUX.2-klein-base-4B hybride concat-ruggengraat. De hoofdsequentie concateneert ruisachtige scene-tokens, tokens van de gedegradeerde afbeelding en optionele referentie-tokens ($x_{in} = [x_{scene}; x_{deg}; x_{ref}]$). De asymmetrie wordt geïmplementeerd via twee distincte paden:

• Globaal Identiteitspad (Rol van Referentie):

  • Referenties worden niet behandeld als lokale ruimtelijke invoer, maar worden gedistilleerd tot een globaal identiteitsanker.
  • Met behulp van een bevroren AdaFace-encoder worden ruwe embeddings ($z_r$) gescheiden in identiteitsrichting ($e_r$) en betrouwbaarheid/norm ($q_r$).
  • Meerdere referenties worden geaggregeerd via een op norm gebaseerde softmax ($w_r$) om een enkel effectief identiteitsanker ($e_{id}$) te produceren.
  • Dit anker wordt geprojecteerd in de verborgen ruimte van de ruggengraat om modulatie-delta's ($\Delta$) te genereren voor afbeeldingsblokken. Cruciaal is deze modulatie alleen voor afbeeldingen; de tekststroom blijft onaangeroerd, waardoor referenties de identiteit globaal controleren zonder te fungeren als een lokale structuroverdrachtsvertakking.
  • Fallback: Als referenties ontbreken, gebruikt het pad de genormaliseerde AdaFace-embedding van de gedegradeerde afbeelding zelf als een zwak zelf-conditionerend anker.

• Gedegradeerd Structuurpad (Rol van Invoer):

  • De gedegradeerde afbeelding wordt behandeld als het ruimtelijk structuuranker, omdat het de enige waarneming is die ruimtelijk uitgelijnd is met het doel.
  • Laag-rang Residu: Gedegradeerde tokens worden van formaat veranderd en geïnjecteerd als een laag-rang invoerresidu om de scene-structuur te versterken.
  • Twee-Route Geheugen: Volledige gedegradeerde aandacht wordt gecomprimeerd tot een vast geheugenbudget met behulp van twee geleerde-query-poolers:
    • Basisroute: Poolt $x_{deg}$ om het globale lay-out en de verlichting te behouden.
    • Detailroute: Poolt hoogfrequente residuen ($x_{deg} - \text{smooth}(x_{deg})$) om lokale gezichtscues te benadrukken.
  • Dit stelt elk blok in staat om zowel grove structuur als fijne details te lezen zonder de hoofdconcatenatieroute te vervangen.

2. Trainingsdoel

Het model wordt getraind in de latente ruimte met behulp van een flow-matching doel.

• Restauratieverlies: Regresseert het flowveld ($L_{fm}$).
• Identiteitsverlies ($L_{id}$): Voor referentiebewuste samples wordt een cosine-afstandsverlies berekend tussen de gerestaureerde afbeelding en het referentieanker.
  • Een stabilisatorterm ($L_{hard}$) wordt geïntroduceerd voor imperfecte referenties, gewogen op basis van de consistentie tussen de referentie en het schone doel.
  • Het identiteitsverlies is sigma-gewogen ($\omega(\sigma)$), waarbij hoge-ruisstappen minder zwaar worden gewogen in plaats van hard te worden overgeslagen.
• Modus zonder Referentie: Het identiteitsverlies is nul wanneer referenties ontbreken, waarbij uitsluitend wordt vertrouwd op het flow-matching verlies en de zwakke zelf-conditionering vanuit de gedegradeerde afbeelding.

Belangrijkste Bijdragen

1. Unifyende Optionele-Referentie Formulering: Een enkel checkpoint ondersteunt zowel referentiebewuste als referentievrije restauratie via asymmetrische voorwaarde, waardoor de noodzaak voor aparte modellen wordt geëlimineerd.
2. Asymmetrische Identiteit–Structuur Voorwaarde: Een nieuw ontwerp waarbij referenties worden gecomprimeerd tot een globale identiteitscontroller (AdaFace-modulatie), terwijl de gedegradeerde afbeelding wordt versterkt als het ruimtelijk structuuranker via laag-rang residuen en een twee-routrige geheugen.
3. Lichtgewicht Paden: Het gebruik van op norm gebaseerde AdaFace-modulatie en laag-rang cross-attention zorgt voor een efficiënte integratie van identiteit en structuur zonder zware rekenkundige overhead.
4. Robuustheid tegen Ontbrekende Referenties: Het model valt op natuurlijke wijze terug op restauratie alleen met de gedegradeerde afbeelding wanneer referenties ontbreken, waarbij het een sterke perceptuele kwaliteit behoudt.

Experimentele Resultaten

De auteurs evalueerden IConFace op vier referentiebewuste benchmarks (CelebA-Test-Ref, FFHQ-Ref Moderate, FFHQ-Ref Severe, CelebHQRef100) en vijf referentievrije benchmarks (LFW, CelebChild, WebPhoto, Wider-Test, CelebA-Test).

• Prestaties bij Referentiebewustheid: IConFace behaalde state-of-the-art prestaties op Ref-ArcFace en Ref-AdaFace over alle benchmarks. Opvallend is dat het bij splitsen met ernstige degradatie (FFHQ-Ref Severe en CelebHQRef100) aanzienlijke winsten liet zien (bijv. +0,104 Ref-AdaFace op FFHQ-Ref Severe ten opzichte van de beste baseline). Het behield ook topprestaties op perceptuele metrieken (MUSIQ, CLIP-IQA, MANIQA), wat aantoont dat herstel van de identiteit niet ten koste ging van visuele fideliteit.
• Prestaties zonder Referentie: Bij afwezigheid van referenties behaalde IConFace de eerste plaats op MUSIQ, CLIP-IQA en MANIQA over alle referentievrije datasets, wat bewijst dat referentiebewuste training het model niet te gespecialiseerd heeft gemaakt.
• Ablatiestudies: Experimenten bevestigden dat het Globale Identiteitspad de primaire drijver was voor referentie-uitlijning, terwijl het Gedegradeerde Structuurpad consistente winsten bood in het stabiliseren van de outputstructuur. Het Twee-Route Geheugen (Basis + Detail) presteerde beter dan varianten met één route, wat de scheiding van globale lay-out en lokale details valideert.

Betekenis en Claims

Het artikel beweert dat IConFace het probleem van "overmatig gebruik van referentie-uitstraling" succesvol aanpakt door identiteitscontrole expliciet te ontkoppelen van ruimtelijke structuur. Door referenties een globale identiteitsrol toe te wijzen en de gedegradeerde invoer een structuurbehoudende rol, herstelt het model identiteitsconsistente details (bijv. oogafstand, huidtextuur, moedervlekken) terwijl het strikt adhereert aan de houding en expressie van de gedegradeerde invoer.

De auteurs benadrukken dat deze aanpak bijzonder waardevol is onder ernstige degradatie, waarbij de gedegradeerde afbeelding onvoldoende identiteitsbewijs bevat, maar de referentie dit wel biedt zonder de gezichtstoestand te dicteren. De unifyende aard van het model stelt het in staat om als een robuuste oplossing te dienen voor zowel persoonlijke foto-verbetering (waar referenties beschikbaar zijn) als algemene blinde restauratie (waar ze dat niet zijn), waardoor de kloof tussen referentiebewuste en referentievrije paradigma's wordt overbrugd.