Technische Samenvatting: HDRFace

Probleemstelling

Gezichtsrestauratie onder complexe degradaties (bijv. onscherpte, ruis, downsampling, JPEG-compressie) blijft een slecht gesteld invers probleem vanwege ernstig informatieverlies. Hoewel diffusiemodellen een dominant paradigma zijn geworden voor deze taak door gebruik te maken van sterke generatieve priors, baseren bestaande methoden de generatie doorgaans uitsluitend op input van lage kwaliteit (LQ). Deze afhankelijkheid van alleen LQ-afbeeldingen maakt het moeilijk om identiteitskritieke details en fijnmazige texturen te herstellen, aangezien veel gelaatstrekken in de input onherroepelijk beschadigd of sterk onscherp zijn. Bijgevolg lijden gereconstrueerde afbeeldingen vaak aan suboptimale identiteitsconsistentie en perceptuele realisme.

Methodologie

De auteurs stellen HDRFace voor, een framework voor gezichtsrestauratie dat is gebaseerd op voorwaartse sturing door een hoog-dimensionale representatie. De kernfilosofie is het injecteren van semantisch rijke, fijnmazige priors in de voorwaardelijke generatiestroom zonder de generatieve backbone te wijzigen. De pijplijn bestaat uit drie hoofdfasen:

1. Intermediaire Restauratie en Kenmerkextractie

In plaats van direct te vertrouwen op de LQ-input voor sturing, gebruikt het framework eerst een kant-en-klare restaurator om een structureel betrouwbare intermediaire restauratie ($I_{mid}$) te genereren.

• Dubbele Kenmerkextractie: Een vooraf getrainde hoog-dimensionale kenmerkencoder, DINOv3, wordt gebruikt om fijnmazige gezichtsrepresentaties te extraheren uit twee bronnen:
  • De originele LQ-input ($I_{LR}$), aangeduid als $\mathbf{F}_{lr}$.
  • Het resultaat van de intermediaire restauratie ($I_{mid}$), aangeduid als $\mathbf{F}_{face}$.
• Complementaire Rollen: De LQ-kenmerken moeten structurele beperkingen bieden, terwijl de intermediaire kenmerken verfijnde, semantisch rijke details bieden.

2. Structureel-Details Bewuste Adaptieve Fusiemechanisme (SDFM)

Om deze multi-bron kenmerken effectief te integreren, introduceren de auteurs SDFM, een architectonisch onafhankelijke module die $\mathbf{F}_{lr}$ en $\mathbf{F}_{face}$ adaptief fuseert.

• Discrepantiemodeling: De module berekent het absolute verschil tussen genormaliseerde kenmerksequenties om de kloof tussen structurele aanwijzingen en fijnmazige details expliciet te karakteriseren.
• Adaptieve Gating: SDFM leert fusieweegs via twee perspectieven:
  • Kanaalgewijze gating ($\alpha_c$): Afgeleid van globaal gepoolde statistieken van gezichtskenmerken, LR-kenmerken en hun discrepantie.
  • Token-gewijze gating ($\alpha_t$): Afgeleid van op token-niveau geconcateneerde kenmerken om lokale belangrijkheid te vangen.
• Fusie: De uiteindelijke gefuseerde representatie ($\mathbf{F}_{fused}$) is een gewogen combinatie die globale beperkingen benadrukt tijdens het modelleren van structuren en de representatiesturing versterkt tijdens de synthese van details, waarbij structurele consistentie in evenwicht wordt gebracht met detailtrouw.

3. Voorwaardelijke Generatie

De gefuseerde hoog-dimensionale representatie wordt geïnjecteerd in de voorwaardelijke tak van het generatieve model, waarbij traditionele tekst-embeddings worden vervangen of aangevuld.

• Backbone-onafhankelijk: Het framework is gevalideerd op twee verschillende generatieve architecturen:
  • SD V2.1-base: Een diffusie-denoising U-Net-architectuur.
  • Qwen-Image: Een DiT (Diffusion Transformer) architectuur gebaseerd op Rectified Flow.
• Trainingsstrategie: De modellen worden getraind als één-staps restauratiesystemen. De trainingsdoelstelling combineert reconstructie-, perceptuele, identiteits- (ArcFace) en GAN-verliezen. Voor SD V2.1-base dient de LQ-latent als de ruisige input op een vast tijdstip; voor Qwen-Image wordt een lineair ruisperturbatieproces (Rectified Flow) toegepast.

Belangrijkste Bijdragen

1. Conditionering door Hoog-dimensionale Representatie: Het artikel stelt een framework voor dat DINOv3-semantische kenmerken injecteert in de voorwaardelijke tak van generatieve modellen. Dit biedt priors die verder gaan dan de beperkte informatie in LQ-inputs, waardoor de slecht gesteldheid van de restauratietask wordt verlicht.
2. SDFM-module: Het ontwerp van een architectonisch onafhankelijk fusiemechanisme dat adaptief structurele consistentie (van LQ-inputs) en detailtrouw (van intermediaire resultaten) in evenwicht brengt zonder de generatieve backbone te wijzigen.
3. Generalisatie en Robuustheid: De methode toont stabiele en consistente prestatiewinsten over verschillende generatieve architecturen (U-Net en DiT) en generatiemechanismen, wat wijst op sterke cross-architectuur generalisatie.

Experimentele Resultaten

Experimenten zijn uitgevoerd op synthetische (CelebA-Test) en real-world (LFW-Test, CelebChild) datasets, waarbij HDRFace wordt vergeleken met niet-diffusie, multi-stap diffusie en één-stap diffusie baselines (bijv. CodeFormer, OSDFace, PGDiff).

• Kwantitatieve Prestaties: HDRFace presteert consequent beter dan state-of-the-art methoden over meerdere metrieken.
  • Perceptuele Kwaliteit: Bereikt superieure scores in LPIPS, DISTS en TOPIQ.
  • Identiteitsconsistentie: Toont lagere ArcFace-embeddingshoeken (Deg.) en landmark-afstanden (LMD), wat wijst op een betere behoud van gezichtsidentiteit.
  • Beeldkwaliteit: Toont verbeteringen in no-reference IQA-metrieken zoals Q-Align en LIQE.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat HDRFace fijnmazige details (bijv. glans van make-up, vorm van pupillen, haartexturen, oorbellen) nauwkeuriger herstelt dan concurrerende methoden, met resultaten die dichter bij de ground truth liggen.
• Ablatiestudies:
  • SDFM: Het verwijderen van SDFM of het gebruik van alleen tekst/DINO-kenmerken resulteert in prestatiedalingen, wat de noodzaak van adaptieve fusie bevestigt.
  • Inputconfiguratie: Het gebruik van zowel SR (intermediaire) als LR-inputs levert betere resultaten op dan het gebruik van een van beide alleen, wat de complementaire aard van de kenmerken valideert.
  • Modelkeuze: DINOv3-L (Large) en Qwen-Image als intermediaire restaurator boekten de beste prestaties vergeleken met kleinere varianten of andere sturingsmodellen zoals CodeFormer.

Betekenis en Claims

Het artikel beweert dat HDRFace een robuuste oplossing biedt voor gezichtsrestauratie onder ernstige degradaties door het conditioneringsparadigma te verschuiven van input van lage kwaliteit naar hoog-dimensionale visuele representaties.

• Voorbij Tekstprompts: De auteurs betogen dat tekstprompts ongeschikt zijn voor gezichtsrestauratie, omdat identiteitsspecifieke en fijnmazige details moeilijk linguïstisch te beschrijven zijn en niet betrouwbaar kunnen worden afgeleid uit LQ-inputs. Hoog-dimensionale visuele representaties coderen deze details directer.
• Trade-off: Hoewel de methode rekenkundige overhead introduceert vanwege de intermediaire restaurator en kenmerkextractie, stellen de auteurs dat deze trade-off (kwaliteit boven snelheid) de moeite waard is voor identiteitskritieke taken. Het één-staps inferentiemechanisme behoudt nog steeds een concurrerende latentie in vergelijking met multi-stap diffusiemodellen.
• Beperkingen: De auteurs erkennen bescheiden dat de methode afhankelijk is van de betrouwbaarheid van de intermediaire restauratie. In gevallen van extreem ernstige degradatie waarbij identiteitskritieke aanwijzingen volledig verloren zijn gegaan, kan de methode nog steeds hallucinatie-details of structurele afwijkingen produceren, aangezien het probleem fundamenteel slecht gesteld blijft. Zij suggereren dat toekomstig werk zou kunnen bestaan uit het selecteren uit meerdere kandidaat-intermediaire resultaten om de robuustheid te verbeteren.