Learning a Delighting Prior for Facial Appearance Capture in the Wild

Probleemstelling

Hoogwaardige vastlegging van gezichtsuitdrukkingen, essentieel voor het creëren van fotorealistische digitale mensen, heeft traditioneel afhankelijk gestaan van kostbare, gecontroleerde studio-omgevingen (bijv. Light Stages). Hoewel recente inspanningen hebben geprobeerd gezichten "in het wild" vast te leggen met onbeperkte smartphonevideo's, staan deze benaderingen voor aanzienlijke uitdagingen. Specifiek worstelen modelgebaseerde inverse rendering-paradigma's om complexe reflectie (albedo) te ontwarren van onbekende, real-world verlichting. Dit resulteert vaak in instabiele optimalisatie en "ingebakken" schaduwen of verlichtingsartefacten in de gereconstrueerde texturen. Bestaande datagedreven oplossingen blijven ofwel propriëtair (beperkend tot reproduceerbaarheid) of lijden aan ruimtelijke vervaging en fysisch incorrecte diffuse albedo wanneer getraind op beschikbare open-source datasets zoals FaceOLAT. Bovendien vereisen hybride benaderingen zoals WildCap, die datagedreven delighting combineren met inverse rendering, handmatige ingrepen om artefacten te corrigeren, wat schaalbaarheid belemmert.

Methodologie

De auteurs stellen OpenDelight voor, een volledig automatisch systeem dat de focus van gezichtsuitdrukkingen verschuift naar het leren van een robuust delighting prior. De methodologie bestaat uit drie hoofdbestanddelen:

1. Dataset Latent Modulation (DLM) voor Heterogene Training
Om een krachtig delighting-netwerk te trainen, combineren de auteurs twee complementaire databronnen:

• OLAT Dataset (FaceOLAT): Biedt real-world beeldverdelingen, maar lijdt aan ruimtelijke vervaging en speculaire bak-artefacten door imperfecte uitlijning en gebrek aan polarisatie.
• Gerenderde Light Stage Scan Dataset: Een aangepaste dataset van 120 onderwerpen vastgelegd in een Light Stage (materiële modus) en gerenderd. Het biedt scherpe details en fysisch correcte diffuse albedo, maar heeft een grotere domeinkloof met real-world beelden.

Om deze bronnen naadloos te integreren zonder dat het netwerk genoegen neemt met een gecompromitteerde oplossing, introduceren de auteurs Dataset Latent Modulation (DLM).

• Mechanisme: Het kernnetwerk (een ViT-gebaseerde encoder met een convolutieve decoder) wordt geconditioneerd op leerbare bronbewuste tokens.
• Ontwarren: Tijdens end-to-end training absorberen deze tokens datasetspecifieke stijlen (bijv. kleurendistributie, scherpte), terwijl het kernnetwerk de universele principes van gezichtsdeling distilleert.
• Inferentie: Door het netwerk te conditioneren op tokens geassocieerd met de hoogwaardige gerenderde scan-dataset, produceert het model scherpe, fysisch correcte voorspellingen terwijl het het generalisatievermogen behoudt dat is geleerd van de real-world OLAT-gegevens.

2. Detailverbeteringsnetwerk
Omdat het ViT-gebaseerde architectuur geen skip-verbindingen heeft en fijne details kan verliezen, maken de auteurs gebruik van een secundair UNet-gebaseerd detailverbeteringsnetwerk. Dit netwerk neemt het originele beeld en de voorspelde diffuse albedo als invoer om fijne details te herstellen, specifiek getraind op de gerenderde dataset met stochastische degradaties om ruis te simuleren.

3. Prior-Grounded Reconstructiepijplijn
De delighting prior wordt geïntegreerd in een pijplijn voor gezichtsuitdrukkingen:

• Invoer: Een informele smartphone-videosequentie.
• Proces: OpenDelight schat de diffuse albedo voor elk gezichtspunt. Deze schone albedos worden samengevoegd tot een uniforme textuurkaart.
• Optimalisatie: In tegenstelling tot eerdere methoden die complexe, regio-specifieke inverse rendering vereisen om artefacten te verhelpen, vinden de auteurs dat hun textuurkaarten verwaarloosbare bak-artefacten bevatten. Bijgevolg wordt de optimalisatie vereenvoudigd tot het schatten van globale Sferische Harmonischen (SH) verlichting en het bemonsteren van een patch-niveau diffusie prior.
• Uitvoer: Hoge-resolutie (4K) herverlichtbare gezichtsmiddelen (basisnet, diffuus, speculair en normaal-kaarten).

Belangrijkste Bijdragen

• OpenDelight: Een krachtige, open-source delighting prior die leidende propriëtaire modellen (bijv. SwitchLight) overtreft in het verwijderen van complexe verlichting en schaduwen uit single-view in-the-wild gezichtbeelden.
• Dataset Latent Modulation (DLM): Een nieuwe trainingsmethode die effectieve gezamenlijke training op heterogene databronnen (synthetische scans en real OLAT-gegevens) mogelijk maakt door datasetspecifieke stijlen te ontwarren van kernfysische principes met behulp van bronbewuste tokens.
• NeRSemble-Scan Dataset: De auteurs hebben de bestaande multi-view NeRSemble-dataset omgezet in een grootschalige collectie van 4K-resolutie, herverlichtbare Light Stage scans met hun opnamemethode.
• Volledig Automatische Pijplijn: Een systeem dat de noodzaak voor handmatige artefactcorrectie of gespecialiseerde regio-gebaseerde inverse rendering elimineert, en hoogwaardige resultaten bereikt die vergelijkbaar zijn met methoden die menselijke ingrepen vereisen.

Resultaten

• Delighting-prestaties: Op de FaceOLAT- en 3DRFE-testsets bereikt OpenDelight superieure kwantitatieve metrieken (PSNR, SSIM, LPIPS) vergeleken met SwitchLight, IC-Light en DreamLight. Kwalitatieve resultaten tonen aanzienlijk schoner diffuse albedo met minder bak-artefacten, met name in harde schaduwgebieden.
• Ablatiestudies:
  • Training uitsluitend op FaceOLAT resulteert in vervagende, fysisch incorrecte albedos.
  • Training uitsluitend op gerenderde scans leidt tot domeinkloven (verkeerde huidtinten).
  • Het verwijderen van DLM zorgt ervoor dat het netwerk onvoorspelbaar schakelt tussen datasetverdelingen tijdens inferentie, wat leidt tot inconsistente gezichtspunten.
  • Het detailverbeteringsnetwerk is cruciaal voor het herstellen van fijne gezichtseigenschappen die door de ViT-encoder zijn verloren.
• Vastlegging van Uiterlijk: De methode produceert 4K herverlichtbare middelen die, wanneer opnieuw gerenderd onder nieuwe verlichting, nauw overeenkomen met realistisch vastgelegde beelden (gemiddelde LPIPS van 0,0576 tegenover realistische beelden). Het presteert beter dan modelgebaseerde methoden (FLARE, DeFace) en komt overeen met of overtreft de kwaliteit van de gelijktijdige WildCap-methode, ondanks dat het volledig automatisch is.

Betekenis en Claims

Het paper claimt dat het leren van een robuust delighting prior het probleem van gezichtsuitdrukkingen fundamenteel vereenvoudigt. Door accurate lichttransport te internaliseren in de prior, demonstreren de auteurs dat complexe, ingreep-gebaseerde inverse rendering-pijplijnen kunnen worden vervangen door een eenvoudigere, automatische optimalisatieproces.

De auteurs benadrukken de democratisering van high-end gezichtsvastlegging:

1. Reproduceerbaarheid: Door het open-sourcen van het model, de code en de NeRSemble-Scan-dataset, bieden ze de onderzoeksgemeenschap de middelen om voort te bouwen op hoogwaardige gezichtsvastlegging zonder afhankelijk te zijn van propriëtaire black boxes.
2. Kwaliteitskloofverkleining: Het systeem verkleint de kwaliteitskloof tussen onbeperkte smartphone-opnames en gecontroleerde studio-opnames aanzienlijk.
3. Fundament voor toekomstig onderzoek: De release van NeRSemble-Scan biedt een nieuw fundament voor het bouwen van fotorealistische digitale mensen en het bevorderen van onderzoek in portret-delighting en herverlichting.

De auteurs erkennen beperkingen, waaronder potentieel identiteitsverlies met betrekking tot gekleurde nevi (die kunnen worden verward met verlichting) en een bias naar lichtere huidtinten als gevolg van dataset-ongelijkheid, en wijzen deze aan als gebieden voor toekomstige verbetering.