Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

Technische Samenvatting: Sculpting NeRF Geometry: Human-Preference Fine-Tuning van een 3D-Aware Face GAN

1. Probleemstelling

Hoewel 3D-bewuste generatieve modellen (zoals EG3D) fotorealistische 2D-beeldsynthese hebben bereikt vanuit 2D-beeldcollecties, falen ze vaak in het produceren van realistische 3D-geometrie. Ondanks hoogwaardige RGB-outputs vertonen de onderliggende 3D-vormen vaak onrealistische discontinuïteiten, onregelmatigheden en artefacten (bijv. groeven op de neus of de zijkanten van het gezicht). Bestaande benaderingen om de 3D-kwaliteit te verbeteren, vertrouwen doorgaans op expliciete oppervlakte-representaties (meshes), vereisen tekst-prompt conditionering, of zijn afhankelijk van grootschalige multi-view rendering en mesh-extractie pipelines. Deze methoden worstelen vaak met "sink traps" in de latente ruimte waarbij bewerkingsprompts de geometrie niet langer veranderen, of ze vereisen complexe, multidimensionale menselijke beoordelingen. De kernuitdaging die wordt aangepakt, is hoe men de 3D-geometrie van een onvoorwaardelijke 3D-bewuste GAN direct kan fine-tunen op basis van menselijke voorkeuren, zonder te vertroun op externe mesh-priors, tekstconditionering of expliciete oppervlakte-extractie.

2. Methodologie

De voorgestelde aanpak fine-tunt een vooraf getrainde 3D-bewuste face GAN (EG3D) met behulp van Reinforcement Learning from Human Feedback (RLHF), maar met een onderscheidende architectuur die direct opereert op het Neural Radiance Field (NeRF) dichtheidsveld.

A. Reward Model Architectuur
In plaats van gerenderde 2D-beelden of expliciete mesh-tokens te scoren, opereert het beloningsmodel $r_\theta$ direct op het continue 3D-dichtheidsveld ($\sigma$) van de NeRF.

• Input: Het model extraheert een "frontaal gezichtsslab" uit het $\sigma$-volume van de generator (een uitgesneden regio van de 3D-grid die het gezicht bevat). Deze slab wordt genormaliseerd naar een bereik van $[0, 100]$.
• Backbone: Een 3D U-Net met een Squeeze-and-Excitation ResNet-backbone (ResNet-SE-3D-UNet) verwerkt de $\sigma$-slab om globale kenmerken te extraheren, die vervolgens door een MLP worden gemapt naar een scalaire kwaliteitsscore.
• Trainingsdata: Voorkeuren worden verzameld door batches 3D-geometrieën (gevisualiseerd via Marching Cubes) van de generator te rangschikken. De dataset bestaat uit 4.346 paarvergelijkingen ($x_w \succ x_l$) afgeleid van één enkele annotator. Om robuustheid te garanderen, wordt elke batch geaugmenteerd met een hoogwaardige "anchor" sample getrokken uit het centrum van de latente ruimte.
• Loss: Het beloningsmodel wordt getraind met een pairwise preference loss (gemodificeerd van InstructGPT) om de score van de geprefereerde sample te maximaliseren ten opzichte van de minder geprefereerde sample.

B. Fine-Tuning Procedure
De generator wordt gefine-tuned met behulp van een aangepaste GAN-loop die het geleerde beloningssignaal incorporeert.

• Generator Loss ($L_G$): De standaard GAN-loss wordt uitgebreid met twee termen:
  1. Reward Loss ($L_r$): Het minimaliseren van de negatieve beloningsscore om een hogere geometrie-kwaliteit te stimuleren. Een clamp-functie beperkt de beloningsgradiënt om instabiliteit te voorkomen.
  2. Consistency Loss ($L_c$): Een $L_1$-afstandsomstandigheid tussen het dichtheidsveld van de gefine-tuned generator en de oorspronkelijke vooraf getrainde generator. Dit zorgt ervoor dat terwijl de geometrie wordt hervormd, de 2D-verschijning en identiteit kwalitatief vergelijkbaar blijven.
• Optimalisatie: Het proces omvat 20.000 afbeeldingen (20kimg) van fine-tuning op de FFHQ-dataset, gebruikmakend van een aangepaste GAN-loop update in plaats van Proximal Policy Optimization (PPO) of score-distillation sampling.

3. Belangrijkste Bijdragen

1. Directe Dichtheid-gebaseerde Voorkeursleer: Het paper demonstreert dat 3D-vormkwaliteit direct kan worden geleerd van menselijke rangschikkingen van een klein aantal generator-outputs door te opereren op het impliciete $\sigma$-dichtheidsveld, waardoor de noodzaak voor mesh-extractie of tekstprompts vervalt.
2. Onvoorwaardelijk Beloningsmodel: Een kwaliteit-score module is ontwikkeld die geen taal-prompt conditionering of kleurinformatie vereist. Het opereert uitsluitend op de 3D-densiteitsrepresentatie, waardoor de "sink trap"-problemen van tekst-geconditioneerde beloningen worden vermeden.
3. Efficiënte Data-eisen: De methode bereikt robuuste geometrische verbeteringen met een bescheiden dataset van 4.346 paarvergelijkingen van één enkele annotator, wat aanzienlijk kleiner is dan de datasets die vereist zijn voor hedendaagse 3D RLHF-methoden (bijv. 16.000–25.000 paren).
4. Selectieve Geometrische Verbetering: De aanpak slaagt erin de 3D-geometrie te hervormen (het gladstrijken van neuzen en gezichtszijden) terwijl de 2D-identiteit en verschijning behouden blijven, met slechts een beperkte toename in FID (van 4.09 naar 6.66).

4. Resultaten

• Prestaties van het Beloningsmodel: De $\sigma$-veld representatie presteert significant beter dan dieptekaarten en puntenwolken bij het voorspellen van menselijke voorkeuren. Op "harde" binnen-distributie paren (exclusief hoogwaardige anchors) bereikt het $\sigma$-gebaseerde model een nauwkeurigheid van 91%, vergeleken met 74% voor het beste dieptekaart-model en kansniveau voor puntenwolk-modellen.
• Gebruikersstudie: In een externe gebruikersstudie met 40 gezichtsparen (vóór en na fine-tuning) gaven gebruikers in 74,4% van de gevallen de voorkeur aan de gefine-tuned geometrieën (Cohen's $h = 1.135$, wat wijst op een groot effect).
• Geometrische vs. Verschijnings-trade-off:
  • FID: De FID-50k score steeg van 4.09 (vooraf getraind) naar 6.66 (gefine-tuned), wat duidt op een meetbare maar beperkte distributionele kosten.
  • Identiteitsbehoud: Visuele inspectie en kwantitatieve metrieken (LPIPS en face-recognition cosine similarity) bevestigen dat de 2D-identiteit en algemene verschijning kwalitatief vergelijkbaar blijven, met slechts kleine verschillen in belichting en haarstrengen.
  • Geen Mode Collapse: Analyse tegen de truncation-mean face laat zien dat de gefine-tuned samples geometrisch dichter bij hun oorspronkelijke seeds blijven dan bij de gemiddelde face (93–98% van de gevallen), wat een eenvoudige collapse naar een gemiddelde vorm uitsluit.
• Attributie-analyse: SHAP en Integrated Gradients analyses onthullen dat het $\sigma$-gebaseerde beloningsmodel aandacht besteedt aan semantisch betekenisvolle regio's (neus, mond, wangen), terwijl dieptekaart- en puntenwolk-modellen de neiging hebben om naar gezichtsranden en grenzen te kijken, wat leidt tot minder effectieve of verstoorde geometrische correcties.

5. Betekenis en Claims

Het paper claimt dat menselijke voorkeuren effectief kunnen worden gebruikt om impliciete 3D-representaties (NeRF-dichtheidsvelden) te fine-tunen zonder de noodzaak van expliciete mesh-priors of tekstconditionering. Door het beloningssignaal te ontkoppelen van tekstprompts en direct op het dichtheidsvolume te opereren, vermijdt de methode de faalmodi van prompt-geconditioneerde systemen en de computationele overhead van mesh-extractie.

De auteurs positioneren dit werk als een proof-of-concept dat aantoont dat de voorkeuren van een enkele annotator, wanneer deze gedestilleerd worden in een beloningsmodel dat opereert op het interne dichtheidsveld van de generator, de 3D-geometrie selectief kan verbeteren. De methode wordt gepresenteerd als een data- en rekenefficiënt alternatief voor bestaande 3D RLHF-pipelines, waarbij significante geometrische verbeteringen worden bereikt terwijl de kwalitatieve getrouwheid van de 2D-verschijning behouden blijft. De auteurs erkennen beperkingen, specifiek dat het beloningsmodel momenteel gebonden is aan de specifieke generatorarchitectuur (EG3D) en de $\sigma$-distributie daarvan, en niet gemakkelijk overdraagbaar is naar andere 3D-generatoren (bijv. PanoHead, SphereHead) zonder hertraining, vanwege verschillen in numerieke dichtheidsregimes.