Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

Sintesi Tecnica: Scolpire la Geometria NeRF: Fine-Tuning della Preferenza Umana di un GAN per Volti 3D-Aware

1. Definizione del Problema

Sebbene i modelli generativi 3D-aware (come EG3D) abbiano raggiunto una sintesi di immagini 2D fotorealistiche da collezioni di immagini 2D, essi falliscono frequentemente nel produrre una geometria 3D realistica. Nonostante gli output RGB di alta qualità, le forme 3D sottostanti presentano spesso discontinuità, irregolarità e artefatti irrealistici (ad esempio, solchi sul naso o sui lati del viso). Gli approcci esistenti per migliorare la qualità 3D si affidano tipicamente a rappresentazioni superficiali esplicite (mesh), richiedono il condizionamento tramite prompt testuali o dipendono da pipeline complesse di rendering multi-vista ed estrazione di mesh. Questi metodi spesso faticano con i "sink traps" (trappole di assorbimento) nello spazio latente dove i prompt di editing non alterano più la geometria, oppure richiedono valutazioni umane multidimensionali complesse. La sfida centrale affrontata è come perfezionare la geometria 3D di un GAN 3D-aware incondizionato direttamente dalle preferenze umane senza fare affidamento su prior esterni di mesh, condizionamento testuale o estrazione esplicita della superficie.

2. Metodologia

L'approccio proposto effettua il fine-tuning di un GAN per volti 3D-aware pre-addestrato (EG3D) utilizzando il Reinforcement Learning from Human Feedback (RLHF), ma con un'architettura distinta che opera direttamente sul campo di densità del Neural Radiance Field (NeRF).

A. Architettura del Modello di Ricompensa (Reward Model)
Invece di valutare immagini 2D renderizzate o token di mesh espliciti, il modello di ricompensa $r_\theta$ opera direttamente sul campo di densità ($\sigma$) continuo del NeRF.

• Input: Il modello estrae una "lastra del volto frontale" (frontal face slab) dal volume $\sigma$ del generatore (una regione ritagliata della griglia 3D contenente il volto). Questa lastra è normalizzata a un intervallo $[0, 100]$.
• Backbone: Un 3D U-Net con un backbone ResNet a Squeeze-and-Excitation (ResNet-SE-3D-UNet) elabora la lastra $\sigma$ per estrarre feature globali, che vengono poi mappate da un MLP a un punteggio di qualità scalare.
• Dati di Addestramento: Le preferenze vengono raccolte classificando batch di geometrie 3D (visualizzate tramite Marching Cubes) provenienti dal generatore. Il dataset consiste di 4.346 confronti a coppie ($x_w \succ x_l$) derivati da un singolo annotatore. Per garantire robustezza, ogni batch è aumentato con un campione "ancora" di alta qualità estratto dal centro dello spazio latente.
• Loss: Il modello di ricompensa è addestrato utilizzando una loss di preferenza a coppie (modificata da InstructGPT) per massimizzare il punteggio del campione preferito rispetto a quello meno preferito.

B. Procedura di Fine-Tuning
Il generatore viene perfezionato utilizzando un ciclo GAN modificato che incorpora il segnale di ricompensa appreso.

• Generator Loss ($L_G$): La standard GAN loss è aumentata da due termini:
  1. Reward Loss ($L_r$): Minimizzazione del negativo del punteggio di ricompensa per incoraggiare una maggiore qualità geometrica. Una funzione di clamp limita il gradiente della ricompensa per prevenire instabilità.
  2. Consistency Loss ($L_c$): Un vincolo di distanza $L_1$ tra il campo di densità del generatore perfezionato e quello del generatore pre-addestato originale. Ciò assicura che, mentre la geometria viene rimodellata, l'aspetto e l'identità 2D rimangano qualitativamente simili.
• Ottimizzazione: Il processo prevede 20.000 immagini (20kimg) di fine-tuning sul dataset FFHQ, utilizzando un aggiornamento del ciclo GAN modificato piuttosto che PPO (Proximal Policy Optimization) o score-distillation sampling.

3. Contributi Chiave

1. Apprendimento delle Preferenze Basato sulla Densità Diretta: Il lavoro dimostra che la qualità della forma 3D può essere appresa direttamente dalle classifiche umane di un piccolo numero di output del generatore operando sul campo di densità $\sigma$ implicito, eliminando la necessità di estrazione di mesh o prompt testuali.
2. Modello di Ricompensa Incondizionato: Viene sviluppato un modulo di punteggio di qualità che non richiede condizionamento da prompt linguistici o informazioni di colore. Opera esclusivamente sulla rappresentazione della densità 3D, evitando i problemi di "sink trap" associati ai reward condizionati dal testo.
3. Requisiti di Dati Efficienti: Il metodo ottiene miglioramenti geometrici robusti utilizzando un dataset modesto di 4.346 confronti a coppie da un singolo annotatore, significativamente più piccolo dei dataset richiesti dai contemporanei metodi di 3D RLHF (ad esempio, 16.000–25.000 coppie).
4. Miglioramento Geometrico Selettivo: L'approccio riesce a rimodellare la geometria 3D (levigando nasi e lati del viso) preservando l'identità e l'aspetto 2D, con solo un aumento limitato del FID (da 4.09 a 6.66).

4. Risultati

• Performance del Modello di Ricompensa: La rappresentazione del campo $\sigma$ supera significativamente le mappe di profondità (depth maps) e le nuvole di punti (point clouds) nella predizione delle preferenze umane. Sui campioni "hard" tenuti fuori dalla distribuzione (escludendo le ancore di alta qualità), il modello basato su $\sigma$ raggiunge una precisione del 91%, rispetto al 74% del miglior modello basato su depth map e ai livelli del caso per i modelli basati su point cloud.
• Studio Utente: In uno studio utente esterno che coinvolge 40 coppie di volti (prima e dopo il fine-tuning), gli utenti hanno preferito le geometrie perfezionate nel 74,4% dei confronti a coppie (Cohen's $h = 1.135$, che indica un effetto di grandi dimensioni).
• Trade-off tra Geometria e Aspetto:
  • FID: Lo score FID-50k è aumentato da 4.09 (pre-addestrato) a 6.66 (fine-tuned), indicando un costo distributivo misurabile ma limitato.
  • Preservazione dell'Identità: L'ispezione visiva e le metriche quantitative (LPIPS e similitudine del coseno del riconoscimento facciale) confermano che l'identità 2D e l'aspetto generale rimangono qualitativamente simili, con solo lievi differenze in illuminazione e ciocche di capelli.
  • Assenza di Mode Collapse: L'analisi rispetto alla media troncata (truncation-mean face) mostra che i campioni perfezionati rimangono geometricamente più vicini ai loro semi originali che alla faccia media (93–98% dei casi), escludendo un semplice collasso verso una forma media.
• Analisi di Attribuzione: Le analisi SHAP e Integrated Gradients rivelano che il modello di ricompensa basato su $\sigma$ presta attenzione a regioni semanticamente significative (naso, bocca, guance), mentre i modelli basati su depth-map e point-cloud tendono ad attendere ai bordi e ai confini del volto, portando a correzioni geometriche meno efficaci o distorte.

5. Significato e Rivendicazioni

Il lavoro sostiene che le preferenze umane possono essere utilizzate efficacemente per perfezionare rappresentazioni 3D implicite (campi di densità NeRF) senza la necessità di prior di mesh espliciti o condizionamento testuale. Disaccoppiando il segnale di ricompensa dai prompt testuali e operando direttamente sul volume di densità, il metodo evita i modi di fallimento dei sistemi condizionati da prompt e l'overhead computazionale dell'estrazione di mesh.

Gli autori posizionano questo lavoro come una prova di concetto che dimostra come le preferenze di un singolo annotatore, quando distillate in un modello di ricompensa che opera sul campo di densità interno del generatore, possano migliorare selettivamente la qualità della geometria 3D. Il metodo è presentato come un'alternativa data-efficient e compute-efficient rispetto agli esistenti pipeline di 3D RLHF, ottenendo miglioramenti geometrici significativi pur mantenendo la fedeltà qualitativa dell'aspetto 2D. Gli autori riconoscono i limiti, specificamente che il modello di ricompensa è attualmente legato all'architettura specifica del generatore (EG3D) e alla sua distribuzione $\sigma$, e non si trasferisce facilmente ad altri generatori 3D (ad esempio, PanoHead, SphereHead) senza riaddestramento, a causa delle differenze nei regimi numerici di densità.