Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

Resumen Técnico: Esculpiendo la Geometría de NeRF: Ajuste Fino Basado en Preferencias Humanas de un GAN Facial con Conciencia 3D

1. Planteamiento del Problema

Aunque los modelos generativos con conciencia 3D (como EG3D) han logrado una síntesis de imágenes 2D fotorrealistas a partir de colecciones de imágenes 2D, frecuentemente fallan al producir una geometría 3D realista. A pesar de las salidas RGB de alta calidad, las formas 3D subyacentes suelen presentar discontinuidades, irregularidades y artefactos poco realistas (por ejemplo, surcos en la nariz o en los laterales de la cara). Los enfoques existentes para mejorar la calidad 3D dependen típicamente de representaciones de superficie explícitas (mallas), requieren condicionamiento mediante prompts de texto, o dependen de pipelines de extracción de mallas y renderizado multivista a gran escala. Estos métodos suelen tener dificultades con las "trampas de sumidero" (sink traps) en el espacio latente donde los prompts de edición ya no alteran la geometría, o requieren calificaciones humanas multidimensionales complejas. El desafío central abordado es cómo realizar el ajuste fino de la geometría 3D de un GAN con conciencia 3D incondicional directamente a partir de las preferencias humanas sin depender de priors de malla externos, condicionamiento de texto o extracción de superficie explícita.

2. Metodología

El enfoque propuesto realiza el ajuste fino de un GAN facial con conciencia 3D preentrenado (EG3D) utilizando Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), pero con una arquitectura distinta que opera directamente sobre el campo de densidad de la Red de Radiación Neuronal (NeRF).

A. Arquitectura del Modelo de Recompensa
En lugar de calificar imágenes 2D renderizadas o tokens de malla explícitos, el modelo de recompensa $r_\theta$ opera directamente sobre el campo de densidad ($\sigma$) 3D continuo de la NeRF.

• Entrada: El modelo extrae una "losa de frente facial" (frontal face slab) del volumen $\sigma$ del generador (una región recortada de la rejilla 3D que contiene la cara). Esta losa se normaliza a un rango de $[0, 100]$.
• Backbone: Una U-Net 3D con un backbone ResNet de Squeeze-and-Excitation (ResNet-SE-3D-UNet) procesa la losa $\sigma$ para extraer características globales, que luego son mapeadas por un MLP a una puntuación escalar de calidad.
• Datos de Entrenamiento: Las preferencias se recolectan clasificando lotes de geometrías 3D (visualizadas mediante Marching Cubes) provenientes del generador. El conjunto de datos consiste en 4,346 comparaciones por pares ($x_w \succ x_l$) derivadas de un único anotador. Para asegurar la robustez, cada lote es aumentado con una muestra "ancla" de alta calidad tomada del centro del espacio latente.
• Pérdida: El modelo de recompensa se entrena utilizando una pérdida de preferencia por pares (modificada de InstructGPT) para maximizar la puntuación de la muestra preferida sobre la no preferida.

B. Procedimiento de Ajuste Fino
El generador se ajusta mediante un bucle de GAN modificado que incorpora la señal de recompensa aprendida.

• Pérdida del Generador ($L_G$): La pérdida estándar de GAN se aumenta con dos términos:
  1. Pérdida de Recompensa ($L_r$): Minimizar el negativo de la puntuación de recompensa para fomentar una mayor calidad geométrica. Una función de recorte (clamp) limita el gradiente de recompensa para evitar la inestabilidad.
  2. Pérdida de Consistencia ($L_c$): Una restricción de distancia $L_1$ entre el campo de densidad del generador ajustado y el generador preentrenado original. Esto asegura que, mientras la geometría se reforma, la apariencia y la identidad 2D permanezcan cualitativamente similares.
• Optimización: El proceso implica 20,000 imágenes (20kimg) de ajuste fino en el dataset FFHQ, utilizando un bucle de actualización de GAN modificado en lugar de Optimización de Política Próxima (PPO) o muestreo de destilación de puntuación (score-distillation sampling).

3. Contribuciones Clave

1. Aprendizaje de Preferencias Basado Directamente en la Densidad: El artículo demuestra que la calidad de la forma 3D puede aprenderse directamente de las clasificaciones humanas de un número reducido de salidas del generador al operar sobre el campo de densidad $\sigma$ implícito, eliminando la necesidad de extracción de mallas o prompts de texto.
2. Modelo de Recompensa Incondicional: Se desarrolla un módulo de calificación de calidad que no requiere condicionamiento por prompts de lenguaje ni información de color. Opera únicamente con la representación de densidad 3D, evitando los problemas de "trampa de sumiente" asociados con las recompensas condicionadas por texto.
3. Requisitos de Datos Eficientes: El método logra mejoras geométricas robustas utilizando un conjunto modesto de 4,346 comparaciones por pares de un único anotador, significativamente menor que los conjuntos de datos requeridos por los métodos contemporáneos de RLHF 3D (por ejemplo, 16,000–25,000 pares).
4. Mejora Geométrica Selectiva: El enfoque logra reformar con éxito la geometría 3D (suavizando narices y laterales de la cara) mientras preserva la identidad y apariencia 2D, con un aumento limitado en el FID (de 4.09 a 6.66).

4. Resultados

• Rendimiento del Modelo de Recompensa: La representación del campo $\sigma$ supera significativamente a los mapas de profundidad y nubes de puntos en la predicción de las preferencias humanas. En pares "difíciles" dentro de la distribución (excluyendo anclas de alta calidad), el modelo basado en $\sigma$ alcanza una precisión del 91%, comparado con el 74% del mejor modelo de mapa de profundidad y niveles de azar para los modelos de nube de puntos.
• Estudio de Usuario: Un estudio de usuario externo que involucra 40 pares faciales (antes y después del ajuste fino) muestra que los usuarios prefirieron las geometrías ajustadas en un 74.4% de las comparaciones por pares (Cohen's $h = 1.135$, indicando un gran tamaño del efecto).
• Compromiso entre Geometría y Apariencia:
  • FID: El puntaje FID-50k aumentó de 4.09 (preentrenado) a 6.66 (ajustado), lo que indica un costo distributivo medible pero acotado.
  • Preservación de Identidad: La inspección visual y las métricas cuantitativas (LPIPS y similitud de coseno de reconocimiento facial) confirman que la identidad 2D y la apariencia general permanecen cualitativamente similares, con solo diferencias menores en iluminación y mechones de cabello.
  • Sin Colapso de Modo: El análisis contra la cara de la media de truncamiento muestra que las muestras ajustadas siguen estando geométricamente más cerca de sus semillas originales que de la cara media (93–98% de los casos), descartando un simple colapso hacia una forma media.
• Análisis de Atribución: Los análisis de SHAP y Gradientes Integrados revelan que el modelo de recompensa basado en $\sigma$ presta atención a regiones semánticamente significativas (nariz, boca, mejillas), mientras que los modelos de mapa de profundidad y nube de puntos tienden a atender a los bordes y límites de la cara, lo que conduce a correcciones geométricas menos efectivas o distorsionadas.

5. Significado y Reivindicaciones

El artículo sostiene que las preferencias humanas pueden utilizarse eficazmente para realizar el ajuste fino de representaciones 3D implícitas (campos de densidad NeRF) sin necesidad de priors de malla explícitos o condicionamiento de texto. Al desacoplar la señal de recompensa de los prompts de texto y operar directamente sobre el volumen de densidad, el método evita los modos de fallo de los sistemas condicionados por texto y la sobrecarga computacional de la extracción de mallas.

Los autores posicionan este trabajo como una prueba de concepto que demuestra que las preferencias de un solo anotador, cuando se destilan en un modelo de recompensa que opera sobre el campo de densidad interno del generador, pueden mejorar selectivamente la calidad de la geometría 3D. El método se presenta como una alternativa eficiente en términos de datos y cómputo frente a los pipelines de RLHF 3D actuales, logrando mejoras geométricas significativas manteniendo la fidelidad cualitativa de la apariencia 2D. Los autores reconocen limitaciones, específicamente que el modelo de recompensa está actualmente vinculado a la arquitectura específica del generador (EG3D) y su distribución $\sigma$, y no se transfiere limpiamente a otros generadores 3D (por ejemplo, PanoHead, SphereHead) sin reentrenamiento, debido a las diferencias en los regímenes numéricos de densidad.