Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

Resumo Técnico: Esculpindo a Geometria de NeRF: Ajuste Fino de um GAN Facial Baseado em Preferência Humana

1. Definição do Problema

Embora modelos generativos com consciência 3D (como o EG3D) tenham alcançado uma síntese de imagens 2D fotorrealistas a partir de coleções de imagens 2D, eles frequentemente falham em produzir uma geometria 3D realista. Apesar dos outputs RGB de alta qualidade, as formas 3D subjacentes frequentemente exibem descontinuidades, irregularidades e artefatos não realistas (ex: sulcos no nariz ou nas laterais do rosto). Abordagens existentes para melhorar a qualidade 3D geralmente dependem de representações de superfície explícitas (malhas/meshes), requerem condicionamento por prompts de texto ou dependem de pipelines complexos de renderização multivista e extração de malha. Esses métodos costem lutar contra "armadilhas de sumidouro" (sink traps) no espaço latente, onde edições de prompts deixam de alterar a geometria, ou exigem avaliações humanas multidimensionais complexas. O desafio central abordado é como realizar o ajuste fino da geometria 3D de um GAN com consciência 3D incondicional diretamente a partir de preferências humanas, sem depender de priors de malha externos, condicionamento de texto ou extração de superfície explícita.

2. Metodologia

A abordagem proposta realiza o ajuste fino de um GAN facial pré-treinado com consciência 3D (EG3D) utilizando Aprendizado por Reforço com Feedback Humano (RLHF), mas com uma arquitetura distinta que opera diretamente no campo de densidade do Neural Radiance Field (NeRF).

A. Arquitetura do Modelo de Recompensa
Em vez de pontuar imagens 2D renderizadas ou tokens de malha explícitos, o modelo de recompensa $r_\theta$ opera diretamente no campo de densidade ($\sigma$) 3D contínuo do NeRF.

• Input: O modelo extrai uma "placa de face frontal" (frontal face slab) do volume $\sigma$ do gerador (uma região recortada do grid 3D contendo o rosto). Esta placa é normalizada para um intervalo de $[0, 100]$.
• Backbone: Um U-Net 3D com um backbone ResNet de Squeeze-and-Excitation (ResNet-SE-3D-UNet) processa a placa $\sigma$ para extrair características globais, que são então mapeadas por um MLP para um score escalar de qualidade.
• Dados de Treinamento: As preferências são coletadas classificando lotes de geometrias 3D (visualizadas via Marching Cubes) provenientes do gerador. O conjunto de dados consiste de 4.346 comparações pareadas ($x_w \succ x_l$) derivadas de um único anotador. Para garantir a robustez, cada lote é aumentado com uma amostra "âncora" de alta qualidade retirada do centro do espaço latente.
• Perda (Loss): O modelo de recompensa é treinado usando uma perda de preferência pareada (modificada do InstructGPT) para maximizar o score da amostra preferida sobre a não preferida.

B. Procedimento de Ajuste Fino (Fine-Tuning)
O gerador é ajustado finamente usando um loop GAN modificado que incorpora o sinal de recompensa aprendido.

• Perda do Gerador ($L_G$): A perda padrão do GAN é aumentada com dois termos:
  1. Perda de Recompensa ($L_r$): Minimizando o negativo do score de recompensa para incentivar uma maior qualidade geométrica. Uma função de clamp limita o gradiente da recompensa para evitar instabilidade.
  2. Perda de Consistência ($L_c$): Uma restrição de distância $L_1$ entre o campo de densidade do gerador ajustado e o gerador pré-treinado original. Isso garante que, embora a geometria seja remodelada, a aparência e a identidade 2D permaneçam qualitativamente semelhantes.
• Otimização: O processo envolve 20.000 imagens (20kimg) de ajuste fino no dataset FFHQ, utilizando um loop de atualização de GAN modificado em vez de Proximal Policy Optimization (PPO) ou score-distillation sampling.

3. Principais Contribuições

1. Aprendizado de Preferência Baseado em Densidade Direta: O artigo demonstra que a qualidade da forma 3D pode ser aprendida diretamente de rankings humanos de um pequeno número de outputs do gerador ao operar no campo de densidade $\sigma$ implícito, eliminando a necessidade de extração de malha ou prompts de texto.
2. Modelo de Recompensa Incondicional: Um módulo de pontuação de qualidade é desenvolvido sem a necessidade de condicionamento por prompt de linguagem ou informação de cor. Ele opera exclusivamente na representação de densidade 3D, evitando os problemas de "sink trap" associados a recompensas condicionadas por texto.
3. Requisitos de Dados Eficientes: O método alcança melhorias geométricas robustas utilizando um conjunto modesto de 4.346 comparações pareadas de um único anotador, significativamente menor que os datasets exigidos pelos métodos contemporâneos de RLHF 3D (ex: 16.000–25.000 pares).
4. Melhoria Geométrica Seletiva: A abordagem consegue remodelar a geometria 3D (suavizando narizes e laterais do rosto) enquanto preserva a identidade e a aparência 2D, com apenas um aumento limitado no FID (de 4.09 para 6.66).

4. Resultados

• Desempenho do Modelo de Recompensa: A representação do campo $\sigma$ supera significativamente mapas de profundidade (depth maps) e nuvens de pontos (point clouds) na predição de preferências humanas. Em pares "difíceis" dentro da distribuição (excluindo âncoras de alta qualidade), o modelo baseado em $\sigma$ atinge 91% de precisão, comparado a 74% para o melhor modelo de mapa de profundidade e níveis de acaso para modelos de nuvem de pontos.
• Estudo de Usuário: Em um estudo de usuário externo envolvendo 40 pares de faces (antes e depois do ajuste fino), os usuários preferiram as geometrias ajustadas em 74,4% das comparações pareadas (Cohen's $h = 1.135$, indicando um grande tamanho de efeito).
• Troca (Trade-off) entre Geometria e Aparência:
  • FID: O score FID-50k aumentou de 4.09 (pré-treinado) para 6.66 (ajustado), indicando um custo distributivo mensurável, porém limitado.
  • Preservação de Identidade: Inspeção visual e métricas quantitativas (LPIPS e similaridade de cosseno de reconhecimento facial) confirmam que a identidade 2D e a aparência geral permanecem qualitativamente similares, com apenas diferenças menores em iluminação e fios de cabelo.
  • Ausência de Colapso de Modo (Mode Collapse): A análise contra a face de média de truncamento (truncation-mean face) mostra que as amostras ajustadas permanecem geometricamente mais próximas de suas sementes originais do que da face média (93–98% dos casos), descartando um simples colapso para uma forma média.
• Análise de Atribuição: Análises de SHAP e Gradientes Integrados revelam que o modelo de recompensa baseado em $\sigma$ atenta-se a regiões semanticamente significativas (nariz, boca, bochechas), enquanto modelos de mapa de profundidade e nuvem de pontos tendem a atentar-se às bordas e limites do rosto, levando a correções geométricas menos eficazes ou distorcidas.

5. Significância e Alegações

O artigo afirma que as preferências humanas podem ser efetivamente utilizadas para ajustar finamente representações 3D implícitas (campos de densidade NeRF) sem a necessidade de priors de malha explícitos ou condicionamento de texto. Ao desacoplar o sinal de recompensa dos prompts de texto e operar diretamente no volume de densidade, o método evita os modos de falha de sistemas condicionados por prompts e o overhead computacional da extração de malha.

Os autores posicionam este trabalho como uma prova de conceito demonstrando que a preferência de um único anotador, quando destilada em um modelo de recompensa operando no campo de densidade interno do gerador, pode melhorar seletivamente a qualidade da geometria 3D. O método é apresentado como uma alternativa eficiente em termos de dados e computação aos pipelines atuais de RLHF 3D, alcançando melhorias geométricas significativas enquanto mantém a fidelidade qualitativa da aparência 2D. Os autores reconhecem limitações, especificamente que o modelo de recompensa está atualmente vinculado à arquitetura específica do gerador (EG3D) e sua distribuição $\sigma$, e não se transfere limpo para outros geradores 3D (ex: PanoHead, SphereHead) sem retreinamento, devido às diferenças nos regimes numéricos de densidade.