Identity-Preserving Aging and De-Aging of Faces in the StyleGAN Latent Space

Resumo Técnico: Envelhecimento e Rejuvenescimento de Rostos Preservando a Identidade no Espaço Latente do StyleGAN

Definição do Problema
O envelhecimento e o rejuvenescimento facial usando IA generativa são críticos para aplicações em perícia, segurança e mídia. No entanto, os métodos de última geração geralmente dependem de GANs Condicionais, modelos de Difusão ou Modelos de Linguagem Visual que exigem procedimentos de treinamento complexos, conjuntos de dados rotulados extensos e condicionamento específico (por exemplo, rótulos de idade alvo ou prompts de texto). Essas abordagens frequentemente lutam com o controle e, crucialmente, falham em garantir a preservação da identidade. Os mecanismos de preservação de identidade existentes frequentemente dependem de um único modelo de reconhecimento facial incorporado na função de perda, o que introduz viés e limita a robustez do resultado em diferentes sistemas de reconhecimento. Além disso, navegar no espaço latente contínuo de GANs para encontrar uma "direção de idade" consistente sem degradar a identidade continua sendo um desafio significativo.

Metodologia
Os autores propõem uma estratégia de eficiência de dados que opera diretamente no espaço latente de um StyleGAN2 pré-treinado (especificamente o espaço $W$), evitando a necessidade de re-treinar geradores ou encoders. A metodologia consiste em três componentes principais:

1. Edição Latente Linear via Regressão de Vetores de Suporte (SVR):
   Em vez de treinar novas redes, os autores projetam imagens de rostos reais no espaço latente $W$ do StyleGAN2. Eles utilizam um Regressor de Vetores de Suporte Linear (SVR) para ajustar um hiperplano que mapeia vetores latentes ($\tilde{w}$) aos seus respectivos rótulos de idade ($y$). Ao projetar os parâmetros do SVR em um vetor latente, eles derivam um vetor unitário normalizado ($\hat{\lambda}$) que representa a direção global de "síntese de idade". O envelhecimento ou rejuvenescimento é alcançado movendo-se ao longo desta direção usando um passo escalar $s$:
   $$w_1 = w_0 + s\hat{\lambda}$$
   Para mapear o passo escalar $s$ para idades alvo específicas (anos), os autores ajustam curvas polinomiais à relação entre o passo escalar e a idade aparente estimada, permitindo o cálculo de deslocamentos escalares precisos ($\Delta s$) para qualquer transformação de idade desejada.

2. Seleção de Características para Preservação de Identidade:
   A abordagem de linha de base linear modifica todos os componentes latentes indiscriminadamente, o que pode degradar a identidade. Para mitigar isso, os autores introduzem um vetor de ponderação $\Phi$ que escala seletivamente os componentes da direção de idade:
   $$w_1 = w_0 + \Phi \odot s\hat{\lambda}$$
   O vetor $\Phi$ é computado usando estratégias de seleção de características baseadas em Análise de Componentes Principais (PCA) e Análise Discriminante Linear (LDA).

• PCA: Identifica componentes que explicam 95% da variância nos vetores latentes rotulados por identidade.
• LDA: Computa componentes discriminativos tanto para grupos de identidade quanto de idade. Os autores reconstroem os latentes projetados de volta ao espaço original e usam métricas de distância (Erro Quadrático Médio, distância de Wasserstein 1-D e Covariância) para determinar quais componentes são críticos para a identidade versus idade.
  O vetor de ponderação final combina componentes relevantes apenas para idade, apenas para identidade e aqueles compartilhados por ambos, controlados pelos hiperparâmetros $\alpha$ e $\beta$.

3. Validação Empírica e Geração de Conjunto de Dados:
   O método é avaliado utilizando dois sistemas de reconhecimento facial de última geração (IResNet50 e EdgeFace-S) e um estimador de idade (MobileNetV2). Os autores verificam a preservação da identidade medindo a distância de cosseno entre os rostos sintetizados e originais através de diferentes grupos de idade. Eles também geram um conjunto de dados totalmente sintético usando amostragem de Langevin para criar 20.000 identidades únicas, cada uma com 10 variações de idade, para servir como um benchmark para reconhecimento de idade cruzada e detecção de imagem sintética.

Principais Contribuições

1. Edição Latente Simplificada: Uma abordagem de linha de base para síntese de idade facial usando edição linear no espaço $W$ do StyleGAN2, eliminando a necessidade de redes de condicionamento e grandes conjuntos de dados rotulados.
2. Estratégias de Seleção de Características: A proposta e avaliação de mecanismos de seleção de características baseados em PCA e LDA que melhoram efetivamente a preservação da identidade enquanto sintetizam mudanças de idade aparente.
3. Análise de Preservação de Identidade: Um conjunto de experimentos e técnicas de visualização que identificam limiares onde a identidade começa a degradar durante a modificação da idade, fornecendo limites empíricos para uma edição segura.
4. Ferramental Prático: A liberação de direções de idade lineares, pesos de componentes, curvas ajustadas por grupo de idade e código para calcular os passos escalares necessários para idades alvo específicas.
5. Conjunto de Dados Sintético: A geração e liberação de um conjunto de dados público contendo 20.000 identidades sintéticas com 10 variações de idade cada, abordando preocupações de privacidade associadas a dados reais de idade cruzada.

Resultos

• Estimativa de Idade: A relação entre o passo escalar $s$ e a idade aparente é não linear, particularmente para indivíduos em grupos de idade extremos (muito jovens ou muito idosos). O ajuste polinomial modela com sucesso essa relação, permitindo o controle preciso da idade.
• Limites de Preservação de Identidade: A linha de base linear permite um ganho de idade significativo (envelhecendo crianças ou rejuvenescendo idosos), mas mostra assimetria; é menos eficaz ao rejuvenescer crianças ou envelhecer idosos. A escolha do sistema de reconhecimento facial impacta significamente os limites observados (por exemplo, o EdgeFace-S demonstra uma faixa de idade válida mais ampla que o IResNet50).
• Eficácia da Seleção de Características: Todos os métodos de seleção de características superam a linha de base linear. Especificamente, o LDA usando Covariância e o PCA mostraram a maior melhoria. O LDA com Covariância teve um desempenho ligeiramente superior para crianças, enquanto o PCA foi mais robusto para idosos. Esses métodos permitem transformações de idade maiores mantendo uma taxa de verificação facial de 75%.
• Comparação: O método proposto supera qualitativa e quantitativamente a abordagem SAM (Style-based Age Manipulation), particularmente em lacunas de idade maiores.

Significância
O artigo demonstra que edições de idade preservando a identidade no StyleGAN2 podem ser alcançadas sem o re-treinamento de geradores, baseando-se, em vez disso, em uma simples direção latente baseada em SVR e seleção estratégica de características. Ao estabelecer mapeamentos práticos de escalar-para-idade e identificar os limites da preservação da identidade, o trabalho fornece uma alternativa mais controlável e eficiente de dados do que modelos condicionais complexos. A liberação de um conjunto de dados totalmente sintético e de um ferramental visa facilitar o benchmarking para reconhecimento facial de idade cruzada, sistemas de garantia de idade e detecção de imagem sintética, abordando simultaneamente os problemas de privacidade e viés inerentes ao uso de dados reais de idade cruzada.