Identity-Preserving Aging and De-Aging of Faces in the StyleGAN Latent Space

Resumen Técnico: Envejecimiento y Rejuvenecimiento de Rostros Preservando la Identidad en el Espacio Latente de StyleGAN

Planteamiento del Problema
El envejecimiento y rejuvenecimiento facial mediante IA generativa es crítico para aplicaciones en forense, seguridad y medios de comunicación. Sin embargo, los métodos de vanguardia suelen depender de GANs condicionales, modelos de Difusión o Modelos de Lenguaje Visual que requieren procedimientos de entrenamiento complejos, extensos conjuntos de datos etiquetados y un condicionamiento específico (por ejemplo, etiquetas de edad objetivo o prompts de texto). Estos enfoques suelen tener dificultades con la controlabilidad y, crucialmente, no logran garantizar la preservación de la identidad. Los mecanismos de preservación de identidad existentes dependen frecuentemente de un único modelo de reconocimiento facial embebido en la función de pérdida, lo que introduce sesgos y limita la robustez del resultado a través de diferentes sistemas de reconocimiento. Además, navegar por el espacio latente continuo de las GAN para encontrar una "dirección de edad" consistente sin degradar la identidad sigue siendo un desafío significativo.

Metodología
Los autores proponen una estrategia eficiente en datos que opera directamente dentro del espacio latente de una StyleGAN2 preentrenada (específicamente el espacio $W$), evitando la necesidad de reentrenar generadores o codificadores. La metodología consta de tres componentes principales:

1. Edición Latente Lineal mediante Regresión de Vectores de Soporte (SVR):
   En lugar de entrenar nuevas redes, los autores proyectan imágenes faciales reales en el espacio latente $W$ de StyleGAN2. Emplean un Regresor de Vectores de Soporte Lineal (SVR) para ajustar un hiperplano que mapea los vectores latentes ($\tilde{w}$) con sus correspondientes etiquetas de edad ($y$). Al proyectar los parámetros del SVR sobre un vector latente, derivan un vector unitario normalizado ($\hat{\lambda}$) que representa la "dirección de síntesis de edad" global. El envejecimiento o rejuvenecimiento se logra moviéndose a lo largo de esta dirección utilizando un paso escalar $s$:
   $$w_1 = w_0 + s\hat{\lambda}$$
   Para mapear el paso escalar $s$ a edades específicas (años), los autores ajustan curvas polinómicas a la relación entre el paso escalar y la edad aparente estimada, permitiendo el cálculo de desplazos escalares precisos ($\Delta s$) para cualquier transformación de edad deseada.

2. Selección de Características para la Preservación de la Identidad:
   El enfoque base lineal modifica todos los componentes latentes indiscriminadamente, lo que puede degradar la identidad. Para mitigar esto, los autores introducen un vector de ponderación $\Phi$ que escala selectivamente los componentes de la dirección de edad:
   $$w_1 = w_0 + \Phi \odot s\hat{\lambda}$$
   El vector $\Phi$ se calcula utilizando estrategias de selección de características basadas en Análisis de Componentes Principales (PCA) y Análisis Discriminante Lineal (LDA).

• PCA: Identifica los componentes que explican el 95% de la varianza en los vectores latentes etiquetados por identidad.
• LDA: Calcula los componentes discriminantes tanto para grupos de identidad como de edad. Los autores reconstruyen los latentes proyectados de vuelta al espacio original y utilizan métricas de distancia (Error Cuadrático Medio, distancia de Wasserstein 1-D y Covarianza) para determinar qué componentes son críticos para la identidad frente a la edad.
  El vector de ponderación final combina componentes relevantes solo para la edad, solo para la identidad y aquellos compartidos por ambos, controlados por los hiperparámetros $\alpha$ y $\beta$.

3. Validación Empírica y Generación de Conjunto de Datos:
   El método se evalúa utilizando dos sistemas de reconocimiento facial de vanguardia (IResNet50 y EdgeFace-S) y un estimador de edad (MobileNetV2). Los autores verifican la preservación de la identidad midiendo la distancia de coseno entre los rostros sintetizados y los originales a través de diferentes grupos de edad. También generan un conjunto de datos totalmente sintético utilizando muestreo de Langevin para crear 20,000 identidades únicas, cada una con 10 variaciones de edad, para servir como punto de referencia para el reconocimiento trans-edad y la detección de imágenes sintéticas.

Contribuciones Clave

1. Edición Latente Simplificada: Un enfoque base para la síntesis de edad facial mediante edición lineal dentro del espacio $W$ de StyleGAN, eliminando la necesidad de redes de condicionamiento y grandes conjuntos de datos etiquetados.
2. Estrategias de Selección de Características: La propuesta y evaluación de mecanismos de selección de características basados en PCA y LDA que mejoran efectivamente la preservación de la identidad mientras se sintetizan cambios de edad aparente.
3. Análisis de Preservación de Identidad: Un conjunto de experimentos y técnicas de visualización que identifican los umbrales donde la identidad comienza a degradarse durante la modificación de la edad, proporcionando límites empíricos para una edición segura.
4. Herramienta Práctica: El lanzamiento de direcciones de edad lineales, pesos de componentes, curvas ajustadas por grupo de edad y código para calcular los pasos escalares necesarios para edades específicas.
5. Conjunto de Datos Sintético: La generación y liberación de un conjunto de datos público que contiene 20,000 identidades sintéticas con 10 variaciones de edad cada una, abordando las preocupaciones de privacidad asociadas con los datos reales trans-edad.

Result Resultados

• Estimación de Edad: La relación entre el paso escalar $s$ y la edad aparente es no lineal, particularmente para sujetos en grupos de edad extremos (muy jóvenes o muy mayores). El ajuste polinómico modela con éxito esta relación, permitiendo un control preciso de la edad.
• Límites de Preservación de Identidad: El enfoque lineal base permite un aumento de edad significativo (envejecer niños o rejuvenecer personas mayores) pero muestra asimetría; es menos efectivo para rejuvenecer niños o envejecer personas mayores. La elección del sistema de reconocimiento facial impacta significativamente los límites observados (por ejemplo, EdgeFace-S demuestra un rango de edad válido más amplio que IResNet50).
• Eficacia de la Selección de Características: Todos los métodos de selección de características superan al enfoque lineal base. Específicamente, LDA usando Covarianza y PCA mostraron la mayor mejora. LDA con Covarianza funcionó ligeramente mejor para niños, mientras que PCA fue más robusto para personas mayores. Estos métodos permiten transformaciones de edad más grandes manteniendo una tasa de verificación facial del 75%.
• Comparación: El método propuesto supera cualitativa y cuantitativamente al enfoque SAM (Manipulación de Edad Basada en Estilo), particularmente en brechas de edad más grandes.

Significancia
El artículo demuestra que las ediciones de edad preservando la identidad en StyleGAN2 pueden lograrse sin reentrenar generadores, basándose en su lugar en una dirección latente basada en SVR y una selección estratégica de características. Al establecer mapeos prácticos de escalar-a-edad e identificar los límites de la preservación de la identidad, este trabajo proporciona una alternativa más controlable y eficiente en datos que los modelos condicionales complejos. La liberación de un conjunto de datos totalmente sintético y un conjunto de herramientas tiene como objetivo facilitar el benchmarking para el reconocimiento facial trans-edad, sistemas de verificación de edad y detección de imágenes sintéticas, abordando al mismo tiempo los problemas de privacidad y sesgo inherentes al uso de datos trans-edad del mundo real.