Identity-Preserving Aging and De-Aging of Faces in the StyleGAN Latent Space

Technische Samenvatting: Identiteitsbehoudend Verouderen en Verjongen van Gezichten in de StyleGAN Latente Ruimte

Probleemstelling
Het verouderen en verjongen van gezichten met behulp van generatieve AI is cruciaal voor toepassingen in forensisch onderzoek, beveiliging en media. De huidige state-of-the-art methoden vertrouwen echter meestal op Conditional GANs, Diffusiemodellen of Visual Language Models die complexe trainingsprocedures, uitgebreide gelabelde datasets en specifieke conditionering (bijv. doelleeftijd-labels of tekstprompts) vereisen. Deze benaderingen hebben vaak moeite met controleerbaarheid en falen bovendien er vaak in om identiteitsbehoud te garanderen. Bestaande mechanismen voor identiteitsbehoud zijn frequent afhankelijk van een enkel gezichtsherkenningsmodel dat in de verliesfunctie is ingebed, wat bias introduceert en de robuustheid van de output over verschillende herkenningssystemen heen beperkt. Bovendien blijft het navigeren door de continue latente ruimte van GAN's om een consistente "leeftijdsrichting" te vinden zonder de identiteit te degraderen, een aanzienlijke uitdaging.

Methodologie
De auteurs stellen een data-efficiënte strategie voor die direct opereert binnen de latente ruimte van een vooraf getrainde StyleGAN2 (specifiek de $W$-ruimte), waardoor het hertrainen van generatoren of encoders wordt vermeden. De methodologie bestaat uit drie kerncomponenten:

1. Lineaire Latente Bewerking via Support Vector Regressie (SVR):
   In plaats van nieuwe netwerken te trainen, projecteren de auteurs echte gezichtsbilder in de StyleGAN2 $W$ latente ruimte. Ze gebruiken een Lineaire Support Vector Regressor (SVR) om een hypervlak te fitten dat latente vectoren ($\tilde{w}$) koppelt aan hun bijbehorende leeftijdslabels ($y$). Door de SVR-parameters op een latente vector te projecteren, leiden ze een genormaliseerde eenheidsvector ($\hat{\lambda}$) af die de globale "leeftijdssyntheserichting" vertegenwoordigt. Verouderen of verjongen wordt bereikt door langs deze richting te bewegen met een scalaire stap $s$:
   $$w_1 = w_0 + s\hat{\lambda}$$
   Om de scalaire stap $s$ te mappen naar specifieke doelleeftijden (jaren), passen de auteurs polynoomcurven toe op de relatie tussen de scalaire stap en de geschatte schijnbare leeftijd, waardoor de berekening van precieze scalaire offsets ($\Delta s$) voor elke gewenste leeftijdstransformatie mogelijk wordt.

2. Feature Selectie voor Identiteitsbehoud:
   De lineaire baseline-benadering wijzigt alle latente componenten ongeremd, wat de identiteit kan degraderen. Om dit te mitigeren, introduceren de auteurs een wectorgewicht $\Phi$ die de leeftijdsrichtingcomponenten selectief schaalt:
   $$w_1 = w_0 + \Phi \odot s\hat{\lambda}$$
   De vector $\Phi$ wordt berekend met behulp van feature selectiestrategieën gebaseerd op Principal Component Analysis (PCA) en Linear Discriminant Analysis (LDA).

• PCA: Identificeert componenten die 95% van de variantie in identiteitsgelabelde latente vectoren verklaren.
• LDA: Berekent discriminerende componenten voor zowel identiteits- als leeftijdsgroepen. De auteurs reconstrueren geprojecteerde latente vectoren terug naar de oorspronkelijke ruimte en gebruiken afstandscriteria (Mean Squared Error, 1-D Wasserstein-afstand en Covariantie) om te bepalen welke componenten kritiek zijn voor identiteit versus leeftijd.
  De uiteindelijke wectorgewicht combineert componenten die alleen relevant zijn voor leeftijd, alleen voor identiteit, en die beide delen, gecontroleerd door de hyperparameters $\alpha$ en $\beta$.

3. Empirische Validatie en Datasetgeneratie:
   De methode wordt geëvalueerd met twee state-of-the-art gezichtsherkenningssystemen (IResNet50 en EdgeFace-S) en een leeftijdsestimator (MobileNetV2). De auteurs verifiëren het identiteitsbehoud door de cosinusafstand tussen gesynthetiseerde en originele gezichten te meten over verschillende leeftijdsgroepen. Ze genereren ook een volledig synthetische dataset met behulp van Langevin-sampling om 20.000 unieke identiteiten te creëren, elk met 10 leeftijnsvariaties, om te dienen als benchmark voor cross-age herkenning en synthetische beelddetectie.

Belangrijkste Bijdragen

1. Gestroomlijnde Latente Bewerking: Een baseline-benadering voor gezichtleeftijdssynthese met behulp van lineaire bewerking binnen de StyleGAN2 $W$-ruimte, waardoor conditioneringsnetwerken en grote gelabelde datasets overbodig worden.
2. Feature Selectie Strategieën: De voorstel en evaluatie van PCA- en LDA-gebaseerde feature selectiemechanismen die het identiteitsbehoud effectief verbeteren terwijl de schijnbare leeftijdsveranderingen worden gesynthetiseerd.
3. Analyse van Identiteitsbehoud: Een reeks experimenten en visualisatietechnieken die drempelwaarden identificeren waarbij de identiteit begint te degraderen tijdens leeftijdsmodificatie, wat empirische grenzen biedt voor veilige bewerking.
4. Praktische Toolset: Een release van lineaire leeftijdsrichtingen, componentgewichten, gefitte curven per leeftijdsgroep, en code om de benodigde scalaire stappen voor specifieke doelleeftijden te berekenen.
5. Synthetische Dataset: De generatie en release van een publieke dataset met 20.000 synthetische identiteiten met elk 10 leeftijnsvariaties, wat privacyproblemen rondom echte cross-age data aanpakt.

Resultaten

• Leeftijdsschatting: De relatie tussen de scalaire stap $s$ en de schijnbare leeftijd is niet-lineair, met name voor subjecten in extreme leeftijdsgroepen (zeer jong of zeer oud). Polynoomfitting modelleert deze relatie succesvol, wat precieze leeftijdscontrole mogelijk maakt.
• Identiteitsbehoud-grenzen: De lineaire baseline staat aanzienlijke leeftijdsgroei toe (het verouderen van kinderen of het verjongen van senioren), maar vertoont asymmetrie; het is minder effectief bij het verjongen van kinderen of het verouderen van senioren. De keuze van het gezichtsherkenningssysteem heeft een significante impact op de geobserveerde limieten (bijv. EdgeFace-S demonstreert een bredere geldige leeftijdsrange dan IResent50).
• Effectiviteit van Feature Selectie: Alle feature selectiemethoden presteren beter dan de lineaire baseline. Met name LDA met Covariantie en PCA toonden de meeste verbetering. LDA met Covariantie presteerde iets beter voor kinderen, terwijl PCA robuuster was voor senioren. Deze methoden maken grotere leeftijdstransformaties mogelijk terwijl een gezichtsverificatiepercentage van 75% behouden blijft.
• Vergelijking: De voorgestelde methode presteert kwalitatief en kwantitatief beter dan de SAM (Style-based Age Manipulation) benadering, met name over grotere leeftijdsverschillen heen.

Betekenis
Het artikel toont aan dat identiteitsbewarende leeftijdsbewerkingen in StyleGAN2 kunnen worden bereikt zonder de generatoren opnieuw te trainen, door te vertrouren op een eenvoudige SVR-gebaseerde latente richting en strategische feature selectie. Door praktische scalaire-naar-leeftijd mapping te vestigen en de grenzen van identiteitsbehoud te identificeren, biedt dit werk een meer controleerbaar en data-efficiënt alternatief voor complexe conditionele modellen. De release van een volledig synthetische dataset en toolset beoogt het faciliteren van benchmarking voor cross-age gezichtsherkenning, leeftijdsverificatiesystemen en synthetische beelddetectie, terwijl de privacy- en biasproblemen die inherent zijn aan het gebruik van echte cross-age data worden geadresseerd.