Identity-Preserving Aging and De-Aging of Faces in the StyleGAN Latent Space

기술 요약: StyleGAN 잠재 공간에서의 정체성 보존형 얼굴 노화 및 회춘

문제 정의
생성형 AI를 이용한 얼굴의 노화(aging) 및 회춘(de-aging)은 포렌식, 보안, 미디어 등의 응용 분야에서 매우 중요하다. 그러나 최신 기법들은 대개 복잡한 학습 절차, 방대한 레이블 데이터셋, 그리고 특정 조건(예: 목표 연령 레이블 또는 텍스트 프롬프트)을 요구하는 조건부 GAN(Conditional GANs), 확산 모델(Diffusion models) 또는 시각 언어 모델(Visual Language Models)에 의존한다. 이러한 접근 방식은 제어 가능성 측면에서 어려움을 겪는 경우가 많으며, 결정적으로 정체성 보존(identity preservation)을 보장하지 못한다. 기존의 정체성 보존 메커니즘은 손실 함수에 임베딩된 단일 얼굴 인식 모델에 의존하는 경우가 많아, 이는 편향을 유발하고 다양한 인식 시스템 전반에 걸친 견고성을 제한한다. 또한, 정체성을 저하시키지 않으면서 일관된 "연령 방향(age direction)"을 찾기 위해 GAN의 연속적인 잠재 공간을 탐색하는 것은 여전히 중대한 과제이다.

방법론
저자들은 생성기나 인코더를 재학습할 필요 없이, 사전 학습된 StyleGAN2(구체적으로 $W$ 공간)의 잠재 공간 내에서 직접 작동하는 데이터 효율적인 전략을 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 서포트 벡터 회귀(SVR)를 통한 선형 잠재 편집:
   새로운 네트워크를 학습시키는 대신, 저자들은 실제 얼굴 이미지를 StyleGAN2의 $W$ 잠재 공간으로 투영한다. 이들은 선형 서포트 벡터 회귀(Linear Support Vector Regressor, SVR)를 사용하여 잠재 벡터($\tilde{w}$)와 그에 대응하는 연령 레이블($y$)을 매핑하는 초평면(hyperplane)을 적합시킨다. SVR 파라미터를 잠재 벡터로 투영함으로써, 전역적인 "연령 합성 방향"을 나타내는 정규화된 단위 벡터($\hat{\lambda}$)를 도출한다. 노화 또는 회춘은 스칼라 단계(scalar step) $s$를 사용하여 이 방향을 따라 이동함으로써 수행된다:
   $$w_1 = w_0 + s\hat{\lambda}$$
   스칼라 $s$를 특정 목표 연령(연도)으로 매핑하기 위해, 저자들은 스칼라 단계와 추정된 외견 연령 사이의 관계에 다항식 곡선(polynomial curves)을 적합시켜, 원하는 연령 변환에 대한 정밀한 스칼라 오프셋($\Delta s$)을 계산할 수 있도록 한다.

2. 정체성 보존을 위한 특징 선택(Feature Selection):
   선형 베이스라인 방식은 모든 잠재 성분을 무차별적으로 수정하여 정체성을 저하시킬 수 있다. 이를 완화하기 위해, 저자들은 연령 방향 성분을 선택적으로 스케일링하는 가중치 벡터 $\Phi$를 도입한다:
   $$w_1 = w_0 + \Phi \odot s\hat{\lambda}$$
   벡터 $\Phi$는 주성분 분석(PCA)과 선형 판별 분석(LDA)에 기반한 특징 선택 전략을 사용하여 계산된다.

• PCA: 정체성이 레이블링된 잠재 벡터의 분산을 95% 설명하는 성분을 식별한다.
• LDA: 정체성 및 연령 그룹 모두에 대한 판별 성분을 계산한다. 저자들은 투영된 잠재 벡터를 원래 공간으로 재구성하고, 거리 측정 방식(평균 제곱 오차, 1-D 와서스테인 거리, 공분산)을 사용하여 어떤 성분이 정체성 대 연령에 결정적인지를 결정한다.
  최종 가중치 벡터는 연령에만 관련된 성분, 정체성에만 관련된 성분, 그리고 두 가지 모두에 공유되는 성분을 결합하며, 하이퍼파라미터 $\alpha$와 $\beta$에 의해 제어된다.

3. 경험적 검증 및 데이터셋 생성:
   본 방법은 두 가지 최첨단 얼굴 인식 시스템(IResNet50 및 EdgeFace-S)과 연령 추정 모델(MobileNetV2)을 사용하여 평가된다. 저자들은 합성된 얼굴과 원본 얼굴 사이의 코사인 거리를 측정하여 정체성 보존을 검증한다. 또한, 교차 연령 인식 및 합성 이미지 탐지를 위한 벤치마크로 사용하기 위해, Langevin 샘sampling을 통해 20,000개의 고유한 정체성과 각 정체당 10개의 연령 변형을 가진 완전 합성 데이터셋을 생성한다.

주요 기여

1. 간소화된 잠재 편집: 조건부 네트워크나 대규모 레이블 데이터셋 없이, StyleGAN2의 $W$ 공간 내 선형 편집을 사용하는 얼굴 연령 합성을 위한 베이스라인 접근법을 제시한다.
2. 특징 선택 전략: 정체성 보존을 효과적으로 개선하면서 외견 연령 변화를 합성하는 PCA 및 LDA 기반의 특징 선택 메커니즘을 제안하고 평가한다.
3. 정체성 보존 분석: 연령 수정 과정에서 정체성이 저하되기 시작하는 임계값을 식별하는 실험 및 시각화 기법을 제공하여, 안전한 편집을 위한 경험적 경계를 설정한다.
4. 실용적 도구 세트: 선형 연령 방향, 성분 가중치, 연령 그룹별 적합 곡선, 특정 목표 연령에 필요한 스칼라 단계를 계산하기 위한 코드를 공개한다.
5. 합성 데이터셋: 실제 교차 연령 데이터와 관련된 개인정보 보호 문제를 해결하기 위해, 20,000개의 합성 정체성과 각 10개의 연령 변형을 포함하는 공개 데이터셋을 생성하여 배포한다.

결과

• 연령 추정: 스칼라 단계 $s$와 외견 연령 사이의 관계는 비선형적이며, 특히 극단적인 연령대(매우 어린 연령 또는 매우 높은 연령)의 대상에게서 그러하다. 다항식 적합(Polynomial fitting)은 이 관계를 성공적으로 모델링하여 정밀한 연령 제어를 가능하게 한다.
• 정체성 보존 경계: 선형 베이스라인은 상당한 연령 증가(어린이의 노화 또는 노인의 회춘)를 허용하지만 비대칭성을 보인다. 즉, 어린이의 회춘이나 노인의 노화에는 덜 효과적이다. 선택된 얼굴 인식 시스템은 관찰된 한계치에 중요한 영향을 미친다 (예: EdgeFace-S는 IResNet50보다 더 넓은 유효 연령 범위를 보여준다).
• 특징 선택의 효능: 모든 특징 선택 방법이 선형 베이스라인보다 우수한 성능을 보인다. 구체적으로, 공분산을 사용한 LDA와 PCA가 가장 큰 개선을 보였다. LDA(공분산 활용)는 어린이에게서 약간 더 나은 성능을 보였고, PCA는 노인에게서 더 견고했다. 이러한 방법들을 통해 75%의 얼굴 검증률을 유지하면서 더 큰 연령 변환을 수행할 수 있다.
• 비교: 제안된 방법은 특히 큰 연령 차이가 발생하는 구간에서 SAM(Style-based Age Manipulation) 방식보다 질적, 양적으로 우수하다.

의의
본 논문은 정체성을 보존하는 StyleGAN2의 연령 편집이 새로운 생성기를 재학습할 필요 없이, 단순한 SVR 기반의 잠재 방향과 전략적 특징 선택을 통해 달성될 수 있음을 입증한다. 실용적인 스칼라-연령 매핑을 설정하고 정체성 보존의 한계를 규명함으로써, 본 연구는 복잡한 조건부 모델에 대한 더 제어 가능하고 데이터 효율적인 대안을 제공한다. 완전 합성 데이터셋과 도구 세트의 공개는 실제 교차 연령 데이터 사용에 따른 개인정보 보호 및 편향 문제를 해결함과 동시에, 교차 연령 얼굴 인식, 연령 확인 시스템, 그리고 합성 이미지 탐지를 위한 벤치마킹을 촉진하는 것을 목표로 한다.