1. 연구 배경 및 문제 정의 (Problem)

최근 3D 인식형 생성 모델 (3D-aware generative models) 의 발전으로 인간 신원 (Identity) 의 고품질 이미지 합성이 가능해졌습니다. 그러나 이로 인해 개인정보 보호와 사용자 동의에 대한 심각한 우려가 대두되었습니다.

• 문제점: 생성 모델은 훈련 데이터에 포함된 특정 개인의 얼굴이나 저작권 이미지를 암기하여 재생성할 수 있습니다.
• 기존 접근법의 한계:
  • 재학습 (Retraining): 특정 데이터를 제거하기 위해 모델을 처음부터 다시 학습시키는 것은 계산 비용이 너무 많이 들어 비현실적입니다.
  • 기존 생성적 망각 (Generative Unlearning) 방법:
    • GUIDE: 특정 신원을 고정된 평균 얼굴 (median face) 로 매핑합니다.
    • Selective Amnesia: 특정 신원을 가우스 잡음 (Gaussian noise) 으로 매핑합니다.
  • 한계: 이러한 방법들은 단일 신원 제거에는 효과적일 수 있으나, **다중 신원 (Many Identities)**을 동시에 또는 순차적으로 제거할 때 모델의 전체 품질이 저하되고, 유지된 신원 (Retained Identities) 들의 특징이 평균화되거나 왜곡되는 '부작용 (Collateral Degradation)'이 발생합니다. 또한, 잡음이나 평균 얼굴로 매핑되는 패턴은 오히려 삭제된 신원을 추론하는 공격에 취약할 수 있습니다.

2. 제안 방법: SUGAR (Methodology)

저자들은 SUGAR이라는 새로운 프레임워크를 제안하여, 전체 모델을 재학습하지 않고도 다수의 신원을 효과적으로 삭제하면서도 모델의 품질과 다양성을 유지합니다.

핵심 구성 요소

1. ID-특화 탈식별화 (ID-specific De-Identification):

   • 기존 방법들이 고정된 평균 얼굴이나 잡음으로 매핑하는 대신, **삭제하려는 각 신원 (Identity) 마다 개인화된 대리적 잠재 변수 (Personalized Surrogate Latent)**를 학습합니다.
   • 작동 원리:
     • 삭제 대상 신원의 잠재 벡터 ($w_u$) 와 평균 잠재 벡터 ($\bar{w}$) 의 차이인 '신원 벡터' ($w_{id}$) 를 계산합니다.
     • 학습 가능한 매핑 함수 ($\Phi$ 또는 $T_\Theta$) 를 통해 이 신원 벡터를 변환하여 새로운 대리적 타겟 ($w_t$) 을 생성합니다.
     • 수식적 접근: $w_t = \bar{w} - d \cdot \frac{T_\Theta(w_{id})}{\|T_\Theta(w_{id})\|}$
     • 이 과정에서 $d$는 제어 가능한 계수로, 원본 신원의 특징을 얼마나 유지할지 (또는 얼마나 완전히 삭제할지) 조절할 수 있습니다.
   • 목적: 삭제된 신원이 시각적으로 일관된 대안 얼굴로 대체되도록 하여, 모델의 생성 품질을 해치지 않으면서도 원본 신원과의 식별성을 제거합니다.

2. 연속적 유틸리티 보존 (Continual Utility Preservation):

   • 다수의 신원을 삭제할 때, 삭제 대상과 잠재 공간 (Latent Space) 상에서 가까운 다른 신원들이 손상되는 것을 방지합니다.
   • Vicinity Sampling: 삭제된 잠재 변수 주변에 '근접 샘플 (Probes)'을 생성하여, 이 샘플들이 원래의 특성을 유지하도록 강제합니다.
   • Elastic Weight Consolidation (EWC): 근접 샘플에 대한 모델의 이전 행동 (Pre-unlearning behavior) 을 보존하기 위해 Fisher 정보 행렬 (FIM) 을 기반으로 가중치 정규화 손실 ($L_{ewc}$) 을 적용합니다. 이는 모델이 삭제 작업 중에도 유지되어야 할 신원들의 세부 사항 (안경, 주름, 헤어스타일 등) 을 잊지 않도록 합니다.

3. 최종 목적 함수:

   • Forgetting Loss: 삭제 대상 신원과 그 이웃을 대리적 타겟으로 매핑하는 손실.
   • Retention Loss (EWC): 유지 대상 신원의 품질을 보존하는 정규화 항.
   • 이 두 가지를 결합하여 다중 신원 삭제와 모델 유틸리티 보존 사이의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 다중 및 순차적 신원 삭제의 최초 구현: 생성형 AI 컨텍스트에서 여러 신원을 동시에 또는 시간 순서대로 순차적으로 삭제하는 최초의 방법론을 제시했습니다.
2. 성능 향상: 기존 SOTA 방법 (GUIDE 등) 대비 최대 700% 까지 모델 유틸리티 (Retained Utility) 를 개선했습니다. 200 개까지의 신원을 삭제할 때에도 모델의 품질과 다양성을 유지합니다.
3. 제어 가능한 삭제 (Controllable Unlearning): 매개변수 $d$를 조절하여 삭제의 강도를 사용자 (또는 모델 제공자) 가 조정할 수 있게 하여, 삭제 요구자와 제공자 간의 합의된 수준으로 삭제할 수 있습니다.
4. 보안성 강화: 삭제된 신원을 평균 얼굴이나 잡음으로 보내는 기존 방식과 달리, 자연스러운 데이터 매니폴드 (Data Manifold) 상에 있는 다양한 대안 얼굴로 매핑하여, 삭제된 신원을 추론하는 '멤버십 추론 공격 (Membership Inference Attacks)'에 더 강건합니다.

4. 실험 결과 (Results)

• 데이터셋: FFHQ(In-domain), CelebA-HQ(OOD), Random 등 다양한 시나리오에서 평가.
• 정량적 평가:
  • ID Similarity (ID Score): 유지된 신원 (Retained Identities) 에 대해 GUIDE 보다 50~150% (최대 700% 개선) 높은 점수를 기록하여, 삭제 작업이 다른 신원의 특징을 훼손하지 않음을 증명했습니다.
  • FID (Fréchet Inception Distance): 생성된 이미지의 품질이 기존 방법보다 훨씬 낮음 (FID 값이 낮을수록 좋음).
  • 삭제 효과: 삭제된 신원에 대해서는 인간이 식별할 수 없을 정도로 ID 점수가 낮아졌습니다.
• 정성적 평가 및 인간 판단:
  • 인간 평가자 (60 명) 를 대상으로 한 실험에서, SUGAR 로 생성된 '유지된 신원'을 정확히 식별한 비율은 **86%**였으나, GUIDE 는 **1.9%**에 불과했습니다. 이는 SUGAR 가 모델의 실용성을 크게 보존함을 의미합니다.
  • 반면, '삭제된 신원'에 대해서는 두 방법 모두 인간이 원본을 식별하지 못해 삭제 효과는 동등했습니다.
• 순차적 삭제 (Sequential Unlearning): 여러 단계에 걸쳐 신원을 순차적으로 삭제할 때, GUIDE 는 누적된 손상으로 인해 유지된 신원의 특징이 점차 사라지는 반면, SUGAR 는 모든 단계에서 품질을 유지했습니다.

5. 의의 및 결론 (Significance)

SUGAR 는 생성형 AI 의 '잊을 권리 (Right to be Forgotten)'를 실현하기 위한 실용적이고 확장 가능한 솔루션을 제공합니다.

• 기술적 의의: 단순한 삭제 (Noise/Mean mapping) 를 넘어, 개인화된 대안 생성을 통해 모델의 구조적 무결성을 유지하면서 특정 신원만 선택적으로 제거하는 새로운 패러다임을 제시했습니다.
• 실용적 의의: 대규모 생성 모델을 재학습하지 않고도, 수백 개의 신원을 동시에 또는 순차적으로 삭제할 수 있어, 실제 서비스 환경에서의 적용 가능성이 높습니다.
• 보안적 의의: 삭제된 데이터가 모델에서 어떻게 처리되었는지에 대한 패턴을 숨겨, 역추적 공격을 방지하는 보안 측면에서도 우수합니다.

이 연구는 생성형 AI 의 윤리적 사용과 개인정보 보호를 위한 중요한 기술적 진보로 평가됩니다.