1. 연구 배경 및 문제 정의 (Problem)

• 배경: Stable Diffusion, DALL·E 등 텍스트 - 이미지 확산 모델은 창의적 및 과학적 분야에서 널리 사용되지만, 학습 데이터에 포함된 저작권, 사생활, 유해 콘텐츠의 기억 (memorization) 문제가 발생하고 있습니다. GDPR 등 법적 규정에 따라 특정 개념을 모델에서 선택적으로 삭제 (Machine Unlearning) 해야 할 필요성이 대두되었습니다.
• 핵심 문제 (Concept Revival): 기존 삭제 방법 (ESD, UCE, Receler 등) 은 초기에는 특정 개념을 성공적으로 삭제하지만, 모델이 후속 파인튜닝 (Fine-tuning) 을 거치면 삭제된 개념이 다시 부활 (Revival) 하는 치명적인 약점이 있습니다.
  • 이는 파인튜닝 데이터가 삭제된 개념과 전혀 관련이 없더라도 발생합니다.
  • 기존 보안 및 삭제 방법들은 이러한 '부드러운 파인튜닝'에 대한 견고성을 평가하거나 방어하는 메커니즘이 부족합니다.
• 기존 해결책의 한계: Meta-Unlearning 과 같은 기존 방어 기법은 이 문제를 해결하려 시도하지만, 이진 최적화 (bi-level optimization) 를 통해 공격을 시뮬레이션해야 하므로 막대한 계산 비용 (메모리 및 시간) 이 소요되고, 훈련 과정에서 특정 공격 패턴을 가정해야 한다는 제약이 있습니다.

2. 제안된 방법론 (Methodology: PGU)

저자들은 분류 (Classification) 분야에서 개발된 Projected Gradient Unlearning (PGU) 를 확산 (Diffusion) 모델에 적용하여, 삭제된 모델에 대한 사후 (Post-hoc) 강화 단계로 제안합니다.

• 핵심 아이디어 (기하학적 접근):

  • 유지 개념 (Retain Concepts): 삭제된 개념과 시각적으로 유사한 텍스트 프롬프트 (예: 골프공 삭제 시 '테니스공' 대신 '구슬', '계란' 등 시각적 유사성 기반) 를 선정합니다.
  • 핵심 경사 공간 (Core Gradient Space, CGS): 유지 개념들의 U-Net 활성화 (Activations) 를 기반으로 경사 공간의 하위 공간 (Subspace) 을 구성합니다. 이 공간은 삭제된 개념의 생성과 관련된 경사 방향을 포함합니다.
  • 직교 투영 (Orthogonal Projection): 파인튜닝 과정에서 발생하는 경사 업데이트를 CGS 에 투영하여 제거합니다. 즉, CGS 와 직교하는 공간 (Residual Gradient Space) 으로만 업데이트가 이루어지도록 강제합니다.
  • 효과: 파인튜닝이 진행되더라도 삭제된 개념의 시각적 특징을 복원하는 데 가장 필요한 경사 방향은 차단되므로, 개념 부활이 방지됩니다.

• 확산 모델 적용을 위한 주요 수정 사항:

  1. 손실 함수 (Loss Function): ESD 기반 모델은 고정된 Teacher 모델의 스코어 함수를 활용하고, UCE/Receler 기반 모델은 표준 탈노이즈 손실을 유지하면서 유지 개념 프롬프트에 대한 손실을 계산합니다.
  2. SVD 적용 대상: 기존 분류 모델의 레이어 출력 대신, U-Net 의 활성화 (Activations) 에 대해 특이값 분해 (SVD) 를 수행하여 CGS 를 구성합니다. 이는 메모리 효율성을 높입니다.
  3. 하이퍼파라미터 (Gamma, $\gamma$) 재조정: 분류 모델용 $\gamma$ (0.90.95) 는 확산 모델에는 너무 공격적입니다. 확산 모델의 스킵 연결과 교차 주의 (Cross-attention) 구조로 인해 특징이 광범위하게 분산되므로, **스타일 개념에는 0.50.7, 객체 개념에는 0.7~0.9** 범위가 최적임을 발견했습니다.

• 알고리즘 흐름:

  1. Phase 1 (하드웨어 준비): 유지 개념 프롬프트를 U-Net 에 통과시켜 레이어별 활성화 값을 수집하고 공분산 행렬을 계산한 후, 이를 통해 투영 행렬 (Projection Matrix) 을 생성합니다.
  2. Phase 2 (경사 투영 강화): 파인튜닝 단계에서 계산된 경사를 생성된 투영 행렬을 사용하여 CGS 성분을 제거한 후, 모델 가중치를 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 확산 모델용 PGU 최초 적용: 분류 영역에서 개발된 PGU 를 확산 모델의 사후 강화 단계로 성공적으로 적응시켰으며, 새로운 손실 설계, U-Net 활성화 기반 SVD, 하이퍼파라미터 재보정 등을 수행했습니다.
2. 효율적이고 모듈화된 방어: 기존 어떤 삭제 방법 (ESD, UCE, Receler 등) 위에서도 적용 가능하며, 추가 학습 없이도 파인튜닝 시 부활을 방지합니다.
3. 광범위한 검증: 취약한 경우 (Vulnerable), 견고한 경우 (Robust), 실패한 삭제 경우 (Failed Erasure) 등 3 가지 운영 조건에서 PGU 의 성능을 입증했습니다.
4. 시각적 유사성의 중요성 입증: 유지 개념 선택 시 '의미론적 (Semantic)' 유사성보다 '시각적 특징 (Visual Feature)' 유사성이 부활 방지에 훨씬 효과적임을 실증했습니다.

4. 실험 결과 및 분석 (Results)

• 성능 비교:

  • 스타일 개념 (Van Gogh 스타일): PGU 는 ESD-U 기반 모델에서 부활을 완전히 제거했습니다 (최대 분류기 정확도 71.4% $\rightarrow$ 28.6%). 반면, Meta-Unlearning 은 C7 시점에 부활이 발생했습니다.
  • 객체 개념 (Golf Ball): PGU 는 부활 시점을 C1 에서 C4 로 4 배 지연시켰습니다. 반면 Meta-Unlearning 은 객체 개념에서 완전한 방어를 달성했습니다.
  • 결론: 두 방법은 상호 보완적입니다. 분산된 스타일 인코딩에는 PGU 가, 집중된 객체 인코딩에는 Meta-Unlearning 이 더 효과적입니다.

• 유지 개념 선택의 영향:

  • 시각적 유지 (Visual Retain): 골프공과 시각적으로 유사한 '구슬', '계란' 등을 유지 개념으로 사용하면 부활을 C4 까지 지연시킵니다.
  • 의미론적 유지 (Semantic Retain): '테니스공', '축구공' 등 카테고리만 같은 경우 부활이 C2 에서 발생하여 효과가 낮았습니다. 이는 U-Net 이 의미보다는 시각적 패턴 (형태, 질감) 을 학습하기 때문입니다.

• 효율성:

  • PGU 는 소비자급 하드웨어 (VRAM 12GB) 에서 약 6 분 만에 적용 가능합니다.
  • Meta-Unlearning 은 엔터프라이즈급 하드웨어 (VRAM 40GB+) 에서 약 2 시간이 소요됩니다.

• 한계점:

  • ESD-X(교차 주의만 수정) 방식의 Golf Ball 삭제 시, PGU 는 C4 에서 성능이 정체되는 '플로어 (Floor)' 현상이 관찰되었습니다. 이는 아키텍처적 한계로, 텍스트 - 시각 매핑 복구만 필요하기 때문입니다.
  • 초기 삭제 자체가 실패한 경우 (UCE + Golf Ball) 에는 PGU 가 효과를 발휘하지 못합니다 (PGU 는 방어층이지 삭제 알고리즘이 아님).

5. 의의 및 결론 (Significance)

• 법적/윤리적 준수 강화: 파인튜닝 후에도 '잊힐 권리 (Right to be Forgotten)'를 보장하여, 배포된 모델의 법적 리스크를 줄이는 실용적인 솔루션을 제공합니다.
• 비용 효율성: 기존 Meta-Unlearning 대비 훨씬 적은 계산 자원과 시간으로 강력한 방어를 가능하게 합니다.
• 실무 가이드라인 제공:
  1. 삭제 대상이 스타일 (Style) 이라면 PGU 를, 객체 (Object) 라면 Meta-Unlearning 을 (또는 두 방법의 하이브리드) 선택해야 합니다.
  2. 유지 개념 선정 시 의미론적 그룹핑이 아닌 시각적 특징 (색상, 형태, 질감) 기반 선택이 필수적입니다.
  3. PGU 는 초기 삭제 품질을 검증한 후 적용해야 하며, 모든 삭제 실패를 해결할 수는 없습니다.

이 연구는 확산 모델의 안전성과 유연성 (파인튜닝 가능성) 사이의 균형을 맞추기 위한 중요한 진전으로, 실제 산업 환경에서 적용 가능한 효율적인 기계 삭제 (Machine Unlearning) 전략을 제시합니다.