Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

기술 요약: 디퓨전 언러닝(Diffusion Unlearning)에서 모든 시간과 주파수를 잊을 필요는 없다

문제 정의
디퓨전 모델에서의 데이터 언러닝은 사전 학습된 모델에서 특정 학습 샘플(이하 "망각 세트", forget set)의 영향력을 제거하는 동시에, 나머지 데이터(이 이하 "유지 세트", retain set)의 유용성을 보존하는 것을 목표로 한다. Gradient Ascent (GA) 또는 Negative Preference Optimization (NPO)와 같은 기존의 미세 조정 방식들은 일반적으로 망각 세트에 대한 손실 극대화에 의존한다. 그러나 이러한 방식들은 대개 두 가지 결정적인 문제에 직면한다:

1. 불완전한 망각: 모델이 특정 인스턴스를 완전히 지우는 데 실패할 수 있다.
2. 품질 저하: 공격적인 언러닝은 유지 세트에 대해 노이즈가 심하거나, 미적으로 좋지 않거나, 왜곡된 생성을 초래하는 경우가 많다.

기존 방법들은 일반적으로 디퓨전의 모든 타임 스텝(time step)과 주파수 성분을 언러닝 과정 동안 균일하게 취급한다. 본 논문은 이러한 균등한 처리가 디퓨전 모델의 내재적 역학(dynamics)을 무시하는 것이라고 주장한다. 즉, 역과정(reverse process, 노이즈에서 데이터로 가는 과정)의 서로 다른 단계와 서로 다른 주파수 성분들이 의미론적 정체성(semantic identity), 인스턴스 수준의 암기(instance-level memorization), 그리고 미세한 디테일에 기여하는 정도가 서로 다르다는 점을 간과하고 있다는 것이다.

방법론
저자들은 디퓨전 과정의 특정 영역을 타겟팅하는 시간 및 주파수 선택적 언러닝(Time- and Frequency-Selective Unlearning) 프레임워크를 제안한다. 이는 전체 과정에 균일한 업데이트를 적용하는 대신 특정 영역만을 대상으로 한다.

1. 시간 선택적 망각 (Time-Selective Forgetting):

   • 분석: 본 논문은 디퓨전 역학에 대한 이론적 이해를 활용하여 두 가지 핵심 전이 지점인 **종 분화 시간($t_S$, Speciation Time)**과 **붕괴 시간($t_C$, Collapse Time)**을 식별한다.
     • 단계 I ($t > t_S$): 거친 의미론(coarse semantics)과 클래스 정체성을 포착한다.
     • 단계 II ($t_C < t < t_S$): 인스턴스 수준의 인력(attraction)과 특정 디테일의 형성이 일어난다.
     • 단계 III ($t < t_C$): 미세한 디테일과 질감을 정교화한다.
   • 전략:
     • **무조건부 언러닝(Unconditional Unlearning)**의 경우, 인스턴스 수준의 인력이 가장 강한 단계 II(중간 타임 스텝)에 집중하여 단계 III에서의 미세한 디테일 저하를 방지한다.
     • **조건부 언러닝(Conditional Unlearning, 텍스트-투-이미지)**의 경우, 종 분화가 일어나기 전 조건부 가이드(conditional guidance)가 지배적인 단계 I($t > t_S$)을 타겟으로 한다.
   • 구현: 시간 가중치 함수 $P(t)$를 손실 함수에 적용하여 특정 구간(예: $[t_C, t_S]$ 또는 $[t_S, T]$)에 더 높은 확률을 할당하고 다른 구간의 업데이트는 억제한다. 또한 가이드 크기에 따라 최적의 전이 지점 $\tau$( $t_S$와 유사함)를 탐색하는 적응형 방법도 제안한다.

2. 주파수 선택적 망각 (Frequency-Selective Forgetting):

   • 분석: 경험적 스펙트럼 분석 결과, 언러닝은 종종 원치 않는 고주파 노이즈를 도입하여 샘플 품질을 저하시킨다는 것이 밝혀졌다. 유지 세트의 고주파 분포는 거의 변하지 않은 상태로 유지되어야 한다.
   • 전략: 언러닝 과정 중에 손실 잔차(loss residual)에 **저역 통과 필터(low-pass filter)**를 적용한다. 그래디언트 신호는 망각 세트의 고주파 성분을 제거하도록 투영되지만, 디노이저(denoiser)의 입력은 자연스러운 노이즈 샘플 상태를 유지한다.
   • 구현: FFT(Fast Fourier Transform)를 사용하여 손실 잔차를 컷오프 반경 $r_t$ 이상의 주파수가 제외되도록 마스킹한다. 이를 통해 언러닝 과정이 이미지 품질에 필수적인 고주파 디테일을 교란하지 않도록 보장한다.

3. 이론적 정당성:

   • 저자들은 원래의 경로 측도(path measure)와 언러닝된 경로 측도 사이의 KL 발산(Kullback-Leibler divergence)을 기반으로 한 망각-보존 효용(forgetting–preservation utility) 함수 $J_\beta(m)$을 공식화한다.
   • 이들은 선택적 언러닝(영역 $S$에서만 업데이트)이 전체 언러닝에 비해 엄격하게 양(+)의 효용 차이를 생성함을 증명한다. 단, 이는 선택적 업데이트가 타겟 영역의 변화를 증폭시키고($\mu \ge 1$), 비타겟 영역의 변화를 억제할 때($\eta \le 1$) 성립한다.

4. 평가 지표:

   • 본 논문은 섭동 거리(perturbation distance)를 정규화한 개선된 지표인 $SSCD_{norm}$을 도입한다. 이미지가 흐릿하거나 저하되었을 때 인위적으로 낮게 나타날 수 있는 표준 SSCD와 달리, $SSce_{norm}$은 생성된 이미지의 품질을 고려하여, 미적 저하를 대가로 낮은 유사도를 달성하는 것을 방지한다.

주요 결과
제안된 방법은 CelebA-HQ(무조건부) 및 Stable Diffusion v1.4(조건부 텍스트-투-이미지)에서 다양한 베이스라인(GA, SISS, DPO, KTO)을 대상으로 평가되었다.

• 무조건부 언더닝: 시간 선택( $t \in [250, 750]$에 집중)과 주파수 선택( $r_t=0.15$인 저역 통과 필터)을 적용했을 때, 베이스라인 대비 $SSCD_{norm}$과 **미적 점수(Aesthetic Scores)**가 유의미하게 향상되었다. 예를 들어, SISS의 경우 $t=250$에서 미적 점수가 약 34.8%, $t=500$에서 약 25.8% 향상되었으며, 망각 지표를 유지하거나 오히려 개선했다.
• 조건부 언러닝: Stable Diffusion에서 선택적 접근 방식은 SISS 베이스라인보다 더 높은 언러닝 성공률과 빠른 수렴 속도를 달로했다. 이는 높은 CLIP-IQA 품질 점수를 유지하면서도 암기된 프롬프트를 성공적으로 제거하였다.
• 멤버십 추론 공격 (MIA): 기존 방법들은 극심한 취약성(최대 $\times 10^7$의 오차)을 보였는데, 이는 과도한 망각(over-forgetting)을 나타낸다. 제안된 방법은 이러한 부수적 왜곡을 실질적으로 완화하여(오차를 $\times 5.76$ 및 $\times 53.20$으로 감소), 데이터 매니폴드 보존 능력이 더 뛰어남을 시사했다.
• 일반화: 이 방법은 다양한 백본(U-Net 및 Diffusion Transformer)과 개념 언러닝 시나리오(예: 누드 탐지)에서 효과적임을 입증했다.

의의 및 주장
본 논문은 망각이 균일한 과정이 아님을 보여줌으로써, 디퓨전 모델의 데이터 언러닝을 이해하고 개선하기 위한 실질적인 통찰을 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 체계적 연구: 시간 단계와 주파수 영역이 각각 암기와 유용성에 어떻게 다르게 기여하는지에 대한 상세한 분석을 제공한다.
2. 단순한 프레임워크: 기존의 목적 함수(GA, SISS, DPO, KTO)와 호환되며 아키텍처 변경을 최소화하는 선택적 언러닝 접근법을 제시한다.
3. 품질 보존: 그래디언트 기반 언러닝에서 흔히 발생하는 심각한 품질 저하 없이 높은 언러닝 성공률을 달성할 수 있다.
4. 개선된 평가: 이미지 저하를 망각의 대리 지표로 사용하는 언러닝 방법들을 방지하기 위해 $SSCD_{norm}$을 도입하였다.

저자들은 자신의 방법이 기존의 이론적 경계에 기반하여 최적의 영역을 효과적으로 식별하지만, 사전 지식이나 적응형 탐색 오버헤드 없이 모든 특정 데이터셋에 대해 이러한 최적 영역을 완전히 자동화하여 찾아내는 단계에는 아직 이르지 못했다고 겸허히 언급하였다. 그럼에도 불구하고, 이 연구는 특정 시간 및 주파수 윈도우에서의 타겟팅된 망각이 프라이버시(망각)와 유용성(생성 품질) 사이의 균형을 맞추는 데 매우 중요하다는 점을 강조한다.