기술 요약: f-발산 기반 확산 모델 망각을 위한 통합 프레임워크

1. 문제 정의

대규모 인터넷 스크래핑 데이터셋 (예: LAION-5B) 으로 훈련된 텍스트 - 이미지 (T2I) 확산 모델 (DM) 은 뛰어난 생성 능력을 입증했지만, NSFW(부적절) 콘텐츠 생성, 저작권이 있는 예술적 스타일 복제, 개인 정보 노출과 같은 바람직하지 않은 속성도 물려받았습니다. 특정 개념을 지우기 위해 큐레이션된 데이터셋으로 모델을 재훈련하는 것이 이론적 해결책이지만, 데이터 삭제 또는 리소스 제약으로 인해 계산 비용이 과도하게 많이 들고 종종 비현실적입니다.

기존 망각 알고리즘은 일반적으로 "타겟" 개념 (지워야 할 대상) 의 생성을 "앵커" 개념 (예: null 개념, 상위 클래스, 또는 의미적으로 관련된 개념) 과 정렬시키는 패러다임에 의존합니다. 이러한 정렬은 거의 독점적으로 타겟과 앵커의 디노이저 출력 간의 평균 제곱 오차 (MSE) 를 최소화함으로써 달성됩니다. 이론적으로 이 MSE 최소화는 각 개념에 조건부인 두 가우시안 분포 간의 Kullback-Leibler (KL) 발산을 최소화하는 것에 해당합니다. 그러나 이 접근법은 최적화 지형을 단일 발산 지표로 제한하여, 비타겟 개념의 생성 충실도 보존과 망각 효율성 간의 균형을 맞추는 데 있어 잠재적으로 비최적일 수 있습니다.

2. 방법론

저자들은 표준 KL 발산에서 임의의 f-발산으로 망각 목적을 일반화하는 f-DMU라는 통합 프레임워크를 제안합니다. 이 프레임워크는 망각 문제를 확산 과정의 특정 시간 단계에서 앵커 개념 $c$에 조건부인 원본 모델 $\Phi$의 확률 분포와 타겟 개념 $c^*$에 조건부인 망각된 모델 $\hat{\Phi}$의 확률 분포 간의 발산을 최소화하는 문제로 공식화할 수 있다는 관찰에 기반합니다.

핵심 목적 함수는 다음과 같이 정의됩니다:
$$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$$

이 프레임워크는 선택한 f-발산의 특성에 따라 이 목적 함수를 해결하기 위한 두 가지 구별된 접근 방식을 제공합니다:

A. 폐형식 손실 (Closed-Form Losses)

가우시안 분포에 대해 폐형식 표현이 존재하는 f-발산의 부분집합 (특히 DM 의 표준 관행인 분산이 고정된 경우) 에 대해, 저자들은 특정 손실 함수를 유도합니다. 주요 사례는 다음과 같습니다:

• 제곱 헬링거 거리 ($H^2$): MSE 의 지수 감소를 포함하는 손실 함수를 산출합니다: $J_{H^2} \propto -\exp(-\text{MSE})$. 이는 MSE 가 증가함에 따라 감소하는 **유계 기울기 (bounded gradients)**를 초래하여, 이상치의 영향을 완화하고 급격한 모델 변화를 방지합니다.
• 피어슨 $\chi^2$ 발산: MSE 의 지수 성장을 포함하는 손실 함수를 산출합니다: $J_{\chi^2} \propto \exp(\text{MSE})$. 이는 큰 오차에 대해 유계되지 않고 급격히 증가하는 기울기를 초래하여 더 공격적인 업데이트를 유도합니다.
• 제프리 발산: 특정 가정 하에서 표준 MSE 공식으로 축소됩니다.

B. 변분 손실 (Variational Losses)

폐형식 표현이 없는 f-발산 (예: 총변동, 또는 더 일반적인 공식이 필요한 경우) 의 경우, 저자들은 f-발산의 변분 표현을 활용합니다. 이는 문제를 최소 - 최대 최적화 게임으로 변환합니다:
$$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$$
여기서 $T$는 발산을 추정하는 판별자 (신경망으로 매개변수화됨) 로 작용하고, $\hat{\Phi}$는 이를 최소화하려는 생성기로 작용합니다. 이 접근법을 통해 프레임워크는 망각 작업에 임의의 f-발산을 적용할 수 있습니다.

3. 이론적 분석

본 논문은 제안된 프레임워크에 대한 엄격한 이론적 분석을 제공합니다:

• 기울기 역학: 저자들은 폐형식 손실의 기울기 크기를 분석합니다. 그들은 $H^2$와 $\chi^2$가 표준 KL/MSE와 반대되는 행동을 보임을 입증합니다. $H^2$는 큰 오차 (이상치) 에 대해 기울기를 억제하는 반면, $\chi^2$는 이를 증폭시킵니다. 이 샘플별 가중치는 f-발산 선택의 고유한 속성으로, 표준 학습률 스케줄러와 구별됩니다.
• 수렴 특성: 비선형 동역학 시스템 이론을 사용하여, 저자들은 균형점 주변의 변분 공식의 국소 지수 안정성을 증명합니다. 그들은 야코비안 행렬의 고유값에 기반하여 수렴 속도의 경계를 유도합니다. 특히, f-발산의 선택이 수렴 속도에 영향을 미친다는 것을 보여줍니다. 구체적으로, 균형점에서 Fenchel 켤레의 두 번째 도함수가 더 큰 발산 (예: $H^2$와 Jensen-Shannon) 은 KL 또는 $\chi^2$와 같은 다른 발산보다 이론적으로 더 빠르게 수렴합니다.
• 모드 탐색 (Mode-Seeking) 대 모드 커버링 (Mode-Covering): 본 논문은 서로 다른 발산이 생성된 이미지 분포에 어떻게 영향을 미치는지 논의합니다. $H^2$와 Jensen-Shannon 은 "중간" 수준의 모드 탐색 특성을 보이는 반면, KL 과 $\chi^2$는 "모드 커버링" 특성을 가지며 모드 사이의 영역에 더 높은 확률을 할당할 수 있습니다.

4. 실험 결과

이 프레임워크는 Stable Diffusion 모델 (v1.4, v1.5, v2.1, XL, 3) 과 FLUX 에서 평가되었으며, 객체 (예: R2D2), 예술적 스타일 (예: 반 고흐, 모네), 그리고 나체 지우기를 대상으로 했습니다.

• 기울기 안정성: 실증적 검증은 $H$-DMU($H^2$ 사용) 가 훈련 내내 유계 기울기를 유지하여, MSE 기반 방법에서 중간 파인튜닝 단계 동안 관찰되던 갑작스러운 퇴화 이미지 생성을 방지함을 확인했습니다.
• 망각 효율성 대 보존:
  • 폐형식: $H$-DMU 는 타겟 개념의 지우기에서 동등하거나 더 나은 성과를 내면서도 비타겟 개념 보존 (Kernel Inception Distance, KID 로 측정) 에서 표준 MSE 보다 일관되게 우월한 성능을 보였습니다. 반면, $\chi^2$-DMU 는 더 강력한 지우기를 달성하지만 종종 생성 품질과 사전 지식 보존의 대가를 치릅니다.
  • 변분: 변분 방법 (예: $H_v$-DMU) 은 더 "공격적"인 경향이 있어, 적은 반복 횟수로 빠른 지우기를 달성하지만 작은 배치에서의 거친 발산 추정으로 인해 더 높은 KID 점수 (낮은 이미지 품질) 를 초래하는 경우가 많습니다.
• 강건성: 나체 지우기 맥락에서 $H$-DMU 는 CAbl, DoCo, SLD 와 같은 최첨단 방법보다 적대적 프롬프트 (예: Ring-A-Bell, MMA-Diffusion) 에 대해 더 뛰어난 강건성을 보여주어, 공격 하에서 훨씬 적은 수의 NSFW 이미지를 생성했습니다.
• 다중 개념 지우기: 이 프레임워크는 10 가지 예술적 스타일의 순차적 지우기를 성공적으로 처리했으며, $H$-DMU 는 지우기와 보존 간의 우월한 균형을 MSE 보다 보여주었습니다.

5. 중요성과 주장

본 논문은 f-발산 기반 확산 모델 망각을 위한 최초의 통합 프레임워크를 제시한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 일반화: 암묵적인 KL/MSE 가정을 넘어 유연한 발산 계열로 확장하여, 실무자가 특정 응용 목표 (예: 공격적인 지우기 대 고충실도 보존) 에 따라 최적의 목적 함수를 선택할 수 있게 합니다.
2. 이론적 기반: 기울기 스케일링과 수렴 특성에 대한 이론적 분석을 제공하여, 발산 선택을 알고리즘적 안정성과 속도와 연결합니다.
3. 실용적 유용성: 특정 사례, 특히 폐형식 제곱 헬링거 거리 ($H$-DMU) 가 효과적인 개념 제거와 모델의 생성 능력 보존 사이의 균형을 맞춰 대부분의 망각 작업에 대한 우수한 기본 선택임을 입증합니다.

저자들은 그들의 프레임워크가 모델에 구애받지 않으며 (흐름 기반 모델에도 적용 가능), 처음부터 재훈련할 필요가 없음을 강조합니다. 이는 기존 개념 지우기 기술에 대한 계산 효율적이고 이론적으로 타당한 대안을 제공합니다.