기술 요약: 확산 모델을 위한 국소성 인지 지속적 언러닝 (Locality-Aware Continual Unlearning)

1. 문제 정의

텍스트-이미지 확산 모델(Diffusion Models)을 실제 환경에 배포하기 위해서는 특정 개념(예: 개인정보 보호, 저작권 또는 안전 규제로 인한 개념)을 순차적으로 제거하면서도, 다른 모든 콘텐츠를 생성하는 모델의 능력을 보존하는 **지속적 언러닝(Continual Unlearning, CUL)**이 필수적입니다.

기존의 언러닝 방법들은 주로 단일 단계(one-shot) 삭제를 위해 설계되었습니다. 이러한 방법들을 순차적으로 적용할 경우, 급격한 불안정성을 보이며 보통 3~5단계 만에 붕괴되는 현상이 나타납니다. 저자들은 이러한 실패의 원인으로 세 가지 복합적인 요인을 식별했습니다:

1. 조잡한 매핑 타겟 (Coarse Mapping Targets): 현재의 방법들은 다양한 '망각 프롬프트(forget prompts)'를 하나의 고정된 앵커(예: 빈 문자열 또는 일반적인 개념)로 재지정합니다. 이는 모든 프롬프트에 대해 모델의 스코어 필드(score field)에서 불필요하게 큰 변위를 강제하며, 결과적으로 생성적 충실도(generative fidelity)의 누적된 저하를 초래합니다.
2. 국소적 보호의 부재 (Lack of Local Protection): 언러닝은 "파급 효과(ripple effect)"를 유발하여, 내부 표현을 공유하는 의미론적 인접 개념들이 가장 큰 부수적 피해를 입게 됩니다. 기존의 글로벌 리플레이(global replay) 전략은 정규화를 균등하게 분배하기 때문에, 이러한 취약한 국소적 이웃들을 보호하지 못합니다.
3. 텍스트 공간과 모델 공간의 불일치 (Text-Space vs. Model-Space Mismatch): CLIP 임베딩과 같은 텍스트 공간의 유사성에 의존하는 방법들은 확산 모델이 프롬프트를 내부적으로 어떻게 처리하는지를 정확하게 반영하지 못합니다. CLIP 공간에서는 가까운 프롬프트일지라도 매우 다른 노이즈 예측을 유도할 수 있으며, 이는 순차적 단계에서 오류를 누적시키는 최적하지 못한 타겟 선택으로 이어집니다.

2. 방법론: 국소성 인지 지속적 언러닝 (LACU)

저자들은 LACU를 제안하며, 이는 타겟 선택과 리플레이 모두를 단일한 모델 인식 원칙인 **스코어 예측 거리(Score-Prediction Distance)**에 기반하도록 합니다. 이 지표는 공유된 노이즈가 섞인 잠재 상태(noisy latent states)에서 두 프롬프트 간의 노이즈 예측 차이를 측정하며, 이를 통해 모델 자체의 디노이징 경관(denoising landscape) 내에서의 근접성을 효과적으로 정량화합니다.

이 프레임워크는 각 지속적 단계 $i$에서 동결된 이전 모델 $\hat{\theta}_{i-1}$이 교사(teacher) 역할을 하고, 업데이트된 모델 $\theta_i$가 학생(student) 역할을 하는 다중 목적 교사-학생 프로세스로 작동합니다. 전체 손실 함수는 다음과 같이 정의됩니다:
$$\mathcal{L}_{\text{total}} = \lambda_{\text{unlearn}} \mathcal{L}_{\text{unlearn}} + \lambda_{\text{retain}} \mathcal{L}_{\text{retain}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}}$$

핵심 구성 요소:

1. 국소성 인지 타겟 선택 (Locality-Aware Target Selection):

   • 모든 망각 프롬프트를 고정된 앵커로 매핑하는 대신, LACU는 각 특정 망각 프롬프트에 대해 문맥을 보존하는 후보 대체 프롬프트를 생성합니다.
   • 원래의 망각 프롬프트와 스코어 예측 거리가 최소인 후보를 선택합니다.
   • 목표: 각 단계에서 학습된 스코어 필드의 섭동(perturbation)을 최소화하여, 업데이트가 최대한 작고 정밀하게 이루어지도록 합니다.

2. 국소성 인지 리플레이 (Locality-Aware Replay):

   • 프레임워크는 모델의 노이즈 예측 공간 내에서 망각 개념과 가장 가까운 유지 개념(retain concepts)을 식별합니다(동일한 스코어 예측 거리 지표 사용).
   • 이 근접 이웃들을 **국소적 기능 정규화 도구(local functional regularizer)**로서 리플레이합니다.
   • 목표: 글로벌 리플레이가 충분히 투자하지 못하는 취약한 영역을 직접 보호함으로써, 파급 효과로부터 가장 취약한 의미론적 이웃을 보호합니다.

3. 안정화 메커니즘 (Stabilization Mechanisms):

   • 교사-학생 증류 (Teacher-Student Distillation): 학생 모델은 선택된 매핑 타겟과 국소 리플레이 이웃 모두에 대해 교사 모델의 동작을 모방합니다.
   • 경량 $\ell_2$ 정규화 (Lightweight $\ell_2$ Regularization): 패널티 항($\|\theta_i - \hat{\theta}_{i-1}\|_2^2$)을 통해 순차적 단계에 따른 누적 파라미터 드리프트(parameter drift)를 제한합니다.

3. 주요 기여

• 순차적 불안정성 진단: 본 논문은 기존 방법들의 지속적 언러닝 시 발생하는 붕괴 원인을 조잡한 매핑, 국소적 보호의 부재, 그리고 텍스트 임베딩 유사성 지표의 부적절함으로 규명했습니다.
• 모델 인식 국소성 지표: 텍스트 임베딩 유사성(CLIP 등)을 대체하여, 모델의 디노이징 동작을 직접 측정하는 스코어 예측 거리를 우월한 개념 근접도 측정 지표로 도입했습니다.
• 이중 구성 프레임워크: 업데이트 크기를 최소화하고 취약한 이웃을 동시에 보호하기 위해, 동일한 지표로 결합된 '국소성 인지 타겟 선택'과 '국소성 인지 리플레이'를 통합했습니다.
• 안정적인 10단계 언러닝: 대부분의 베이스라인이 실패하는 환경에서도 LACU가 10회의 순차적 언러닝 단계 동안 안정적인 성능을 유지함을 입증했습니다.

4. 실험 결과

저자들은 Stable Diffusion v1.5를 사용하여 10가지의 다양한 개념(객체, 예술 스타일, 인물)을 5가지 무작위 순서로 순차적으로 언러닝하며 LACU를 평가했습니다.

• 베이스라인 대비 성능:
  • 유지 성능 (Retention): LACU는 최근의 베이스라인들(예: ESD, UCE, AGE, DUGE)보다 관련 유지 정확도(RRacc) 및 일반 유지 정확도(GRacc) 측면에서 성능이 크게 뛰어납니다. 공격적인 베이스라인들은 높은 언러닝 정확도를 달eric하지만 5~10단계 이후 RRacc/GRacc가 0에 가깝게 떨어지는 유지 붕괴를 겪는 반면, LACU는 높은 유지 점수(예: 10단계 후 RRacc $\approx$ 0.72, GRacc $\approx$ 0.87)를 유지합니다.
  • 언러닝 효능 (Unlearning Efficacy): LACU는 높은 언러닝 정확도(Uacc $\approx$ 0.90–0.99)를 달성하여, 관련 없는 콘텐츠 생성 능력은 희생하지 않으면서 타겟 개념을 효과적으로 제거합니다.
• 어블레이션 연구 (Ablation Studies):
  • 지표 선택: 스코어 예측 거리를 사용하여 선택하는 것이 CLIP 기반 또는 단순 고정 앵커 선택보다 장기적인 안정성 면에서 우수한 결과를 보였습니다.
  • 구성 요소 기여도: 국소 리플레이 구성 요소를 제거하면 누적된 파급 효과로 인해 유지 성능이 붕가됩니다. 정규화를 제거하면 파라미터 드리프트가 발생합니다. 관찰된 균형을 위해서는 두 요소의 결합이 필수적입니다.
• 정성적 분석: 시각적 비교를 통해, 베이스라인들은 (예: "Van Gogh"를 언러닝한 후 "Van Gogh 스타일" 생성을 실패하는 등) 유지된 개념의 품질을 저하시키는 반면, LACU는 타겟을 성공적으로 지우면서도 유지된 개념의 생성 품질을 보존함을 보여줍니다.

5. 의의 및 주장

본 논문은 국소성 인지 설계(locality-aware design)가 지속적 언러닝의 안정성을 결정짓는 핵심이라고 주장합니다. 언러닝을 전역적인 재지향이 아닌, 모델 자체의 표현 공간 내에서의 일련의 최소화되고 정밀한 섭동으로 취급함으로써, 모델 붕괴를 초래하는 오류의 누적을 방지합니다.

저자들은 이 방식이 전체 재학습을 요구하지 않으며 기존의 확산 아키텍처와 호환된다는 점을 강조합니다. 그러나 다음과 같은 한계점도 언급합니다:

• 현재 방법은 후보 프롬프트 생성을 위해 LLM에 의존하고 있으나, 핵심 선택 로직 자체는 모델 불가지론적(model-agnostic)입니다.
• 스타일 개념은 광범위하게 공유된 특징들로 인해 언러닝이 여전히 까다롭습니다.
• 실제 배포 시에는 수백, 수천 개의 순차적 삭제를 처리해야 할 수도 있으며, 이는 여전히 해결해야 할 과제입니다.
• 교사-학생 프레임워크는 동결된 모델 복사본을 유지해야 하므로, 단일 모델 접근 방식에 비해 메모리 및 계산 오버헤드가 증가합니다.

코드는 https://github.com/SonyResearch/LACU에서 확인할 수 있습니다.