기술 요약: TILDE (TILt-based Distributional Erasure for Concept Unlearning)

문제 정의

텍스트-이미지 확산 모델(diffusion models)에서 개념 망각(concept unlearning)은 개인정보 보호, 저작권 및 안전 문제를 해결하기 위해 필수적이며, 학습된 특정 원치 않는 개념(예: 특정 예술가, 캐릭터 또는 사물)을 억제하는 것을 요구합니다. 그러나 기존 방법들은 결정적인 트레이드오프에 직면해 있습니다: 효과적인 망각은 종종 "보존 실패(retention failure)"로 이어져, 무해하거나 의미론적으로 연관된 일반적인 프롬프트의 생성 능력을 저하시킵니다.

현재의 접근 방식들은 일반적으로 다음 중 하나에 의존합니다:

• 직접 억제(Direct suppression): 개념 점수를 페널티화하며, 이는 종종 인접한 무해한 개념에 부수적인 피해(collateral damage)를 입힙니다.
• 앵커 기반 편집(Anchor-based editing): 망각할 개념을 타겟 개념으로 매핑하지만, 특히 순차적인 삭제 요청이 있을 때 불안정성과 편향을 초래합니다.
• 보상 기반 최적화(Reward-based optimization): 스칼라 형태의 망각 보상을 최대화하며, 이는 생성을 좁은 범위의 안전한 출력으로 집중시켜 다양성을 붕괴시킵니다.

근본적인 문제는 이러한 방법들이 원하는 **망각 후의 분포(post-unlearning distribution)**를 명시적으로 정의하지 않는다는 점입니다. 결과적으로 보존(retention)은 업데이트 규칙의 암묵적인 결과로 취급되며, 이는 원치 않는 데이터를 제외하고 처음부터 학습된 가상의 "보존 전용(retain-only)" 모델과 비교했을 때 하위 최적의 분포적 충실도(distributional fidelity)를 나타내게 됩니다.

방법론: TILDE

저자들은 TILDE(TILt-based Distributional Erasure)를 제안하며, 이를 개념 망각을 **제약된 분포 정렬 문제(constrained distributional alignment problem)**로 재정의합니다. TILDE는 국소적인 억제나 앵커 교체가 아니라, 망각 제약 조건을 만족하면서 사전 학습된 모델과의 편차를 최소화하는 조건부 분포를 찾고자 합니다.

1. 이론적 정식화

타겟은 다음과 같은 제약된 쿨백-라이블러(KL) 투영의 해로 정의됩니다:
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
제약 조건:
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

여기서:

• $p_{pre}$는 사전 학습된 조건부 분포입니다.
• $E_C(x)$는 이미지 $x$에 나타나는 개념 $C$의 증거를 정량화하는 "망각 에너지(forget energy)"입니다.
• 이 해는 **에너지 틸팅된 깁스 분포(energy-tilted Gibbs distribution)**의 형태를 띱니다:
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

이 정식화는 개념을 표현하는 이미지의 가중치는 낮추는 동시에, 무해한 이미지는 사전 학습된 상대적 가능성을 유지하도록 보장합니다(앵커 프리 방식).

2. 실질적 대리물: 임계값 처리된 CLIP 에너지

추상적인 에너지 $E_C$를 구현하기 위해, TILDE는 **임계값 처리된 CLIP 기반 대리물(thresholded CLIP-based surrogate)**을 사용합니다.

• 개념 프로브(Concept Probes): "피카츄", "피카츄 사진"과 같은 일련의 텍스트 기술자 $Q_C$를 사용하여 평균 CLIP 유사도 점수 $s_C(x)$를 계산합니다.
• 임계값 처리(Thresholding): 망각 에너지 $eE_C(x)$는 $s_C(x) \le \tau$인 경우(무해한 영역) 0이 되며, $s_C(x) > \tau$인 경우 지수적으로 증가하도록 정의됩니다.
• 의의: 임계값 $\tau$는 "페널티 없음" 영역을 생성하여, 개념 유사도가 낮은 무해한 이미지에 그레디언트(gradient)가 영향을 미치는 것을 방지함으로써 국소적 보존을 유지합니다.

3. Residual $\nabla$-GFlowNet을 통한 최적화

확산 모델에서 이 틸팅된 분포를 구현하기 위해, TILDE는 residual $\nabla$-GFlowNet 학습을 채택합니다.

• 목표: 사전 학습된 샘플러를 에너지 틸팅된 타겟으로 변환하기 위해 필요한 스코어 보정(score correction)을 학습하는 것입니다.
• 메커니즘: 전체 샘플러를 처음부터 학습하는 대신, 모델은 디노이징 궤적을 조정하는 잔차 연속 스코어(residual continuation score) $h_\phi$를 학습합니다.
• 손실 함수: 학습은 터미널 망각 에너지를 가이드로 하여, 적응된 디노이저와 사전 학습된 디노이저 사이의 국소적 일관성을 강제하는 순방향 및 역방향 손실($L_{fwd}, L_{rev}$)을 최소화합니다.
• 구현: 업데이트는 어텐션 레이어의 LoRA 어댑터로 제한되어 파라미터 효율성을 보장하고 업데이트 편향을 최소화합니다.

주요 기여

1. 분포적 정식화: 본 논문은 개념 망각을 제약된 분포 정렬 문제로 정식화하고, 앵커가 없는 최소 편차 깁스 타겟을 도출했습니다.
2. TILDE 알고리즘: 임계값 처리된 CLIP 에너지와 확산 잠재 공간에서의 residual $\nabla$-GFFlowNet 학습을 사용하는 실질적인 구현체를 도입했습니다.
3. 경험적 검증: 이 방법은 사물, 예술 스타일, 캐릭터를 대상으로 평가되었으며, 기존 베이스라인들에 비해 높은 보존 성능을 유지하면서도 효과적인 망각을 달행함을 입증했습니다.

실험 결과

저자들은 약 60개의 개념(사물, 캐릭터, 스타일, 누드)에 대해 Stable Diffusion v1.5에서 TILDE를 평가했습니다.

• 성능: TILDE는 거의 완전한 망각(예: 캐릭터에 대해 0.99의 Unlearning Accuracy)을 달성하는 동시에, 관련 보존(Related Retention)(의미론적으로 인접한 개념 보존) 및 일반 보한(General Retention) 측면에서 기존 베이스라인들을 크게 앞섭니다.
• 비교:
  • 강한 삭제 (예: MACE): 높은 망각 성능을 보이지만 보존 능력을 파괴합니다 (Related Retention이 ~0.17로 급락).
  • 부드러운 억제 (예: ESD): 보존 능력은 유지하지만 충분한 망각을 달성하지 못하는 경우가 많습니다.
  • 앵커 기반 (예: CA, UCE): 품질은 개선되지만 명시적인 보존 세트에 의존하며 여전히 잔류 개념 증거를 남깁니다.
  • TILDE: 높은 망각을 달성하면서도 명시적인 보존 감독이나 앵커 개념 없이도 파레토 최적선(Pareto frontier)에 위치합니다.
• 절제 연구(Ablation Studies):
  • $\nabla$-form을 제거하면(절대적 flow 타겟 사용) 망각 성능이 붕괴됩니다.
  • 잔차(residual) 구성 요소를 제거하면 전체 스코어 필드가 업데이트를 흡수하게 되어 일반적인 보존 능력이 저하됩니다.
  • 에너지 임계값을 제거하면 치명적인 보존 붕괴가 발생하며, 이는 "페널티 없음" 영역의 필요성을 확인시켜 줍니다.
• 분포 지표: TIL데는 베이스라인들에 비해 더 낮은 FADE(Functional Alignment Distance) 및 FID 점수를 보여, 이상적인 "보존 전용" 분포에 더 가깝게 정렬됨을 나타냅니다.

의의 및 주장

본 논문은 TILDE가 명시적인 타겟 분포를 정의함으로써 현재의 망각 방법들이 가진 "보존 실패" 문제를 해결한다고 주장합니다. TILDE는 다음과 같은 함정들을 피합니다:

• 직접적인 억제로 인한 부수적 피해(collateral damage).
• 보상 최대화로 인한 다양성 붕괴(diversity collapse).
• 고정된 앵커 매핑으로 인한 불안정성(instability).

저자들은 TILDE가 망각 제약 조건을 만족하는 "자연스러운 최소 수정" 모델이라고 주장합니다. 임계값 처리된 에너지는 무해한 개념이 페널티를 받지 않도록 보장하며, residual $\nabla$-GFlowNet 프레임워크는 고차원 잠재 공간에서 이러한 분포 타겟을 구현하는 효율적인 메커니즘을 제공합니다. 이 연구는 향후 망각 연구가 업데이트 규칙을 선택하기 전에 타겟 분포를 정의하는 것을 우선시해야 함을 시사합니다.