Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models

1. 문제 정의 (Problem Definition)

텍스트 - 이미지 확산 모델 (Text-to-Image Diffusion Models) 은 창의적인 분야에서 널리 사용되지만, 학습 데이터의 특성상 유해한 콘텐츠 생성, 저작권 침해, 특정 예술가 스타일의 모방 등의 위험이 존재합니다. 이를 해결하기 위해 개념 소거 (Concept Erasure) 기술이 개발되어 왔습니다.

• 기존 방법의 한계:
  • 전역적 소거 (Global Erasure): 많은 기존 방법 (UCE, RECE 등) 은 모델 전체에서 특정 개념을 제거하려 시도하여, 원하지 않는 의미적 변화 (Semantic Drift) 를 초래하거나 전체 생성 품질을 저하시킵니다.
  • 국소적 소거의 부차적 문제 (Neighbor Gap): 최근 제안된 GLoCE 와 같은 국소적 (Localized) 소거 방법은 이미지의 특정 영역만 수정하려 하지만, 의미적으로 인접한 개념 (Neighbor Concepts) 을 실수로 함께 억제하는 문제가 발생합니다.
  • 예시: 특정 개 품종 (예: 'Bluetick') 을 지우려 할 때, 시각적/의미적으로 매우 유사한 다른 품종들 (예: 'Scent hound', 'Beagle' 등) 의 생성 품질도 함께 떨어지는 현상이 관찰됩니다.

이 논문은 이러한 "개념 간격 (Concept Neighborhood Gap)" 문제를 해결하고, 목표 개념만 정밀하게 제거하면서 의미적으로 인접한 이웃 개념은 보존하는 새로운 프레임워크를 제안합니다.

---

2. 제안 방법: NLCE (Neighbor-Aware Localized Concept Erasure)

NLCE 는 학습이 필요 없는 (Training-free) 프레임워크로, 세 가지 단계로 구성된 파이프라인을 통해 목표 개념을 제거하고 이웃 개념을 보호합니다.

단계 1: 표현 공간 변조 (Representation-Space Modulation)

• 목표: 토큰 수준의 표현 공간에서 목표 개념의 하위 공간 (Subspace) 을 억제하면서, 의미적으로 관련된 이웃 개념의 표현을 복원합니다.
• 기술적 세부사항:
  1. 타겟 서브스페이스 식별: SVD(특이값 분해) 를 사용하여 목표 개념 토큰들의 저차원 표현 기저를 구합니다.
  2. 스펙트럴 가중치 부여: 특이값의 중요도에 따라 억제 강도를 조절하는 스펙트럴 확장 메커니즘을 적용하여 목표 방향을 감쇠시킵니다.
  3. 이웃 개념 마이닝: 외부 데이터 풀 (예: 위키피디아) 에서 목표 개념과 유사한 이웃 개념들을 검색하고, 구체성 (Concreteness) 과 인기도 필터링을 거쳐 최종 이웃 집합을 구성합니다.
  4. 재주입 (Re-injection): 이웃 개념들의 하위 공간을 구성하여, 목표 개념을 억제하는 과정에서 이웃 개념의 의미적 정보가 손실되지 않도록 보정합니다.
  5. 크로스 어텐션 재작성: 변조된 프로젝션 연산자 ($P_c$) 를 UNet 의 Key/Value 행렬에 적용하여 전역적으로 일관된 개념 제거를 수행합니다.

단계 2: 어텐션 기반 공간 게이팅 (Attention-Guided Spatial Gating)

• 목표: 1 단계에서 제거되지 않고 남아있는 잔류 (Residual) 개념 활성화 신호를 공간적으로 위치를 파악하고 억제합니다.
• 기술적 세부사항:
  1. 잔류 영향 탐지: 수정된 임베딩으로 UNet 을 한 번 실행 (Dry Pass) 하여 어텐션 맵을 추출합니다. 목표 개념 토큰의 활성화 점수를 계산하여 '라이브 토큰 (Live Token)' 집합을 식별합니다.
  2. 게이트 맵 생성: 라이브 토큰들의 어텐션 맵을 합산하여, 목표 개념이 여전히 존재할 가능성이 높은 공간적 영역 (픽셀) 을 나타내는 게이트 맵 ($G_t$) 을 생성합니다.
  3. 어텐션 억제: 두 번째 실행 (Second Pass) 시, 생성된 게이트 맵이 활성화된 영역에서 목표 토큰에 대한 어텐션 가중치를 줄입니다.

단계 3: 게이트된 특징 정제 (Gated Feature Clean-up)

• 목표: 2 단계에서 식별된 영역에서 잔류 신호를 물리적으로 제거하여 재발생을 방지합니다.
• 기술적 세부사항:
  1. 마스크 생성: 게이트 맵을 UNet 의 각 레이어 해상도에 맞게 업샘플링하고 이진화하여 마스크를 생성합니다.
  2. 하드 소거 (Hard Erasure): 마스크가 활성화된 영역의 잠재 특징 (Latent Features) 을 직접 0 으로 설정합니다. 이는 프로젝션 기반 억제보다 강력하며, 잔류 개념이 복구되는 것을 방지합니다.

---

3. 주요 기여 (Key Contributions)

1. 개념 간격 (Concept Neighborhood Gap) 의 규명: 국소적, 학습 불필요 개념 소거 방법에서 목표 개념과 의미적으로 인접한 개념이 함께 억제되는 현상을 발견하고 이를 공식화했습니다.
2. NLCE 프레임워크 제안: 스펙트럴 가중치 변조, 어텐션 기반 공간 게이팅, 게이트된 특징 정제를 결합하여 목표 개념은 완전히 제거하되 이웃 개념은 보존하는 새로운 파이프라인을 제안했습니다.
3. 광범위한 실험 검증: 미세한 분류 (Fine-grained) 데이터셋, 유명인 신원, 노골적 콘텐츠, 예술적 스타일 등 다양한 시나리오에서 기존 방법 (GLoCE, MACE, RECE 등) 보다 우수한 성능을 입증했습니다.

---

4. 실험 결과 (Results)

• 미세 분류 데이터셋 (Oxford Flowers, Stanford Dogs):

  • 목표 개념 (예: 특정 꽃이나 개 품종) 을 제거하면서도 시각적으로 유사한 이웃 클래스의 생성 정확도 (Retain Accuracy) 를 기존 방법보다 훨씬 높게 유지했습니다.
  • Ho (Harmonic Mean): 소거 정확도와 유지 정확도의 균형을 나타내는 지표에서 모든 베이스라인을 압도했습니다.
  • 시각적 품질: CLIP Score 와 KID(Kernel Inception Distance) 를 통해 이미지 - 텍스트 정렬과 시각적 품질이 유지됨을 확인했습니다.

• 유명인 신원 소거 (Celebrity Dataset):

  • 한 이미지 내의 특정 유명인 (예: Elon Musk) 만 제거하고 다른 유명인 (예: Bill Clinton) 은 정확히 유지하는 능력을 입증했습니다.
  • 비목표 영역의 왜곡을 측정하는 LPIPSu 지표에서 SLD, GLoCE 보다 우수한 성능을 보였습니다.

• 노골적 콘텐츠 및 예술적 스타일:

  • I2P 벤치마크에서 노골적 콘텐츠 제거율 (NudeNet 감지 감소) 이 높았으며, 동시에 일반 생성 품질 (CLIP Score) 을 유지했습니다.
  • 예술가 스타일 (Van Gogh 등) 제거 시, 다른 예술가들의 스타일 보존 능력이 뛰어났습니다.

• 다중 개념 소거:

  • 10 개의 개 품종이나 꽃 종류를 동시에 제거하는 실험에서도 NLCE 는 다른 클래스의 생성 능력을 유지하면서 목표 개념을 효과적으로 제거했습니다.

• 효율성:

  • 학습 기반 방법 (MACE, SPM 등) 에 비해 계산 비용이 낮으며, 추론 시간만 추가되어 전체적인 효율성이 높습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 텍스트 - 이미지 생성 모델의 안전성과 통제 가능성을 높이는 데 중요한 기여를 합니다.

1. 정밀한 제어: 단순히 개념을 '지우는' 것을 넘어, 어떤 개념을 지우고 어떤 개념은 남겨야 하는지를 의미적 관계 (Neighbor Structure) 를 고려하여 정밀하게 제어할 수 있음을 증명했습니다.
2. 실용성: 추가 학습 (Fine-tuning) 이 필요 없어 기존 모델에 즉시 적용 가능하며, 계산 자원을 효율적으로 사용합니다.
3. 미래 지향성: 저작권 보호, 유해 콘텐츠 필터링, 개인 정보 보호 등 다양한 실제 응용 분야에서 모델의 안전성을 확보하면서도 창의적인 생성 능력을 유지할 수 있는 강력한 기반을 제공합니다.

결론적으로, NLCE는 개념 소거 기술의 한계였던 '부정적 영향 (Collateral Damage)'을 해결하고, 지역적 (Localized) 이자 의미적 (Semantic) 으로 정밀한 소거를 가능하게 하는 획기적인 접근법입니다.