1. 문제 정의 (Problem Definition)

텍스트-to-이미지 생성 모델 (Diffusion Models) 은 뛰어난 화질과 다양성을 보여주지만, 대규모 학습 데이터에 내재된 편향으로 인해 원치 않거나 위험한 콘텐츠 (예: 폭력, 성인물, 특정 저작권 스타일 등) 를 생성할 수 있습니다. 이를 해결하기 위해 '개념 소거 (Concept Erasure)' 기술이 개발되었으나, 기존 방법론들은 다음과 같은 한계를 겪고 있습니다.

• 텍스트 기반 방법의 한계: 텍스트 프롬프트만 사용하여 개념을 소거하는 기존 방법 (ESD, UCE 등) 은 특정 프롬프트에 의존적입니다. 의미는 같지만 표현이 다른 프롬프트 (예: '총' 대신 '화기', '무기' 등) 나 적대적 프롬프트 (Adversarial Prompts) 에는 소거가 불완전하여 개념이 다시 활성화될 수 있습니다.
• 이미지 보조 방법의 한계: 최근 이미지 참조를 도입한 방법 (Co-Erasing 등) 은 소거의 정확도를 높이지만, 시각적 유사성으로 인해 과도한 소거 (Over-erasure) 가 발생합니다. 예를 들어, '총 (gun)'을 소거할 때 시각적 형태가 비슷한 '카메라 (camera)'나 '휴대폰 (phone)'까지 함께 소거되어 모델의 유용성이 떨어집니다.
• 평가의 부재: 기존 평가 지표는 소거 효과 (Erasure Efficacy) 에만 집중하고, 소거 후 관련 개념이 얼마나 잘 보존되는지 (Contextual Fidelity) 를 충분히 평가하지 못합니다.

핵심 문제: 정확한 타겟 개념 소거 (Erasing Precision) 와 무관한 관련 개념의 보존 (Contextual Fidelity) 사이의 균형을 맞추는 것입니다.

---

2. 제안 방법: TICoE (Methodology)

저자들은 TICoE (Text-Image Collaborative Erasing) 프레임워크를 제안합니다. 이는 텍스트와 이미지의 상호 보완적 강점을 활용하여 정밀하고 충실한 (Faithful) 개념 소거를 달성합니다.

2.1. 연속 볼록 개념 매니폴드 (Continuous Convex Concept Manifold, CCCM)

• 목적: 텍스트 프롬프트의 다양성을 포괄하여 적대적 프롬프트에 대한 소거 강건성을 높입니다.
• 구현:
  • GPT 를 활용하여 타겟 개념과 관련된 다양한 프롬프트 집합을 자동 생성합니다.
  • 이 프롬프트들의 임베딩을 기반으로 볼록 조합 (Convex Combination) 을 수행하여 연속적인 개념 매니폴드를 구성합니다.
  • Dirichlet 분포를 사용하여 가중치를 샘플링하고, Gaussian 노이즈를 추가하여 국소적 변이성을 확보합니다.
  • 이를 통해 단일 프롬프트가 아닌, 개념의 전체적인 의미 공간 (Semantic Hull) 을 커버하여 소거가 불완전한 경우를 방지합니다.

2.2. 계층적 시각 표현 학습 (Hierarchical Visual Representation Learning, HVRL)

• 목적: 시각적 유사성으로 인한 과도한 소거를 방지하고, 타겟 개념과 비타겟 개념을 정밀하게 구분합니다.
• 구현:
  • 타겟 개념에 대한 참조 이미지를 생성하고, 이를 VAE 를 통해 잠재 공간 (Latent Space) 으로 인코딩합니다.
  • 다중 스케일 (Multi-scale) 로 레이어를 조정하여 시각적 특징을 추출하고, Transformer 인코더를 통해 계층적 시각 표현을 학습합니다.
  • 이 시각적 정보는 텍스트 매니폴드와 융합되어, U-Net 에 입력됩니다.
  • 효과: 모델이 타겟 개념의 핵심 특징 (Causal features) 과 단순히 시각적으로 유사하지만 의미적으로 다른 특징 (Correlated features) 을 구분하도록 도와주어, '총'은 지우되 '카메라'는 남기는 정밀한 소거가 가능해집니다.

2.3. 개념 소거 손실 함수 (Concept Erasure Loss)

• 분류기 없는 안내 (Classifier-Free Guidance, CFG) 원리를 기반으로, 학습 가능한 U-Net 이 타겟 개념을 억제하면서도 무해한 프롬프트의 분포는 유지하도록 손실 함수를 설계했습니다.

---

3. 주요 기여 (Key Contributions)

1. TICoE 프레임워크 제안: 텍스트 (CCCM) 와 이미지 (HVRL) 를 협업적으로 활용하여, 기존 방법들보다 정밀한 개념 소거와 높은 생성 충실도를 동시에 달성했습니다.
2. MCP (Morpho-Contextual Concept Preservation) 지표 도입: 소거 후 시각적/문맥적으로 유사하지만 의미적으로 다른 개념 (예: 총 vs 카메라) 이 얼마나 잘 보존되는지를 평가하는 새로운 사용성 지표를 제안했습니다.
3. 성능 입증: 다양한 벤치마크 (총, 성적인 콘텐츠, 반 고흐 스타일 등) 에서 기존 최첨단 방법 (ESD, UCE, Co-Erasing 등) 을 능가하는 성능을 보였습니다.

---

4. 실험 결과 (Results)

• 소거 효과 (Erasure Efficacy):
  • ASR (Attack Success Rate), UDA, P4D 지표에서 TICoE 는 가장 낮은 값을 기록하여, 적대적 프롬프트 공격에도 타겟 개념이 효과적으로 소거됨을 증명했습니다. (예: '총' 소거 시 ASR 0.00, UDA 0.02)
• 내용 충실도 및 보존 (Fidelity & Preservation):
  • FID와 CLIP 점수는 기존 방법과 유사하거나 더 우수하여, 생성된 이미지의 품질이 유지됨을 확인했습니다.
  • MCP 지표: '총'을 소거했을 때 관련 개념인 '카메라'와 '휴대폰'의 보존율이 기존 방법 (Co-Erasing 등) 에 비해 압도적으로 높았습니다. (예: 카메라 MCP 92.06% vs Co-Erasing 39.68%)
• 일반화 능력:
  • Stable Diffusion v1.4, v1.5, v2.0 등 다양한 백본 모델에서 일관된 성능을 보였습니다.
  • 성적인 콘텐츠 (Nudity), 예술 스타일 (Van Gogh), 객체 (Gun, Tench, Church) 등 다양한 카테고리에서 정밀한 소거가 가능함을 시각화 결과를 통해 입증했습니다.
• 다중 개념 소거: 여러 개념을 동시에 소거할 때도 상호 간섭 없이 성공적으로 수행되었습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 텍스트 생성 모델의 안전성을 확보하는 데 있어 단순한 텍스트 프롬프트 기반 접근의 한계를 극복했다는 점에서 중요합니다.

• 정밀한 제어: 시각적 맥락과 텍스트 의미 공간을 동시에 학습함으로써, "무엇을 지울지"와 "무엇을 남길지"를 정밀하게 구분하는 능력을 갖추게 되었습니다.
• 실용성: 과도한 소거로 인한 모델의 기능 저하를 방지하여, 안전하면서도 유용한 생성 모델을 유지할 수 있는 실용적인 솔루션을 제공합니다.
• 새로운 평가 패러다임: 단순한 소거 성공률뿐만 아니라, 소거 후 모델의 '사용 가능성 (Usability)'을 평가하는 MCP 지표와 같은 새로운 평가 기준을 제시하여 향후 연구 방향을 제시했습니다.

결론적으로 TICoE 는 텍스트 - 이미지 협업 방식을 통해 책임 있는 AI 생성 (Responsible Unlearning) 을 위한 새로운 표준을 제시하며, 생성 모델의 윤리적 안전성과 실용적 유용성을 동시에 확보하는 데 기여합니다.