Modular Energy Steering for Safe Text-to-Image Generation with Foundation Models

1. 문제 정의 (Problem)

텍스트-이미지 (T2I) 생성 모델은 창의적 워크플로우에 필수적이 되었으나, 성인물 (NSFW), 저작권 침해, 특정 인물의 동의 없는 생성 등 안전성 문제가 심각한 과제로 대두되었습니다. 기존 안전성 해결 방안은 다음과 같은 한계가 있습니다:

• 입력/출력 필터링: 높은 오검출률 (False Positive) 과 적대적 프롬프트 공격에 취약합니다.
• 모델 가중치 수정 (Unlearning/Fine-tuning): 별도의 "포기 (Forget)" 및 "유지 (Retain)" 데이터셋이 필요하며, 학습 후 생성 품질 저하나 일반화 능력 감퇴를 초래합니다.
• 기존 추론 시 조정 (Inference-time Steering): 프롬프트 임베딩 수준에서의 조정만으로는 성능이 부족하거나, 여전히 정제된 이미지 데이터셋이 필요한 경우가 많습니다.

따라서, 모델 가중치를 수정하지 않고 (Training-free), 별도의 데이터셋 없이도 (Dataset-free) 강력한 안전성을 확보하면서도 생성 품질을 유지하는 방법이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 추론 시 (Inference-time) 에 **고정된 (Frozen) 사전 학습된 비전 - 언어 기초 모델 (Foundation Models, 예: CLIP, VLM)**을 "의미 에너지 추정기 (Semantic Energy Estimator)"로 활용하는 새로운 에너지 기반 샘플링 프레임워크를 제안합니다.

핵심 아이디어

• 에너지 기반 안전성 조정: 생성 과정을 에너지 함수를 최소화하는 문제로 재정의합니다. 안전하지 않은 개념 (예: 나체, 특정 유명인) 이 포함될 경우 페널티 (에너지) 를 부과하여 생성 방향을 수정합니다.
• 청정 잠재 공간 (Clean Latent) 피드백: 각 샘플링 단계에서 생성된 노이즈가 제거된 잠재 상태 ($\hat{x}_{0|t}$) 를 추정하여, 이를 기초 모델에 입력합니다. 기초 모델은 해당 이미지가 위험한 개념을 포함하는지 확률 (Logit) 을 반환합니다.
• 그라디언트 주입: 기초 모델이 반환한 안전성 점수 (Safety Score) 를 기반으로 그라디언트를 계산하여, 생성 모델의 스코어 필드 (Score Field) 에 안전성 가이드 (Safety Guidance) 를 주입합니다. 이는 생성 과정을 안전한 영역으로 유도합니다.

구체적 구현

1. CLIP 기반 추정:
   • 사용자가 정의한 '블랙리스트' (위험 개념) 와 '일반 개념' (안전 개념) 을 텍스트 임베딩으로 변환합니다.
   • CLIP 의 이미지 - 텍스트 유사도 점수를 이용해, 위험 개념의 평균 로그 확률과 일반 개념의 평균 로그 확률 차이를 계산하여 에너지 신호로 활용합니다.
2. VLM (Vision-Language Model) 기반 추정:
   • "이 이미지에 [위험 개념] 이 포함되어 있습니까?"라는 이진 질문 (Yes/No) 을 VLM 에게 던집니다.
   • VLM 의 다음 토큰 예측 확률 (Yes vs No) 차이를 그라디언트 신호로 변환하여 생성 과정을 제어합니다.
3. 확장성:
   • 모델 가중치 수정이 없으므로, 새로운 금지 개념이 추가될 경우 단순히 블랙리스트 텍스트를 업데이트하기만 하면 되며, 여러 개념을 동시에 제어하는 다중 타겟 조정이 가능합니다.

3. 주요 기여 (Key Contributions)

1. 에너지 기반 안전성 조정 공식화: T2I 생성의 안전성 제어를 에너지 기반 샘플링 문제로 공식화하여, 이론적으로 정합적인 가이드 방식을 제시했습니다.
2. 기초 모델을 에너지 추정기로 활용: 추가 학습 없이 CLIP 이나 VLM 과 같은 오프더셸 (Off-the-shelf) 기초 모델을 실시간 안전성 감시자로 활용하여, 강력한 의미적 제어를 가능하게 했습니다.
3. 데이터셋 불필요 및 확장성: 모델 재학습이나 커스텀 데이터셋 없이 사용자 정의 텍스트 블랙리스트만으로 작동하며, 확산 (Diffusion) 및 플로우 매칭 (Flow-matching) 모델 등 다양한 아키텍처에 적용 가능합니다.

4. 실험 결과 (Results)

• NSFW (성인물) 억제: P4D, Ring-A-Bell, MMA-Diffusion 등 다양한 적대적 공격 벤치마크에서 기존 최첨단 방법 (SAFREE, CURE, SafeDenoiser 등) 과 비교해 **최고 수준의 공격 성공률 감소 (ASR)**를 보였습니다.
• 생성 품질 유지: 안전성 조정을 적용했음에도 COCO-30K 데이터셋에서 FID 점수와 CLIP 점수가 원본 모델과 거의 유사하게 유지되어, 안전성과 품질 간의 트레이드오프를 최소화했습니다.
• 정체성 (Identity) 제어: 엘론 머스크, 마크 저커버그 등 10 개 이상의 유명인 및 20 개 이상의 확장된 정체성에 대해 정밀한 제어가 가능함을 입증했습니다.
  • 다중 타겟: 2 개에서 9 개 (심지어 18 개) 의 유명인을 동시에 차단하면서도, 차단되지 않은 다른 유명인의 생성은 정상적으로 유지되는 것을 확인했습니다.
• 최신 모델 호환성: Stable Diffusion v1.4 뿐만 아니라, 최신 Flow-matching 기반 모델인 Stable Diffusion v3.0 및 v3.5에서도 동일한 효과를 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 AI 의 안전성 문제를 해결하기 위해 모델의 내부 구조를 변경하는 대신, 외부의 강력한 기초 모델 (Foundation Models) 을 '판사 (Judge)'처럼 활용하는 모듈식 접근법을 제시했습니다.

• 실용성: 추가 학습 비용과 데이터 수집 부담 없이, 텍스트 리스트 하나만으로 즉시 배포 가능한 안전성 솔루션을 제공합니다.
• 유연성: 새로운 규제 대상 (예: 특정 연예인, 저작권 이미지) 이 발생할 때 모델 재학습 없이 즉시 대응할 수 있어, 빠르게 변화하는 규제 환경에 적합합니다.
• 효율성: 추론 시간당 약 2~10 초의 추가 오버헤드가 발생하지만, 데이터 정제 및 파인튜닝에 드는 막대한 비용을 고려할 때 안전성과 효율성 간의 균형 잡힌 해결책으로 평가됩니다.

결론적으로, 이 프레임워크는 기초 모델을 의미적 에너지 추정기로 재사용함으로써, 신뢰할 수 있고 확장 가능한 텍스트-이미지 생성 안전성 제어의 새로운 패러다임을 제시합니다.