When Safety Collides: Resolving Multi-Category Harmful Conflicts in Text-to-Image Diffusion via Adaptive Safety Guidance

이 논문은 여러 유해 카테고리 간의 충돌로 인해 기존 안전 가이드 방식이 오히려 유해 생성률을 높이는 문제를 해결하기 위해, 생성 단계에서 유해 카테고리를 동적으로 식별하고 해당 카테고리에만 정밀하게 안전 조향을 적용하는 'CASG'라는 훈련 없는 프레임워크를 제안합니다.

핵심

이 논문은 **"안전한 그림을 그리려다, 오히려 더 위험한 그림이 나오는 아이러니"**를 해결한 새로운 기술을 소개합니다.

한마디로 요약하면: **"AI 가 그림을 그릴 때, '나쁜 것'을 막아주는 안전장치가 여러 개 붙어 있으면 서로 싸워서 오히려 안전장치가 무너지는 경우가 있는데, 이걸 똑똑하게 하나만 골라 쓰는 방법을 개발했다"**는 내용입니다.

이해하기 쉽게 **요리사 (AI)**와 **식중독 방지 요원 (안전 가이드)**의 비유로 설명해 드릴게요.

---

1. 문제 상황: "모든 나쁜 음식을 막으려다, 정작 맛있는 음식까지 망친다"

배경:
최근 AI(텍스트-to-이미지 모델) 는 입력된 문장을 보고 아주 멋진 그림을 그려줍니다. 하지만 가끔은 폭력적이거나 선정적인 그림을 그릴 수도 있어서, 우리는 AI 에게 **"나쁜 그림은 절대 그리지 마!"**라고 안전장치를 달아줍니다.

기존 방식의 실수 (혼란스러운 주방):
기존의 안전장치는 **"나쁜 음식 목록 (혐오, 폭력, 성, 불법 등)"**을 모두 한데 모아놓고, "이 목록에 있는 것들은 다 금지해!"라고 AI 에게 지시했습니다.

하지만 여기서 문제가 생깁니다.

• 상황: AI 가 "선정적인 그림"을 그리려 할 때, 안전장치는 "성 (Sex)"을 막으려 합니다.
• 혼란: 그런데 동시에 "혐오 (Hate)"를 막으려는 안전장치가 끼어들면, 두 가지 금지 명령이 서로 충돌합니다.
  • "성"을 막으려면 오른쪽으로 가라.
  • "혐오"를 막으려면 왼쪽으로 가라.
  • 결과: AI 는 "어디로 가야 하지?"라며 당황하다가, 두 명령이 서로를 상쇄시켜버려 결국 "성" 그림도 막지 못하고, "혐오" 그림도 막지 못하는 최악의 상황이 발생합니다.

이를 논문에서는 **"안전 충돌 (Harmful Conflict)"**이라고 부릅니다. 마치 주방에 식중독 방지 요원이 너무 많아서 서로 "이게 독이야!", "아니 그건 아니야!"라고 싸우는 바람에, 정작 독이 든 음식을 건드리지 못하고 넘어가는 상황과 같습니다.

2. 해결책: CASG (똑똑한 안전 요원)

저자들은 이 문제를 해결하기 위해 **CASG(Conflict-aware Adaptive Safety Guidance)**라는 새로운 시스템을 만들었습니다.

핵심 아이디어:
"모든 나쁜 것을 동시에 막으려 하지 말고, 지금 AI 가 그리는 그림에 가장 관련 있는 '나쁜 것' 하나만 골라 정확히 막아라!"

어떻게 작동할까요? (비유: 현명한 주방장)

1. CaCI (상황 파악): AI 가 그림을 그리는 순간순간을 지켜봅니다. "아, 지금 AI 가 '선정성' 쪽으로 치우치고 있네? 아니면 '폭력' 쪽으로 가고 있나?"라고 실시간으로 감지합니다.
2. CrGA (정확한 조치):
   • 만약 AI 가 '선정성' 쪽으로 가고 있다면, "성" 관련 안전장치만 딱 작동시킵니다.
   • 이때 다른 "폭력"이나 "혐오" 관련 안전장치는 잠시 쉬게 합니다.
   • 효과: 서로 싸우지 않고, 가장 필요한 안전장치가 혼자서 강력하게 작동합니다.

이 방법은 AI 의 모델을 다시 훈련시킬 필요도 없고, 기존 시스템에 바로 끼워 넣을 수 있는 (Plug-and-play) 방식이라 매우 효율적입니다.

3. 결과: "안전도 지키고, 그림도 잘 그린다"

실험 결과, 이 새로운 방법 (CASG) 을 쓰면:

• 위험한 그림이 15.4% 더 줄었습니다. (기존 방법보다 훨씬 안전해짐)
• 안전한 그림 (예: 개, 고양이, 풍경) 은 예전과 똑같이 잘 그려졌습니다. (안전장치가 너무 강해서 그림이 뭉개지는 현상이 사라짐)

4. 결론: 왜 이 논문이 중요할까?

이 논문은 **"안전하다고 해서 무조건 많은 안전장치를 다 달면 좋은 게 아니다"**라는 교훈을 줍니다. 오히려 서로 충돌하는 안전장치가 AI 를 혼란스럽게 만들어, 더 위험한 결과를 낳을 수 있습니다.

한 줄 요약:

"AI 가 그림을 그릴 때, 모든 나쁜 것을 막으려다 서로 부딪히는 안전장치를 정리하고, 지금 필요한 안전장치 하나만 똑똑하게 골라 쓰는 기술을 개발해서, AI 가 더 안전하고 깔끔하게 그림을 그릴 수 있게 만들었습니다."

이 기술은 앞으로 우리가 AI 를 사용할 때, 원하지 않는 나쁜 콘텐츠가 섞여 나오는 일을 크게 줄여줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

텍스트 - 이미지 (T2I) 확산 모델은 고품질 이미지 생성 능력을 보여주지만, 혐오, 성폭력, 폭력, 불법 행위 등 다양한 유해 콘텐츠를 생성할 수 있다는 안전 문제가 존재합니다. 이를 해결하기 위해 기존 연구들은 안전 가이드 (Safety Guidance) 방식을 도입하여 유해한 생성 영역 (Harmful Zone) 에서 생성 경로를 벗어나도록 유도합니다.

그러나 기존 방법론 (예: SLD, SAFREE 등) 은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 단순한 키워드 집계: 여러 유해 카테고리 (예: '혐오', '성적', '폭력') 를 하나의 키워드 집합으로 단순히 연결하여 통합된 안전 방향 (Safety Direction) 을 계산합니다.
• 유해 충돌 (Harmful Conflicts): 서로 다른 유해 카테고리 간의 안전 방향이 서로 불일치하거나, 상쇄되거나, 심지어 반대 방향으로 작용할 수 있습니다.
  • 방향 불일치 (Directional Inconsistency): 특정 유해 카테고리 (예: 성적 콘텐츠) 에 대한 입력 프롬프트에 다른 카테고리 (예: 혐오) 의 안전 방향을 적용하면, 오히려 유해성이 증가하거나 의도치 않은 방향으로 생성이 왜곡됩니다.
  • 방향 감쇠 (Directional Attenuation): 여러 카테코리의 안전 방향을 합산할 때, 서로 다른 벡터가 부분적으로 상쇄되어 전체적인 안전 가이드의 강도가 약화됩니다.
• 결과: 다중 카테고리를 모두 포함한다고 해서 안전성이 높아지는 것이 아니라, 오히려 유해 콘텐츠 생성률이 증가하는 안전 저하 (Safety Degradation) 현상이 발생합니다.

2. 제안 방법: CASG (Conflict-aware Adaptive Safety Guidance)

저자들은 CASG라는 훈련이 필요 없는 (Training-free) 플러그 - 앤 - 플레이 프레임워크를 제안합니다. 이는 생성 과정에서 동적으로 가장 관련성 높은 유해 카테고리를 식별하고, 해당 카테고리에만 안전 가이드를 적용하여 충돌을 해결합니다.

CASG 는 두 가지 핵심 구성 요소로 이루어져 있습니다:

A. 충돌 인식 카테고리 식별 (Conflict-aware Category Identification, CaCI)

• 목적: 현재 생성 상태 (Denoising Process) 와 가장 잘 일치하는 유해 카테고리를 동적으로 식별합니다.
• 작동 원리:
  • 잠재 공간 (Latent Space, 예: SLD 적용 시): 각 유해 카테고리별 가이드 방향과 프롬프트 가이드 방향 사이의 코사인 유사도 (Cosine Similarity) 를 계산합니다. 가장 유사도가 높은 (가장 정렬된) 카테고리를 주된 (Dominant) 유해 방향으로 선택합니다.
  • 텍스트 공간 (Text Space, 예: SAFREE 적용 시): 프롬프트 임베딩을 각 유해 하위 공간 (Subspace) 에 수직 투영 (Orthogonal Projection) 한 후, 잔차 (Residual) 의 크기를 계산합니다. 잔차가 가장 작은 (즉, 프롬프트가 해당 유해 하위 공간에 가장 밀접하게 포함된) 카테고리를 선택합니다.
• 특징: 정적 분류기가 아닌, 확산 과정의 각 타임스텝 (Timestep) 마다 변화하는 생성 상태에 맞춰 동적으로 카테고리를 재선택합니다.

B. 충돌 해결 가이드 적용 (Conflict-resolving Guidance Application, CrGA)

• 목적: 식별된 단일 주된 카테고리 (Dominant Category) 에만 안전 보정을 적용합니다.
• 작동 원리: 여러 카테고리를 합산하는 대신, CaCI 를 통해 선택된 단일 카테고리의 안전 방향만을 사용하여 생성 경로를 조정하거나 임베딩을 투영합니다.
• 효과: 다중 카테고리 간의 간섭과 상쇄 효과를 제거하여, 해당 유해 카테고리에 대한 안전 가이드의 강도를 최대한 유지하면서도 방향성을 명확하게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 발견: 기존 T2I 안전 방법론에서 간과되었던 '유해 충돌 (Harmful Conflicts)' 현상을 체계적으로 분석하고 정의했습니다. 이는 서로 다른 유해 카테고리 간의 안전 방향 불일치로 인해 안전 성능이 저하되는 메커니즘을 규명했습니다.
2. CASG 프레임워크 제안: 훈련이 필요 없고 플러그 - 앤 - 플레이 방식인 CASG를 최초로 제안했습니다. 이는 기존 잠재 공간 (SLD) 및 텍스트 공간 (SAFREE) 안전 메커니즘과无缝하게 통합되어 다중 카테고리 충돌을 동적으로 해결합니다.
3. 성능 검증: 다양한 벤치마크 (I2P, T2VSafetyBench, Unsafe Diffusion, CoProv2) 에서 기존 최첨단 방법론들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 안전성 향상: CASG 를 적용한 모델 (CASG+SLD, CASG+SAFREE) 은 기존 방법론 대비 최대 15.4% 까지 유해 생성률 (Harmful Rate) 을 감소시켰습니다.
  • 특히 CASG+SLD 는 모든 벤치마크에서 SOTA(State-of-the-Art) 성능을 기록했습니다. (예: CoProv2 에서 3.9% 유해률 달성)
• 생성 품질 유지: 안전 가이드가 강화되었음에도 불구하고, benign(유해하지 않은) 프롬프트에 대한 이미지 생성 품질 (FID, CLIP Score) 은 기존 방법론과 거의 유사하게 유지되었습니다.
• LLM 기반 분류기 대비 우위: LLM 을 사용하여 프롬프트를 분류한 후 SLD 를 적용하는 방식보다 CASG 가 더 우수한 성능을 보였습니다. 이는 LLM 이 모호한 프롬프트를 잘못 분류하거나, 생성 과정 중 변화하는 유해성 (Dynamic Conflicts) 에 적응하지 못하기 때문입니다. CASG 는 각 타임스텝마다 동적으로 적응하므로 더 효과적입니다.
• 범용성: Stable Diffusion v1.5 와 v3(DiT 구조) 등 다양한 아키텍처와 안전 메커니즘 (잠재 공간, 텍스트 공간) 에서 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 텍스트 - 이미지 생성 모델의 안전성 강화에 있어 "더 많은 유해 키워드를 단순히 합산하는 것"이 오히려 안전을 해칠 수 있음을 증명했습니다.

• 이론적 통찰: 유해 카테고리 간의 방향성 불일치와 상쇄 효과를 규명함으로써, 향후 안전 가이드 연구의 새로운 방향성을 제시했습니다.
• 실용적 가치: 별도의 모델 재학습이나 추가적인 API 호출 없이, 기존 안전 메커니즘에 쉽게 통합하여 적용 가능한 CASG는 실제 서비스 환경에서 높은 안전성과 사용자 경험을 동시에 확보할 수 있는 실용적인 솔루션입니다.
• 미래 영향: 다중 모달 생성 모델의 안전성 문제를 해결하는 데 있어, 정적 규칙 기반 접근법에서 동적 적응형 (Adaptive) 접근법으로의 패러다임 전환을 이끌 것으로 기대됩니다.

요약하자면, 이 연구는 "안전 가이드 간의 충돌"이라는 새로운 문제를 발견하고, 이를 해결하기 위해 생성 과정의 동적 상태를 반영하여 가장 적합한 단일 안전 방향을 선택하는 적응형 메커니즘 (CASG) 을 제안함으로써 T2I 모델의 안전성을 획기적으로 개선했습니다.