Low-Effort Jailbreak Attacks Against Text-to-Image Safety Filters

논문 요약: 텍스트 - 이미지 안전 필터에 대한 저노력 탈출 (Jailbreak) 공격

1. 문제 정의 (Problem)

최근 DALL·E, Stable Diffusion, Midjourney 등 텍스트 - 이미지 (T2I) 생성 모델이 창의적 도구 및 온라인 플랫폼에 광범위하게 배포되면서, 유해하거나 정책 위반 콘텐츠 생성을 막기 위한 안전 필터와 중재 파이프라인 (Moderation Pipelines) 이 필수적으로 적용되고 있습니다. 그러나 기존 연구들은 주로 자동화된 최적화 (Optimization) 나 그라디언트 기반의 적대적 공격에 집중해 왔습니다.

이 논문은 모델 접근 권한, 최적화 과정, 또는 적대적 학습 없이 자연어 프롬프트만으로 수행 가능한 '저노력 (Low-Effort)' 탈출 공격이 현대 T2I 시스템의 안전 장치를 우회할 수 있음을 지적합니다. 이러한 공격은 비전문가도 쉽게 수행할 수 있어 악용의 문턱이 낮아졌으며, 표면적인 프롬프트 필터링과 심층적인 의미 이해 사이의 간극을 악용합니다.

2. 방법론 (Methodology)

저자들은 자연어 프롬프트를 조작하여 안전 필터를 우회하는 공격 전략을 체계적으로 분류하고 실험적으로 검증했습니다.

• 공격 분류 체계 (Taxonomy): 프롬프트 기반 탈출 전략을 5 가지 주요 범주로 분류했습니다.

  1. 예술적 재구성 (Artistic Reframing): 유해한 내용을 고전 미술, 조각, 역사적 맥락 속에 포장하여 예술적 해석으로 위장.
  2. 소재 대체 (Material Substitution): 유해한 대상이나 장면을 대리석, 초콜릿, 비단 등 무해한 소재로 묘사하여 시각적 위험성을 은폐.
  3. 가짜 교육적 프레임 (Pseudo-Educational Framing): 과학, 의학, 교육적 목적의 도표나 포스터 형식을 차용하여 유해 콘텐츠를 교육 자료인 것처럼 위장.
  4. 라이프스타일 및 미적 위장 (Lifestyle & Aesthetic Camouflage): 패션, 서브컬처 등 상세한 미적 서사 속에 유해 요소를 희석시켜 감지 확률을 낮춤.
  5. 모호한 행동 대체 (Ambiguous Action Substitution): 유해한 행동을 중립적이거나 긍정적인 서사 맥락에 포함시켜 의미적 모호성을 이용.

• 실험 설계:

  • 평가 대상 모델: Gemini, Qwen 2, SORA, Stable Diffusion v1.4 등 다양한 상용 및 오픈소스 T2I 모델.
  • 데이터셋: I2P 데이터셋에서 파생된 유해/제한적 콘텐츠 프롬프트를 기반으로 실제 사용자 쿼리를 모사한 데이터 구성.
  • 비교 대상: QF-Attack, SneakyPrompt, PLA-T5 등 기존 최적화 기반 적대적 공격 방법론.
  • 평가 지표: 공격 성공률 (ASR, Attack Success Rate). 프롬프트당 생성된 N 개 이미지 중 안전 장치를 우회하고 제한된 콘텐츠가 생성된 비율을 측정 (ASR-4 등).

3. 주요 기여 (Key Contributions)

1. 새로운 공격 분류 체계 제시: 모델 내부 취약점이 아닌 사용자 측 프롬프트 조작에 초점을 맞춘 5 가지 저노력 탈출 전략 (예술적 재구성, 소재 대체 등) 을 체계화했습니다.
2. 중재 파이프라인 취약점 분석: 입력 준수 검사 (ICC), 의미 안전 검사 (SSC), 생성 후 중재 (PGM) 등 파이프라인의 각 단계가 어떻게 프롬프트 조작을 통해 우회되는지 분석했습니다. 특히 표면적 키워드 필터링과 심층 의미 이해 사이의 간극을 악용하는 방식을 규명했습니다.
3. 실증적 검증: 여러 최첨단 T2I 시스템에서 저노력 프롬프트 수정만으로도 안전 필터를 우회하여 제한된 이미지를 생성할 수 있음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

• 높은 공격 성공률: 모든 테스트된 모델과 공격 카테고리에서 **최대 74.47% 의 공격 성공률 (ASR)**을 기록했습니다.
• 최적화 기반 공격과의 비교: 복잡한 최적화나 보조 모델을 사용하는 기존 방법 (예: PLA-T5, ASR-4 평균 86.56%) 에 비해 다소 낮지만, **소재 대체 공격 (MSA)**은 평균 ASR-4 **71.50%**를 기록하여 최적화 기반 공격과 유사한 성능을 보였습니다.
• 모델 간 일반화: Gemini, SORA, Stable Diffusion 등 서로 다른 아키텍처와 배포 환경의 모델들 모두 동일한 유형의 프롬프트 기반 탈출 공격에 취약함을 확인했습니다.
• 구체적 사례:
  • 'The Birth of Venus'를 재해석하라는 프롬프트로 유해한 인체 묘사 생성 (예술적 재구성).
  • '흰색 초콜릿 조각상'이라는 프롬프트로 유해한 인체 형상 생성 (소재 대체).
  • '임신 중 신체 변화'라는 교육적 포스터 프롬프트로 유해한 이미지 생성 (가짜 교육적 프레임).

5. 의의 및 시사점 (Significance)

• 안전 메커니즘의 근본적 한계: 현재 T2I 시스템의 안전 필터는 명시적인 위반 (Explicit Violation) 은 잘 탐지하지만, 맥락적 모호성이나 은유적 표현을 통해 숨겨진 적대적 의도 (Adversarial Intent) 를 파악하는 데 심각한 한계가 있음을 보여줍니다.
• 악용 문턱의 하락: 복잡한 기술적 지식이 필요 없는 자연어 프롬프트만으로 공격이 가능하므로, 일반 사용자도 쉽게 유해 콘텐츠를 생성할 수 있게 되어 사회적 위험이 증대됩니다.
• 향후 방어 방향: 단순 키워드 필터링을 넘어, 프롬프트의 의도와 생성된 이미지의 맥락을 종합적으로 분석하는 심층 의미 추론 (Deep Semantic Reasoning) 및 적응형 방어 전략이 필요함을 강조합니다. 또한, 저노력 인간 중심의 공격 시나리오를 포함한 새로운 벤치마크와 평가 프로토콜의 개발이 시급합니다.

이 연구는 생성형 AI 의 안전성을 확보하기 위해서는 기술적 최적화뿐만 아니라, 자연어의 유연성을 악용하는 저노력 공격에 대한 체계적인 이해와 대응이 필수적임을 시사합니다.