Token-Level Constraint Boundary Search for Jailbreaking Text-to-Image Models

이 논문은 텍스트 및 이미지 검사의 결정 경계를 제약 조건으로 활용하여 진화적 탐색을 수행하는 '토큰 수준 제약 경계 탐색 (TCBS)' 공격 기법을 제안함으로써, 블랙박스 환경에서도 다양한 텍스트-이미지 생성 모델의 풀체인 방어 체계를 우회하는 데 기존 방법들보다 뛰어난 성능을 보임을 입증합니다.

핵심

🎨 배경: AI 그림방과 3 중 보안 시스템

최근 AI 가 "고양이 그림 그려줘"라고 말하면 진짜 같은 고양이를 그려주는 기술이 발달했습니다. 하지만 이 AI 가 "폭력적이거나 성적인 나쁜 그림"을 그릴까 봐 걱정하는 사람들이 많습니다.

그래서 AI 서비스들은 그림을 그릴 때 **3 단계의 보안 검사 **(Full-chain Defense)를 거칩니다.

1. **입구 경비원 **(텍스트 검사) 사용자가 입력한 문장을 먼저 봅니다. "나쁜 단어"가 있으면 아예 그림을 그리지 않고 막습니다.
2. **작업실 감독 **(AI 모델 자체) 문장이 통과되더라도, AI 가 그림을 그리는 과정에서 "나쁜 개념"이 섞이면 스스로 억제합니다.
3. **출구 검사관 **(이미지 검사) 그림이 완성되면 다시 한 번 봅니다. 만약 나쁜 그림이 나왔다면, 그 그림을 완전히 검은색으로 덮어씌워 사용자에게 보여주지 않습니다.

🕵️‍♂️ 문제: 기존 해킹 방법들의 한계

기존의 해커들은 이 보안 시스템을 뚫기 위해 다양한 방법을 썼습니다. 하지만 대부분 두 가지 큰 문제가 있었습니다.

• **블랙박스 **(Black-box) 해커는 AI 의 내부 작동 원리 (수식 등) 를 알 수 없습니다. 오직 "입력하고 결과 확인"만 반복할 수 있습니다.
• 비효율적인 탐색: 보안 시스템은 문장 하나, 단어 하나만 바꿔도 "나쁜 그림"으로 판단할 수 있습니다. 해커는 무작위로 단어를 바꿔가며 시도하다가, 보안 시스템이 '경계선'에 있는 지점을 찾지 못하고 너무 많은 시도 (질문) 를 낭비하거나, 보안에 걸려서 실패하는 경우가 많았습니다.

💡 해결책: TCBS-Attack (경계선 탐색 해커)

이 논문에서 제안한 TCBS-Attack은 바로 이 '경계선'을 노리는 똑똑한 해커입니다.

1. 핵심 아이디어: "보안 시스템의 '경계선'을 찾아라"

보안 시스템은 '안전한 영역'과 '위험한 영역'을 나누는 **경계선 **(Decision Boundary)이 있습니다.

• 기존 해커: 안전한 영역 깊숙이 있거나, 위험한 영역 깊숙이 있는 그림을 무작위로 찾습니다.
• TCBS-Attack 해커: **"안전과 위험이 딱 갈라지는 경계선 바로 옆"**에 있는 단어를 찾습니다.

🌊 비유:
Imagine you are trying to cross a river without getting wet.

• 기존 해커: 강 한가운데를 헤엄치거나, 강에서 너무 멀리 떨어진 산을 돌아갑니다.
• TCBS-Attack: **물가 **(경계선)를 따라 걷습니다. 물가에서는 발만 살짝 담그면 넘어갈 수 있지만, 너무 깊게 들어가면 물에 젖습니다. 이 해커는 물가에서 가장 얕은 곳 (보안 시스템이 '안전'이라고 판단하지만, 아주 조금만 건드리면 '위험'으로 바뀌는 곳) 을 찾아냅니다.

2. 작동 방식: 진화하는 해커 집단

이 해커는 혼자서 하는 게 아니라, **수백 명의 해커 집단 **(Population)을 만들어서 진화시킵니다.

1. 초기화: 나쁜 단어를 찾아서 비슷한 다른 단어로 바꿔봅니다. (예: "나체" → "옷을 벗은")
2. **경계선 탐색 **(Token Search)
   • 보안 시스템이 "아직 안전해"라고 했지만, 거의 위험할 것 같은 상태 (경계선 근처) 인 문장을 찾습니다.
   • 만약 문장 검사관이 "거부"했다면, 그 문장은 경계선 바로 바깥에 있는 것입니다. 이걸 다시 살짝 수정해서 안으로 들어오게 합니다.
   • 그림 검사관이 "검은색으로 덮었다"면, 그림이 거의 안전하지만 아주 조금만 위험한 상태입니다. 이걸 다시 수정합니다.
3. **선택 **(Selection) 두 가지 검사 (문장과 그림) 를 모두 통과하면서, 원래 의도한 나쁜 그림을 가장 잘 그릴 수 있는 문장만 살아남게 합니다.

이 과정을 반복하면, 해커는 보안 시스템이 가장 민감하게 반응하는 '경계선' 근처의 최적의 문장을 찾아내게 됩니다.

🏆 결과: 왜 이 방법이 압도적인가?

실험 결과, TCBS-Attack 은 기존 어떤 해킹 방법보다 훨씬 잘 작동했습니다.

• 효율성: 무작위로 시도하는 게 아니라 '경계선'을 따라가므로, **질문 횟수 **(Query)를 적게 쓰면서도 성공률이 높습니다.
• 강력함: 오픈소스 AI 는 물론, DALL-E 3 같은 상용 AI 서비스의 강력한 3 중 보안 시스템도 뚫었습니다.
• 자연스러움: 단순히 나쁜 단어를 섞는 게 아니라, 문맥을 유지하면서 아주 미묘하게 단어를 바꾸기 때문에 AI 가 알아채기 어렵습니다.

📝 요약

이 논문은 "AI 그림방의 보안 시스템이 '안전'과 '위험'을 가르는 경계선"을 이용하면, 적은 노력으로도 그 시스템을 뚫을 수 있다는 것을 증명했습니다.

마치 보안관과 눈싸움을 하는 것처럼, 보안관이 "여기는 안전해"라고 말하지만 "조금만 더 가면 위험해"라는 그 미묘한 경계선을 찾아내어, AI 가 나쁜 그림을 그리도록 유도하는 지능적인 해킹 기술입니다.

⚠️ 주의: 이 연구의 목적은 해킹 기술을 알려주는 것이 아니라, AI 의 보안 시스템이 얼마나 약한지 찾아내어 더 튼튼하게 만들기 위함입니다. (악용을 방지하기 위한 연구입니다.)

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 스테이블 디퓨전 (Stable Diffusion) 및 DALL-E 3 와 같은 텍스트 - 이미지 (T2I) 생성 모델이 급격히 발전했으나, NSFW(성인물, 폭력 등) 나 유해한 콘텐츠 생성에 대한 우려가 커지고 있습니다.
• 현실적 위협: 실제 배포 환경에서는 단일 필터가 아닌 풀체인 (Full-chain) 방어 체계를 사용합니다. 이는 (1) 입력 텍스트를 검사하는 프롬프트 체커, (2) 생성 과정에서 안전 개념을 억제하는 보안 훈련된 생성 모델, (3) 생성된 이미지를 검사하는 사후 (Post-hoc) 이미지 체커로 구성됩니다.
• 문제점:
  • 기존 잭브레이크 (Jailbreak) 공격 방법들은 주로 단일 모듈 (예: 프롬프트 필터만 우회) 을 대상으로 하거나, 그라디언트 기반 (White-box) 접근을 사용합니다.
  • 실제 Black-box 환경에서는 토큰 공간이 이산적 (discrete) 이며, 여러 개의 결합된 제약 조건 (텍스트 + 이미지 체커) 을 동시에 만족해야 하므로 검색 공간이 매우 복잡합니다.
  • 제한된 쿼리 횟수 내에서 희소하게 피드백을 받으며, 의미론적 일관성을 유지하면서 안전 체커를 우회하는 것은 매우 어렵습니다.

2. 제안 방법론: TCBS-Attack

저자들은 **토큰 레벨 제약 경계 탐색 (Token-level Constraint Boundary Search, TCBS-Attack)**이라는 새로운 쿼리 기반 Black-box 잭브레이크 공격 기법을 제안합니다.

• 핵심 아이디어:

  • 안전 체커 (프롬프트 및 이미지) 는 이진 분류기로 볼 수 있으며, '안전'과 '위험' 영역을 구분하는 **결정 경계 (Decision Boundary)**가 존재합니다.
  • 이 결정 경계 근처의 토큰은 작은 변화만으로도 안전 판정을 뒤집을 수 있는 민감한 영역입니다.
  • 따라서 전체 이산 공간을 탐색하는 대신, 제약 조건 (안전 체커) 의 결정 경계 근처에 위치한 토큰에 집중하여 탐색 공간을 축소하고 효율성을 높입니다.

• 알고리즘 흐름 (진화적 최적화 기반):

  1. 초기화 (Initialization): 목표 프롬프트에서 민감한 토큰 (NSFW 단어) 을 식별하고, 이를 의미론적으로 유사한 다른 토큰으로 교체하여 초기 후보군 (Population) 을 생성합니다.
  2. 제약 경계 기반 토큰 탐색 (Token Search based on Constraint Boundary):
     • ** coarse search ( coarse 탐색):** 민감/비민감 토큰을 교체하여 새로운 후보군 (Offspring I) 을 생성합니다.
     • Extra search (추가 탐색): 생성된 후보가 제약 경계 근처 (예: 이미지 체커 점수가 0 에 가깝거나, 프롬프트 체커에서 거절된 직후) 에 있는지 확인합니다. 조건을 만족하는 경우에만 추가적인 정밀 탐색을 수행하여 Offspring II 를 생성합니다. 이는 불필요한 쿼리를 줄이고 경계 근처의 유망한 후보를 집중적으로 탐색합니다.
  3. 제약 기반 토큰 선택 (Token Selection based on Constraints):
     • 기존 세대 (Population) 와 새로운 세대 (Offspring II) 를 합쳐 2n 개의 후보를 평가합니다.
     • 선택 기준: 이미지 체커 통과 여부 (Score=0) > 프롬프트 체커 통과 여부 > 생성 이미지와 목표 콘텐츠의 의미론적 유사도 (CLIP similarity) 순으로 우선순위를 두어 다음 세대로 넘어갈 n 개를 선택합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 잭브레이크 프레임워크: 텍스트 및 이미지 체커의 결정 경계를 제약 조건으로 활용하는 진화적 Black-box 공격 방법 (TCBS-Attack) 을 최초로 제안했습니다.
2. 검색 공간 축소 및 효율성 향상: 전체 토큰 공간 대신 제약 경계 근처의 영역에 집중함으로써, 풀체인 방어 체계 하에서도 쿼리 효율성과 공격 성공률을 크게 향상시켰습니다.
3. 광범위한 실험 검증: 오픈소스 모델 (SDv1.4, SafeGen, SLD) 과 상용 서비스 (DALL-E 3) 를 포함한 다양한 T2I 모델과 방어 메커니즘 (프롬프트/이미지 체커) 에서 기존 SOTA 기법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 평가 지표: 공격 성공률 (ASR-1, ASR-4), 텍스트/이미지 우회율 (Bypass-Text, Bypass-Img).
• 성능 비교 (SDv1.4 + 풀체인 방어):
  • ASR-4: TCBS-Attack 은 **52.5%**를 기록하여, 기존 최상위 기법들 (예: HTS-Attack 29.0%, DREAM 29.5%) 보다 월등히 높은 성능을 보였습니다.
  • ASR-1: **22.0%**로 역시 가장 높았습니다.
  • Bypass-Img: 이미지 체커 우회율이 **82%**에 달했습니다.
• 전송 공격 (Transferability):
  • Securely trained 모델 (SafeGen, SLD) 에 대해서도 높은 성공률을 보였습니다 (SafeGen 에서 ASR-4 20.0%, SLD 에서 ASR-4 17.0%).
  • DALL-E 3 (상용 서비스): DALL-E 3 에 대한 공격에서도 ASR-4 가 73.3% (Q16 감지기 기준) 로, 강력한 상용 보안 체계도 우회할 수 있음을 입증했습니다.
• Ablation Study: 텍스트 제약과 이미지 제약을 모두 제거할 경우 성능이 급격히 하락하여, 두 가지 제약을 동시에 고려하는 것이 풀체인 방어 우회의 핵심임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전성 평가의 중요성 강조: 이 연구는 T2I 모델의 안전성이 단일 필터가 아닌 풀체인 방어 체계로 구성됨을 재확인하고, 이에 대한 강력한 공격 시나리오를 제시함으로써 방어 체계의 취약점을 드러냈습니다.
• 방어 강화 기여: 제안된 공격 방법은 T2I 모델 개발자와 연구자들이 현재 방어 메커니즘의 한계를 파악하고, 더 견고한 안전성 (Robustness) 을 갖춘 모델을 설계하는 데 기여할 수 있습니다.
• 기술적 혁신: 이산적 조합 공간에서의 최적화 문제를 해결하기 위해 '결정 경계' 개념을 진화 알고리즘에 접목한 것은 향후 Black-box 최적화 및 보안 연구에 중요한 통찰을 제공합니다.

요약하자면, TCBS-Attack 은 텍스트와 이미지 체커의 결정 경계를 전략적으로 활용하여, 제한된 쿼리 횟수 내에서 풀체인으로 보호된 T2I 모델을 효과적으로 우회하는 강력한 잭브레이크 기법입니다.