기술 요약: Prompting4Debugging (P4D)

문제 정의

Stable Diffusion (SD)와 같은 텍스트-투-이미지 (T2I) 확산 모델은 놀라운 생성 능력을 보여주었으나, 저작권이 있는 콘텐츠나 부적절한 콘텐츠(NSFW)를 생성하기 위해 이러한 기술을 오용하는 것에 대한 우려가 심화되고 있습니다. 네거티브 프롬프트, Safe Latent Diffusion (SLD), Diffusion 모델에서의 개념 삭제 (ESD)를 포함한 다양한 안전 메커니즘이 개발되었지만, 다양하고 정교한 문제적 프롬프트에 대한 이들의 신뢰성은 여전히 미개척 영역으로 남아 있습니다. 기존의 평가는 종종 제한적인 수동 큐레이션 벤치마크에 의존하며, 이는 잘못된 안전 불감증을 초래할 수 있습니다. 또한, 탈옥(jailbreak) 프롬프트의 수동 발견에 의존하는 전통적인 레드팀(red-teaming) 접근 방식은 확장성이 부족하며, 현대 확산 모델의 거대한 파라미터 크기를 고려할 때 레드팀을 위한 모델 미세 조정(fine-tuning)은 계산 비용이 매우 높습니다.

방법론

저자들은 안전 메커니즘이 갖춰진 T2I 확산 모델에 대해 "안전 회피형" 프롬프트를 체계적으로 식별하도록 설계된 자동 레드팀 프레임워크인 **Prompting4Debugging (P4D)**를 제안합니다. P4D는 모델 미세 조정 대신 프롬프트 엔지니어링을 활용하며, 제약이 없는 (표준) T2I 모델 ($G$)과 안전 장치가 갖춰진 모델 ($G'$)을 사용하여 잠재 공간(latent space)에서 프롬프트를 최적화합니다.

핵심 최적화 과정은 세 가지 연속적인 단계로 구성됩니다:

1. 생성 (Generation): 제약이 없는 모델 $G$가 원래 프롬프트 $P$로부터 부적절한 개념 $C$를 포함하는 이미지 $x$를 생성합니다. 잠재 표현 $z = E(x)$와 중간 노이즈 잠재 벡터 $z_t$가 추출됩니다.
2. 잠재 공간 최적화 (Latent Space Optimization): 목표는 수정된 프롬프트 $P^*$를 찾는 것입니다. $P^*$를 조건으로 하는 안전 장치 모델 $G'$가 $x$와 유사한(따라서 $C$를 포함하는) 이미지 $x^*$를 생성하게 함으로써, 효과적으로 $G'$의 안전 메커니즘을 우회하도록 합니다.
3. 목적 함수 (Objective Function): 최적화는 타임스텝 $t$에서 두 모델의 노이즈 예측 간의 차이를 최소화합니다:
   $$L = \|\epsilon_\theta(z_t, W(P), t) - \epsilon_{\theta'}(z_t, P^*_{disc}, t)\|^2_2$$
   여기서 $W(P)$는 원래 프롬프트의 고정된 임베딩이며, $P^*_{disc}$는 최적화된 이산(discrete) 프롬프트입니다.

해석 가능성과 탐색 공간의 균형을 맞추기 위해, P4D는 PEZ(이산 최적화 방법)를 기반으로 한 두 가지 변형을 사용합니다:

• P4D-N: 학습 가능한 토큰($N$)의 수를 고정하여 처음부터 초기화합니다.
• P4D-K: 원래 프롬프트 임베딩의 매 $K$개 토큰마다 학습 가능한 토큰을 삽로하여, 원래의 의미 구조를 유지하면서 수정을 허용합니다.

최적화는 연속적인 소프트 임베딩 공간에서 수행되며, 이후 양자화 함수를 통해 이산적인 하드 토큰으로 투영되어 결과 프롬프트가 읽을 수 있고 전이 가능하도록 합니다.

주요 기여

1. 자동 레드팀 도구: P4D는 T2I 확산 모델에 대한 안전 회피형 프롬프트를 자동으로 찾아내는 디버깅 도구로서, 수동 레드팀에 대한 확장 가능한 대안을 제공합니다.
2. 취약점 발견: Inappropriate Image Prompts (I2P) 데이터셋에 대한 광범적한 실험 결과, 기존 벤치마크에서 원래 "안전"하다고 간주되었던 프롬프트의 약 절반이 P4D에 의해 배포된 안전 메커니즘(ESD, SLD, 네거티브 프롬프트 포함)을 우회하도록 조작될 수 있음을 밝혀냈습니다.
3. 정보 은닉 현상 (Information Obfuscation Phenomenon): 저자들은 가이던스 기반 모델(SLD 및 SD-NEGP와 같은)의 안전 필터가 "잘못된 안전감"을 조성하는 심각한 문제를 식별했습니다. 이러한 필터는 최적화 과정 중 그래디언트 탐색 공간을 가려 취약점을 찾기 어렵게 만듭니다. 그러나 디버깅 단계에서 이러한 필터를 일시적으로 비활성화하면, P4D는 추론 시 필터가 재활성화되어도 여전히 유효한 훨씬 더 많은 문제적 프롬프트를 식별할 수 있습니다.

실험 결과

본 연구는 여러 안전 메커니즘(ESD, SLD-MAX, SLD-STRONG, SD-NEGP)과 카테고리(Nudity, Cars, French-horns)에 걸쳐 여러 베이스라인(Random-N, Random-K, Shuffling, Soft Prompting) 및 기타 프롬프트 최적화 방법(Textual Inversion, PEZ)과 P4D를 비교 평가했습니다.

• 성능: P4D는 모든 베이스라인을 크게 압도했습니다. ESD 모델의 누드(nudity) 카테고리에서 P4D는 다른 방법들이 약 12-27%의 실패율을 보인 것에 비해, 50.65%(P4D-N) 및 47.19%(P4D-K)의 실패율(FR)을 달려냈습니다. P4D-N과 P4D-K의 결합 결과(P4D-UNION)는 **66.58%**의 FR을 달성했습니다.
• 전이 가능성: P4D에 의해 발견된 프롬프트는 높은 전이성을 보여주었습니다. ESD를 위해 발견된 프롬프트는 60% 이상의 비율로 다른 모델(예: SLD-MAX)을 성공적으로 탈옥했습니다. 또한, P4D가 생성한 유니버설 프롬프트는 Midjourney(30.70% FR) 및 SDXL(56.14% FR)과 같은 폐쇄형 소스 모델의 안전 메커니즘을 우회할 수 있었으나, DALL-E 3는 더 강력한 저항력을 보였습니다.
• 효율성: P4D는 계산 효율적이며, Advprompt와 같은 블랙박스 방식이 수 시간이 걸리는 것에 비해 프롬프트당 약 20-30분이 소요됩니다.

의의 및 주장

본 논문은 제한적인 안전 프롬프트 벤치마크에 의존하는 현재의 T2I 모델 안전성 평가가 불충분하며, 이는 잘못된 안전감으로 이어질 수 있다고 주장합니다. 저자들은 P4D와 같은 도구를 사용한 포괄적인 테스트 없이는 개발자들이 치명적인 취약점을 간과할 수 있음을 강조합니다.

이 연구의 의의는 다음과 같습니다:

• 선제적 방어: 개발자에게 배포 전 모델의 안전성과 신뢰성을 체계적으로 점검할 수 있는 도구를 제공합니다.
• 오작동 이해: 발견된 문제적 프롬프트는 모델의 오작동을 이해하고 더 강력하고 견고한 안전 메커니즘을 구축하기 위한 참조 자료 역할을 합니다.
• 은닉 현상 강조: "정보 은닉"의 발견은 현재의 안전 필터가 취약점을 진정으로 무력화하기보다는 의도치 않게 숨길 수 있음을 시사하며, 이러한 은닉된 그래디언트를 고려한 더 깊은 테스트 방법론이 필요함을 나타냅니다.

저자들은 현재 P4D가 화이트박스 가정(제약 없는 모델과 안전한 모델 모두에 대한 접근 필요) 하에 작동하지만, AI 커뮤니티가 경각심을 유지하고 생성 모델을 위한 더 포괄적인 안전 조치를 개발해야 할 긴급한 필요성을 효과적으로 부각시킨다고 결론지었습니다.