기술 요약: PromptSentinel – 프롬프트 안전 분류에서의 분포 불일치

문제 정의

소비자용 애플리케이션에 대규모 언어 모델(LLM)을 배포할 때는 유해하거나 정책을 위반하는 요청을 탐지하기 위한 자동화된 프롬프트 안전 분류기가 필수적이다. 기존의 분류기들은 합성 벤치마크에서 높은 성능을 보고하는 경우가 많으나, 본 논문은 이러한 지표가 인간이 작성한 입력값에도 일반화될 수 있는지 조사한다. 저자들은 **분포 불일치 가설(distribution mismatch hypothesis)**을 제기한다. 즉, 주로 적대적 변환(adversarial transformations)과 정제된 공격 템플릿을 사용하여 구축된 현재의 벤치마크들은 자연스러운 인간의 상호작용(예: 역할극, 창의적 글쓰기, 대화형 요청)의 다양성을 포착하지 못한다는 것이다. 결과적으로, 합성 데이터에서 측정된 성능은 실제 환경에서의 신뢰도를 상당히 과대평가할 수 있으며, 특히 "안전한(safe)" 클래스의 프롬프트에서 그러하다.

방법론

PromptSentinel이라 명명된 이 연구는 데이터 분포가 분류기 성능에 미치는 영향을 격리하기 위해 통제된 실험 설계를 채택하였다.

데이터셋 구축

저자들은 출처의 다양성과 클래스 균형을 보장하기 위해 4개의 공개 데이터셋을 병합하여 110,060개의 프롬프트로 구성된 학습 코퍼스를 구축하였다:

1. TrustAIRLab In-the-Wild Jailbreak Prompt: 오직 홀드아웃 테스트 세트로만 사용됨 (6,387개 프롬프트, 인간이 작성한 탈옥 프롬프트 666개 포함).
2. ToxicChat: 독성 여부가 주석 처리된 4,981개의 실제 사용자 대화 (Vicuna 챗봇).
3. Qualifire Prompt Injection Benchmark: 클래스 불균형 문제를 해결하기 위한 거의 균형 잡힌 데이터셋.
4. WildJailbreak: 가장 큰 규모의 공개 탈옥 데이터셋으로, 합성(자동 변환) 버전과 인간 작성 버전을 모두 제공함.

최종 학습 코퍼스는 오버샘플링 대신 출처의 다양성을 통해 균형(안전 54.3%, 불안전 45.7%)을 맞추었다.

실험 설계

저자들은 TF-IDF 벡터화와 로지스틱 회귀 분류기(균형 잡힌 클래스 가중치 적용)를 사용하여 네 가지 연구 질문(RQ)에 대해 평가하였다:

• RQ1 (공격 유형 일반화): 직접적인 유해 프롬프트로 학습했을 때 적대적(탈옥 스타일) 프롬프트로 일반화되는지, 혹은 그 반대의 경우를 테스트하였다. 이를 위해 WildJailbreak 데이터셋의 하위 집합을 사용하였다.
• RQ2 (인간 작성 탈옥 탐지): 다양한 코퍼스로 학습된 분류기를 홀드아웃된 TrustAIRLab 테스트 세트에 대해 평가하였다. 여기에는 프롬프트 길이에 따른 계층화와 MiniLM 문장 임베딩(전체 프롬프트 및 청크 단위 모두 포함)과 TF-IDF 간의 비교가 포함되었다.
• RQ3 (LLM-as-Judge): 제로샷 LLM 판별기(Llama-3.1-8B)가 true positive(진양성) 탐지를 희생하지 않으면서 false positive(위양성) 오류를 교정할 수 있는지 조사하였다.
• RQ4 (4개 버킷 분포 분석): 프롬프트의 기원에 따른 성능 영향을 격리하기 위해 다음 네 가지 버킷별로 성능을 평가하였다:
  • 합성 안전 (WildJailbreak benign)
  • 합성 불안전 (WildJailbreak adversarial)
  • 인간 안전 (WildChat)
  • 인간 불안전 (TrustAIRLab jailbreaks)

주요 결과

1. 인간 데이터에서의 현저한 성능 저하

가장 결정적인 발견은 합성 데이터와 인간 작성 데이터 사이의 상당한 격차이다:

• 위양성률 (FPR): 합성 benign 프롬프트에서는 FPR이 **1.0%**였으나, 인간 작성 safe 프롬프트에서는 FPR이 **32.0%**로 급증하였다.
• 재현율 (유해성 탐지): 합성 adversarial 프롬프트에서의 재현율은 **98.0%**였으나, 인간 작성 탈옥 프롬프트에서는 재현율이 **65.4%**로 떨어졌다.

2. 공격 유형 vs. 출처 기원

합성 WildJailbreak 데이터셋 내에서 분류기는 직접적인 프롬프트로 학습했는지 혹은 적대적 프롬프트로 학습했는지와 관계없이 일관되게 양호한 성능을 보였다 (재현율 ~0.978–0.981). 이는 성능 격차가 특정 공격 유형(직접적 vs. 적대적) 때문이 아니라 데이터의 출처(합성 vs. 인간)에 의해 발생함을 시사한다.

3. 모델 복잡성의 한계

• 임베딩: TF-IDF를 MiniLM 문장 임베딩으로 교체해도 격차가 해결되지 않았다. 실제로 전체 프롬프트 임베딩은 성능이 더 낮았다 (재현율 0.580, 정밀도 0.105). 청크 단위 임베딩은 긴 프롬프트에 대한 재현율을 개선했으나, 긴 benign 프롬프트에 대해 파괴적인 위양성률(최대 97.0%)을 유발했다.
• 프롬프트 길이: 짧은 프롬프트가 탐지하기 더 어려울 것이라는 예상과 달리, 재현율은 오히려 긴 프롬프트에서 증가하였다 (약 0.72까지 도달). 이는 길이 자체가 성능 저하를 설명하는 요인은 아님을 시사한다.

4. LLM-as-Judge 트레이드오프

두 번째 패스 필터로 LLM 판별기를 적용했을 때 위양성을 94.6% 성공적으로 복구하였으나 (정밀도를 0.286에서 0.640으로 개선), 심각한 대가가 따랐다. 시스템은 true positive를 단 **24.0%**만 유지하였다 (재현율이 1.000에서 0.240으로 급락). 질적 분석에 따르면, 놓친 탈옥 프롬프트 중 다수는 "페르소나 오버라이드(persona-override)" 프레 most framing에 의존하고 있었으며, 판별기는 이를 정당한 역할극과 구별하는 데 어려움을 겪었다.

의의 및 주장

본 논문은 분포 불일치, 특히 "안전한" 클래스 데이터의 다양성 부족이 실제 환경에서 분류기 실패의 주요 원인이라고 주장한다.

• 벤치마크 타당성: 저자들은 현재의 합성 벤치마크가 배포 가능한 성능에 대해 불완전하고 지나치게 낙관적인 척도를 제공할 수 있다고 주장한다. 합성 데이터에서의 높은 재현율이 인간 입력에 대한 낮은 위양성률을 보장하지는 않는다.
• 구조적 한계: 본 연구는 모델의 복잡성을 높이거나(예: TF-IDF에서 임베딩으로 이동) LLM 판별기를 추가하는 것만으로는 성능 격차를 해소하기에 불충분함을 입증한다. 문제는 모델 아키텍처보다는 데이터 분포에 뿌리를 두고 있는 것으로 보인다.
• 향전 방향: 저자들은 프롬프트 안전 벤치마크가 다양한 인간 작성 benign 프롬프트를 강조하는 데 더 큰 비중을 두어야 한다고 결론짓는다. 저자들은 향-데이터 구성과 실제 환경의 강건성 사이의 인과 관계를 확립하기 위해, 향후 연구에서 안전 클래스의 다양성을 직접 조작해야 한다고 제안한다.

저자들은 자신의 주장이 현재 상관관계에 기반하고 있음을 언급하며 신중한 태도를 유지한다. 그들은 안전 클래스의 다양성 외에도 언어적 스타일, 대화 구조, 주제 분포 등의 요인이 관찰된 격차에 기여할 수 있음을 인정하며, 추가적인 통제된 개입이 필요함을 시사한다.