SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses

기술 요약: SoK: LLM 프롬프트 보안의 체계화

문제 정의
정보 및 서비스의 인터페이스로서 대규모 언어 모델(LLM)의 급격한 배포는 프롬프트 수준의 보안을 중요한 관심사로 만들었습니다. 탈옥(jailbreak) 공격, 방어용 래퍼(wrapper), 안전 정책, 데이터셋, 자동 판별기(judger) 분야에서 빠른 발전이 있었으나, 커뮤니티는 심각한 파편화 문제에 직면해 있습니다. 기존 연구들은 서로 호환되지 않는 위협 모델, 접근 가정, 비용 예산, 데이터셋 및 성공 기준에 의존하는 경우가 많습니다. 이러한 표준화의 결여는 보고된 공격 성공률(ASR)이나 방어 효과를 비교하기 어렵게 만듭니다. 결과적으로, 관찰된 진보가 더 강력한 방법론 때문인지, 더 약한 대상 모델 때문인지, 다른 판정 규칙 때문인지, 혹은 단순히 더 큰 쿼리 예산 때문인지 명확하지 않습니다. 핵심 과제는 보안 주장이 통일되고 감사 가능한 조건 하에서 비교될 수 있는지 결정하는 것입니다.

방법론
저자들은 논문별 시연에서 벗어나 재현 가능하고 분류 체계에 기반한 측정을 수행하는, LLM 프롬프트 보안 평가를 위한 체계적인 접근 방식을 제안합니다. 이 방법론은 네 가지 핵심 구성 요소로 이루어집니다:

1. 세 가지 연결된 분류 체계(Taxonomies): 본 논문은 기술적 메커니즘과 공격자/방어자의 역량을 분리하는 개념적 프레임워크를 구축합니다:

   • 분류 체계 I (탈옥 공격): 공격을 위협 모델(블랙박스 vs. 화이트박스)과 기술적 방법론(예: 프롬프트 수정, 블랙박스 최적화, LLM 보조 기술, 멀티 턴 기술, 모델 취약점 활용)에 따라 분류합니다. 공격을 구성적인 것으로 취급하여, 단일 방법이 여러 원자적 기술 단위를 인스턴스화할 수 있도록 합니다.
   • 분류 체계 II (방어): 방어를 목표(탐지 vs. 완화)와 개입 계층(입력 단계, 출력 단계, 내부 상태, 모델 학습, 모델 수정, 출력 처리)에 따라 그룹화합니다.
   • 분류 체계 III (LLM 취약성): 포맷 악용(Format Exploitation), 사용자 지시 과의존, 심리적 조작, 맥락적 모호성 등 공격에 의해 이용되는 모델 고유의 실패 모드를 범주화합니다.

2. 감사 가능한 평가 프로토콜: 저자들은 위협, 접근, 비용 가정을 명시적인 메타데이터로 공식화합니다. 저자들은 실험을 모델(M), 공격(A), 방어(D), 데이터셋(S), 판별기(J)를 나타내는 튜플 $\langle M, A, D, S, J \rangle$로 정의합니다. 이 프로토콜은 구성 요소의 정체성과 설정(예: 어시스턴트 LLM, 디코딩 파라미터, 쿼리 예산, 방어 구성)이 일치할 때만 비교가 유효하다고 규정합니다.

3. PROMPTSECURITY 플랫폼: 프로토콜을 실행하기 위해 모듈형 평가 플랫폼이 도입되었습니다. 이는 각 실험을 구성된 튜플로 표현하여, 접근 호환성이 있고 감사 가능한 비교를 가능하게 합니다. 플랫폼은 재현성을 보장하기 위해 샘플 식별자, 출력, 설정, 쿼리 횟수 및 판별기 구성을 기록합니다.

4. 통합 데이터셋: 저자들은 48개 소스에서 추출한 445,752개의 탈옥 시스템-사용자 프롬프트 쌍과 14개 소스에서 추출한 1,092,221개의 양성(benign) 프롬프를 포함하는 JAILBREAKDB를 공개합니다. 또한, 주요 프로토콜 하에 생성된 166,200개의 유해 쿼리 출력 레코드와 9,200개의 양성-유용성 출력 레코드를 포함하는 PROMPTSECURITY-EVAL을 공개합니다.

주요 기여

• 메커니즘 수준의 분류 체계: 본 논문은 단순한 방법 수준이 아닌 분류 체계-하위 범주 수준에서 경험적 주장을 할 수 있도록 다중 레이블 하위 범주 매핑을 지원하는 세 가지 연결된 분류 체계를 통해 분야를 체계화합니다.
• 통합 평가 플랫폼: 접근 호환성, 어시스턴트 LLM 사용, 판정 루브릭을 보안 주장의 감사 가능한 부분으로 취급하여 공유된 설계 공간 내에서 제어된 절제 연구(ablation studies)를 가능하게 하는 PROMPTSECURITY를 도입했습니다.
• 경험적 통찰: 플랫폼은 매칭된 설정 하에서 11개의 대상 모델, 21개의 공격 설정, 10개의 방어 상태 및 3개의 판별기를 평가하는 데 사용되었습니다.
• 데이터셋 및 리더보드: JAILBREAKDB 및 PROMPTSECURITY-EVAL의 공개와 함께, 호환 가능한 주요 프로토콜 측정값을 탐색할 수 있는 대화형 리더보드를 제공합니다.

결과 및 경험적 발견
평가는 다음과 같은 분류 체계 수준의 발견을 도출합니다:

• 모델 접근성 및 역량: 프론est 블랙박스 모델은 대상 모델이 은닉된 유해한 의도를 복구하도록 돕는 프롬프트 변환 및 난독화 공격에 더 많이 노출됩니다. 반대로, 약한 화이트박스 모델은 강력한 견고성 때문이 아니라, 공격 작업(예: 코드 스타일 프롬프트 파싱 실패)을 수행하지 못하기 때문에 복잡하게 변형된 프롬프트를 억제하는 경우가 많습니다.
• 공격 메커니즘: 블랙박스 모델에서는 저비용 프롬프트 변환이 어시스턴트 생성 자연어 탈옥보다 성능이 우수한 경우가 많습니다. 화이트박스 모델에서는 이 순서가 바뀌어, LLM 보조 탐색 및 정교화가 더 높은 지속성을 보여줍니다.
• 방어 효과성: 방어 효과는 메커니즘에 따라 달라집니다. 입력/출력 탐지 및 라우팅이 평균적인 완화 효과를 주도합니다. 그러나 화이트박스 접근 권한 자체가 강력한 방어를 보장하지는 않습니다. 예를 들어, 그래디언트 스크리닝(gradient screening)이나 안전 프롬프트 최적화는 일부 사례에서 거의 또는 심지어 부정적인 평균 완화 효과를 제공했습니다.
• 방어의 역효과: 방어는 새로운 유해한 행동을 유발할 수 있습니다. 예를 들어, 안전 프롬프트 튜닝은 추가된 스티어링(steering)이 이전에 안전했던 프롬프트를 유해한 완료로 바꿀 수 있기 때문에 평균 유해 출력 ASR을 증가시켰습니다.
• 판별기 민감도: 판별기의 선택은 보안 결론에 실질적인 영향을 미칩니다. 접두사 체크(거절 형식 도구)는 거절 형태의 양성 출력을 과다 계산하거나, 거절 형태의 서두 뒤에 숨겨진 유해한 출력을 놓칠 수 있습니다. 행동 조건부 판별기는 제공된 특정 행동 설명에 매우 민감하며, 이는 ASR 측정값의 상당한 편차를 초래합니다.

의의
본 논문은 LLM 프롬프트 보안이 공정한 구성 제어 하에 메커니즘 그룹 수준에서 평가되어야 한다고 주장합니다. 본 연구의 의의는 단순한 방법론적 시연에서 벗어나 재현 가능하고, 비용을 고려하며, 분류 체계에 기반한 평가로 전환했다는 점에 있습니다. 목표는 단순히 어떤 방법이 더 높은 ASR을 갖는지 식별하는 것이 아니라, 어떤 메커니즘, 설정 선택, 또는 판정 규칙이 보고된 보안 동작을 설명하는지를 명확히 하는 것입니다. 연결된 분류 체계, 실행 가능한 프로토콜, 모듈형 플랫폼 및 통합 데이터셋을 제공함으로써, 저자들은 진정한 방법론적 진보와 실험 설계의 부산물을 구분할 수 있는 미래의 평가를 가능하게 하고자 합니다.