기술 요약: 가드레일을 지키는 파수꾼: 탈옥 탐지를 위한 분류 체계 기반 접근 방식

문제 정의

대규모 언어 모델(LLM)은 모델을 정렬 불량 상태로 유도하여 안전하지 않거나 편향되거나 해로운 출력을 생성하도록 조작하는 형태의 적대적 프롬프팅인 "탈옥(jailbreaking)"에 여전히 취약합니다. 기존의 방어 메커니즘(가드레일)이 존재함에도 불구하고, 다음과 같은 세 가지 결정적인 한계에 직면해 있습니다:

1. 범위: 대부분의 방어 체계는 단일 턴 공격에 집중되어 있어, 악의적인 의도가 무해해 보이는 상호작용 전반에 걸쳐 분산되어 있는 멀티 턴 탈옥을 해결하지 못합니다.
2. 분류 체계의 공백: 현재의 분류 방식은 종종 위험 범주(무엇이 안전하지 않은가)에 의존하며, 모델이 유도되는 방식(어떻게 모델을 조종하는가)에 따른 공격 메커니즘을 다루지 못하거나 다양한 언어에 대한 커버리지가 부족합니다.
3. 데이터 부족: 멀티 턴 적대적 대화, 특히 영어 이외의 언어(예: 이탈리아어)에 대한 큐레이션 및 주석이 달린 데이터셋이 현저히 부족합니다.

방법론

저자들은 이러한 격차를 해소하기 위해 구조화된 **레드 티밍 챌린지(red-teaming challenge)**와 분류 체계 기반 주석 프레임워크를 결합하여 사용했습니다.

1. 레드 티밍 챌린지

• 참가자: 로마 사피엔차 대학교(Sapienza University of Rome) 석사 과정 학생 48명.
• 대상 모델: Minerva-7B-instruct-v1.0 (이탈리아어와 영어를 사전 학습한 인스트럭션 튜닝 LLM).
• 과업: 참가자들은 세 가지 취약 영역(데이터, 모델, 인프라)에 배정되었으며, 안전 제약 조건을 우회하기 위해 멀티 턴 적대적 대화를 생성하는 과업을 수행했습니다.
• 결과물: 1,364개의 고유한 적대적 대화 브랜치가 수집되었으며, 대화당 평균 2.95 턴을 기록했습니다.

2. 분류 체계 개발

저자들은 탈옥 전략을 분류하기 위해 구조화되고 계층적인 메커니즘 중심의 분류 체계를 개발했습니다. 위험 유형(위험의 종류)에 집중하는 기존 연구와 달리, 이 분류 체계는 안전 장치를 우회하기 위해 사용되는 언어적 및 전략적 메커니즘에 따라 기술을 그룹화합니다. 이는 3단계 및 7가지 주요 패밀리로 구성됩니다:

1. 사칭 공격 및 허구적 시나리오: 역할극, 무해한 맥락 설정, 허구적 프레이밍 (예: "DAN" 프롬프트).
2. 권한 상승: 관리자/sudo 모드 시뮬레이션 또는 모델이 이미 탈옥되었다고 주장하기.
3. 설득: 모델의 순응을 유도하기 위해 논리적, 감정적, 권위적 또는 강압적 언어를 활용.
4. 인지적 과부하 및 주의력 불일치: 모델의 주의를 안전 제약 조건으로부터 돌리기 위해 방해 요소, 수학적 분해 또는 맥락 포화를 사용.
5. 인코딩 및 난독화: 토큰 분할, 의미론적 재작성, 언어적 인코딩(예: Base64, 저자원 언어) 또는 임베디드 프롬프팅을 통해 표면 형태를 왜곡.
6. 목표 충돌 공격: 정렬을 방해하기 위해 상충하는 목표 할당 (예: 접두사 주입, 거부 억제).
7. 데이터 오염 공격: 모델 행동을 부패시키기 위해 점진적으로 정렬되지 않은 예시나 잘못된 전제를 도입 (예: 점진적 오염, 매니 샷 탈옥).

3. 데이터셋 주석

수집된 대화는 이 분류 체계를 사용하여 수동으로 주석이 달렸으며, 개별 기술뿐만 아니라 기술의 조합도 포착되었습니다. 이는 멀티 턴 탈옥 탐지를 위해 특별히 주석이 달린 최초의 이탈리아어 데이터셋을 구축하는 결과로 이어졌습니다.

4. 평가 실험

저자들은 탈옥 탐지를 위한 판사(judge)로서 GPT-5를 두 가지 설정에서 벤치마킹했습니다:

• 탈옥 시도 탐지: 사용자가 탈옥을 시도하고 있는지 여부를 판단.
• 탈옥 기술 탐지: 대화에서 사용된 특정 기술을 식별.
• 비교: 성능은 분류 체계 강화 프롬프팅(시스템 프롬프트에 분류 체계 정의를 제공하는 것) 적용 여부에 따라 측정되었습니다.

주요 결과

데이터셋 통계

• 총 대화 수: 1,364개 (185개의 성공적인 공격).
• 패밀리별 성공률:
  • 데이터 오염 공격: 가장 높은 성공률 (17.2%).
  • 인코딩 및 난독화: 가장 낮은 성공률 (9.4%).
  • 사칭 공격: 가장 빈번함 (전체 대화의 51.0%) 및 15.1%의 성공률.
  • 자동화 공격: 참가자들이 최적화된 트리거를 사용했을 때 (분류 체계와 무관하게), 성공률이 가장 높았습니다 (23.5%).
• 기술 조합: 대부분의 성공적인 공격은 여러 기술을 결합했습니다. 역할극(특히 가상 AI 변형)이 결합된 공격에서 가장 빈번한 구성 요소였습니다. 접두사 주 injection은 단독으로 사용될 때 높은 성공률(31.1%)을 보였습니다.

탐지 성능 (GPT-5)

• 시도 탐지:
  • 성공률이 분류 체계 강화 프롬프팅을 통해 65.9%(베이스라인)에서 **78.0%**로 증가했습니다.
  • 분류 체계는 이전에 놓쳤던 시도의 14.3%를 정확히 식별하는 데 도움을 주었으며, 가장 큰 이득은 환각 유도 공격에서 관찰되었습니다.
• 기술 탐지:
  • 분류 체계의 세 가지 계층 모두에서 평균 재현율(Recall)이 분류 체계 강화 프를 사용할 때 향상되었습니다:
    • 레벨 1: 0.22 $\to$ 0.26
    • 레벨 2: 0.14 $\to$ 0.20
    • 레벨 3: 0.17 $\to$ 0.23
  • 저자들은 악의적인 요청이 빠져나가는 것을 방지하기 위해 안전 탐지기에서 재현율을 개선하는 것이 매우 중요하다고 강조합니다.

의의 및 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. 최초의 이탈리아어 멀티 턴 탈옥 데이터셋: 1,364개의 주석이 달린 대화로 구성된 공개 가능한 리소스로서, 영어 이외의 언어 및 멀티 턴 적대적 데이터의 부족 문제를 해결합니다.
2. 메커니즘 중심의 분류 체계: 고립된 기술들을 단순히 어떤 위험을 초래하는가가 아니라, 어떻게 공격이 성공하는지에 기반한 일관된 프레임워크로 통합한 계층적 분류 체계입니다. 이는 레드 티밍 챌린지를 통해 경험적으로 검증되었습니다.
3. 경험적 분석: 특정 탈옥 전략의 유병률과 성공률에 대한 통찰을 제공하며, 멀리 턴 공격이 종종 기술의 결합(예: 역할극 + 맥락 무시)에 의존한다는 점과 데이터 오염이 특히 효과적이라는 점을 강조합니다.
4. 분류 체계 기반 탐지의 검증: 구조화된 분류 체계를 프롬프팅 과정에 통합하는 것이 LLM 기반 탈옥 탐지기의 재현율과 정확도를 유의미하게 향전시킨다는 증거를 제시하며, 이는 더 강력한 가드레일 시스템을 위한 경로를 제안합니다.

저자들은 본 데이터셋이 전용 탐지기(Llama Guard와 같은)를 처음부터 훈련시키기에는 규모가 충분하지 않지만, 분류 체계가 적대적 프롬프팅을 연구하기 위한 재현 가능한 프레임워크를 제공하며 프롬프팅을 통한 탐지 능력을 향상시키는 데 실질적인 유용성을 입증한다고 결론짓습니다. 향후 연구는 자동화된 공격과 더 긴 대화 궤적을 다루도록 확장하는 것을 목표로 합니다.