💻 computer science

JailBreakGuard: Defeating Jailbreak Attacks via Dynamic Prompt Perturbation

JailBreakGuard는 퍼플렉시티(perplexity) 기반 메커니즘을 활용하여 문자 또는 문장 수준의 프롬프트 섭동(perturbation)을 선택적으로 적용함으로써, 양호한 질의의 성능에는 최소한의 영향만을 미치면서 다양한 탈옥 공격을 완화하는 비용 효율적이고 동적인 방어 프레임워크이다.

원저자: Jun Yuan, Ziang Ruan, Liangguo Chen, Shuyu Jiang, Rui Tang, Hao Ren

게시일 2026-09-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jun Yuan, Ziang Ruan, Liangguo Chen, Shuyu Jiang, Rui Tang, Hao Ren

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 시대에 대규모 언어 모델은 이메일 초안 작성부터 복잡한 질문에 대한 답변에 이르기까지 수많은 애플리케이션의 보이지 않는 엔진이 되었습니다. 이러한 시스템은 방대한 양의 인간 텍스트를 학습하여 문장에서 다음에 어떤 단어가 와야 하는지를 예측하는 법을 배웁니다. 그러나 언어를 이해하고 생성하는 바로 그 능력 때문에, 이들은 '탈옥(jailbreak)'이라고 알려진 특정한 종류의 속임수에 취약해집니다. 탈옥 공격에서 사용자는 모델의 내장된 안전 규칙을 우회하도록 설계된 정교하게 구성된 요청인 '프롬프트'를 만듭니다. 역할극 시나리오, 숨겨진 지시 사항 또는 기이한 형식을 사용함으로써, 공격자는 모델이 윤리적 가이드라인을 무시하고 위험한 활동에 대한 지침이나 혐오 표현과 같은 유해한 콘텐츠를 생성하도록 속일 수 있습니다. 개발자들이 이러한 속임수에 대비해 모델을 강화하려고 노력해 왔지만, 공격자들은 끊임없이 그들의 방법을 진화시키며, 이는 단 하나의 정적인 방패로는 방어하기 어려운 움직이는 표적을 만들어냅니다.

'JailBreakGuard'라고 불리는 새로운 접근 방식은 문제에 대처하는 다른 방법을 제시하며, 모델 자체를 변경하는 것에서 벗어나 요청이 처리되기 전에 들어오는 요청을 신중하게 수정하는 데 초점을 맞춥니다. 쓰촨 대학교와 구이린 전자과기대학교의 연구진은 모든 악성 프롬프트가 동일한 형태를 띠지는 않는다는 사실을 발견했습니다. 어떤 것들은 매끄럽게 읽히는 복잡한 이야기 같은 시나리오에 의존하는 반면, 다른 것들은 시스템을 혼란스럽게 하기 위해 의미 없는 문자로 가득 찬 이상하고 엉망인 텍스트를 사용합니다. 연구팀은 이 두 가지 유형의 공격이 모델에게 텍스트가 얼마나 '놀라운지(surprising)' 측정될 때 매우 다르게 행동한다는 것을 발견했습니다. 매끄러운 이야기 기반의 공격은 매우 정상적이고 예측 가능한 것처럼 보이는 반면, 엉망인 적대적 공격은 혼란스럽고 매우 예측 불가능해 보입니다.

이 차이를 이용하기 위해 연구진은 애플리케이션 입구에서 스마트한 문지기 역할을 하는 방어 시스템을 구축했습니다. 모든 요청에 동일한 해결책을 적용하는 대신, 시스템은 먼저 들어오는 텍스트의 '놀라움 수준'을 측정합니다. 만약 텍스트가 매우 혼란스럽고 예측 불가능하다면, 시스템은 이를 엉망인 공격으로 간주하고 몇 개의 문자를 무작위로 삭제, 교체 또는 삽입하는 기술을 적용합니다. 이 아주 작은 양의 노이즈는 일반적인 질문의 의미를 바꾸지 않으면서도 악성 코드의 특정 구조를 깨뜨리기에 충분합니다. 만약 텍스트가 매끄럽고 예측 가능하다면, 시스템은 그것이 영리한 이야기 기반의 공격일 수 있다고 가정하고 대신 보조 모델을 사용하여 문장을 다시 작성합니다. 이 재작성 과정은 원래의 의미는 유지하면서도 안전 필터를 속이기 위해 설계된 숨겨진 지시 사항들을 제거합니다.

이 동적인 접근 방식의 결과는 7개 범주에 걸친 9가지 유형의 탈옥 공격을 대상으로 테스트되었습니다. 이 시스템은 놀라운 효과를 입증하며, 테스트된 모델들에 대해 이러한 공격의 평균 성공률을 70% 이상 감소시켰습니다. 결정적으로, 이 방어 체계는 일반적인 사용자들을 돕는 모델의 능력을 희생시키지 않았습니다. 연구진이 일반적이고 무해한 질문에 대해 시스템을 테스트했을 때, 모델의 성능 저하는 미미했으며 정확도의 최대 감소 폭은 3.19%에 불과했습니다. 실제로 일부 모델의 경우, 재작성 과정이 질문을 이해하기 더 쉽게 만들어 정확도가 약간 향상되기도 했습니다.

이 방법은 기본 모델이나 내부 설정을 변경할 필요가 없기 때문에, 요청이 처음 도착하는 서비스 레벨에서 쉽게 설치할 수 있다는 점에서 돋보입니다. 또한 기존의 많은 방어 방법보다 시간을 덜 소요하고 컴퓨팅 자원을 적게 사용하는 효율적인 방식입니다. 서로 다른 공격에는 서로 다른 대응책이 필요하다는 점을 인식하고, 어떤 대응책을 사용할지 결정하기 위해 텍스트의 자연스러운 구조를 활용함으로써, JailBreakGuard는 유연하고 강력한 방패를 제공합니다. 이는 방어가 반드시 무겁고 완고한 벽일 필요는 없으며, 때때로 가장 효과적인 보호는 위협의 형태에 적응하는 가볍고 지능적인 손길이라는 점을 보여줍니다.

기술 요약: JailBreakGuard

문제 정의

애플리케이션 서비스, 특히 피어 투 피어(P2P) 환경에 통합된 대규모 언어 모델(LLM)은 탈옥(jailbreak) 공격에 여전히 취약합니다. 이러한 공격에서 공격자는 안전 가드레일을 우회하고 유해한 출력을 유도하기 위해 특정 프롬프트를 정교하게 설계합니다. 기존의 방어 메커니즘은 두 가지 결정적인 한계에 직면해 있습니다:

다양한 공격에 대한 효과성 부족: 단일 방어 전략(예: 퍼플렉시티 필터링 또는 패러프레이징)은 적대적 접미사(adversarial suffixes) 대 복잡한 시나리오 기반 내러티브와 같은 모든 유형의 탈옥 프롬프트를 효과적으로 차단할 수 없습니다.
높은 자원 소비량: 여러 방어 메커니즘을 동시에 배포하거나 반복적인 모델 쿼리를 요구하는 방법을 사용하는 것은 상당한 처리 오버헤드와 배포 비용을 발생시켜, 서비스 인터페이스에서의 대규모 적용을 저해합니다.

RLHF(인간 피드백으로부터의 강화 학습) 및 DPO(직접 선호 최적화)와 같은 현재의 정렬 기술은 정교하게 설계된 프롬프트에 대한 취약성을 줄여주지만 완전히 제거하지는 못합니다. 또한, 서비스 제공업체 입장에서 모델 아키텍처를 변경하지 않고 입력 인터페이스에서 가드레일을 구축해야 하는 경우, 기본 모델의 파라미터를 수정하는 것은 종종 비현실적입니다.

방법론

저자들은 대상 LLM의 파라미터를 수정하지 않고 서비스 인터페이스에서 작동하는 입력 레벨 방어 프레임워크인 JailBreakGuard를 제안합니다. 이 프레임워크는 텍스트의 퍼플렉시티(perplexity)를 기반으로 섭동(perturbation) 전략을 동적으로 선택합니다. 이는 세 가지 핵심 모듈로 구성됩니다:

1. 퍼플렉시티 기반 섭동 전략 선택

핵심 혁신은 텍스트의 퍼플렉시티를 사용하여 공격 유형을 분류하고 적절한 방어 전략을 결정하는 메커니즘입니다.

관찰: 저자들은 적대적 공격(예: GCG)이 부자연스러운 문자 시퀀스로 인해 일반적으로 높은 퍼플렉시티를 보이는 반면, 장면 기반 또는 역할 수행 공격(예: DAN, DeepInception)은 유창한 자연어를 유지하므로 낮은 퍼플렉시티를 보인다는 것을 발견했습니다.
임계값 최적화: 시스템은 적대적 공격과 장면 기반 공격 분포 사이의 제1종 오류와 제2종 오류 사이의 균형을 맞추는 목적 함수 $J(\theta)$ 를 최소화함으로써 최적의 퍼플렉시티 임계값( $\theta^*$ )을 계산합니다. Brentq 알고리즘을 사용하여, 저자들은 154.63이라는 최적의 임계값을 식별했습니다.
라우팅:
- 높은 퍼플렉시티 (> $\theta^*$ ): 문자 레벨 섭동(Character-Level Perturbation) 모듈으로 라우팅됩니다.
- 낮은 퍼플렉시티 ( $\le$ $\theta^*$ ): 문장 레벨 섭동(Sentence-Level Perturbation) 모듈으로 라우팅됩니다.

2. 문자 레벨 섭동 모듈

높은 퍼플렉시티를 가진 입력(적대적 접미사가 포함되었을 가능성이 높은 입력)을 대상으로 하며, 이 모듈은 무해한 쿼리에 대한 의미적 변화를 크게 일으키지 않으면서 공격의 구조적 의존성을 교란합니다. 이 모듈은 4%의 비율로 세 가지 작업을 순차적으로 적용합니다:

무작위 삭제 (Random Deletion): 무작위 문자를 제거합니다.
무작위 교체 (Random Swapping): 무작위 문자의 위치를 바꿉니다.
무작위 삽입 (Random Insertion): 무작위 ASCII 문자를 삽입합니다.

3. 문장 레벨 섭동 모듈

낮은 퍼플렉시티를 가진 입력(시나리오 기반 또는 유창한 탈옥일 가능성이 높은 입력)을 대상으로 하며, 이 모듈은 보조 LLM(DeepSeek-V3)을 사용하여 프롬프트를 재작성합니다.

프로세스: 입력값은 안전 지향적인 패러프레이징 템플릿에 삽입됩니다.
이중 목표:
1. 유해성 제거: 탐지된 유해 콘텐츠를 반드시 제거합니다.
2. 의미 보존: 원래 쿼리의 핵심 의미를 엄격하게 유지합니다.
안전 계층: 입력에 명백히 악의적인 내용이 포함된 경우, 패러프레이징 모델이 이를 직접 거부합니다.

주요 기여

새로운 프레임워크: 퍼플렉시티 기반의 동적 선택 메커니즘을 통해 문자 레벨 및 문장 레벨 섭동을 통합하는 범용 방어 프레임워크인 JailBreakGuard를 소개합니다.
모델 불가지론적(Model-Agnostic) 배포: 이 방법은 보호되는 모델의 아키텍처나 파라미터를 수정할 필요 없이 완전히 입력 레벨에서 작동하므로, P2P 서비스 노드 및 기존 LLM API에 적합합니다.
적응형 전략: 퍼플렉시티를 분류기로 사용함으로써, 시스템은 다양한 섭동 방법의 강점을 동적으로 결합하여 단일 전략 방어의 한계를 해결합니다.
포괄적인 평가: 7가지 카테고리(그래디언트 기반, 변이 기반, 역할 수행, 다국어 공격 포함)에 걸친 9가지 탈옥 공격에 대해 여러 피해 모델(Qwen2.5, DeepSeek-V3, Vicuna, Llama)을 대상으로 광범 \text{범위}한 테스트를 수행했습니다.

실험 결과

저자들은 Qwen2.5-32B 및 DeepSeek-V3 모델에 대해 9가지 공격 유형을 대상으로 JailBreakGuard를 평가했습니다:

공격 성공률(ASR) 감소:
- Qwen2.5-32B의 경우, 평균 ASR이 23.20%(방어 없음)에서 **5.42%**로 감소하여 **76.64%**의 상대적 감소를 보였습니다.
- DeepSeek-V3의 경우, 평균 ASR이 **25.58%**에서 **7.10%**로 감소하여 **72.24%**의 상대적 감소를 보였습니다.
- GCG 및 DAN과 같은 특정 공격은 거의 제로에 가까운 ASR로 감소했습니다 (예: Qwen2.5-32B에 대한 GCG는 10.83%에서 0.00%로 감소).
무해한 유틸리티 보존:
- 본 프레임워크는 무해한 쿼리에 대해 높은 성능을 유지합니다 (MMLU 데이터셋).
- 관찰된 최대 성능 저하는 3.19% (Qwen2.5-14B 기준)였습니다.
- 흥미롭게도, 일부 모델(Vicuna-13B, Llama-3.1-8B)은 섭동 후 약간의 정확도 향상을 보였는데, 이는 패러프레이징이 쿼리를 더 해석 가능한 형태로 재구성했기 때문일 수 있습니다.
베이스라인과의 비교:
- JailBreakGuard는 테스트된 10가지 시나리오 중 10개 중 8개에서 베이스라인(Self-Reminder, LLM Self Defense, Llama Guard 3)보다 우수한 성능을 보였습니다.
- 나머지 2가지 사례에서도 성능 차이는 2% 미만이었습니다.
자원 효율성:
- JailBreakGuard는 베이스라인에 비해 현저히 낮은 자원 소비량을 보여주었습니다.
- 평균 방어 시간: 약 3.86초 (베이스라인의 >10초 대비).
- 평균 토큰 비용: 225.14 토큰 (베이스라인의 약 300~500+ 토큰 대비).
절제 연구(Ablation Studies):
- 퍼플렉시티 선택기를 비활성화하고 섭동을 무작위로 적용했을 때 하위 최적의 방어 결과가 나타나, 동적 라우팅 메커니즘의 필요성을 확인했습니다.
- 문자 레벨 섭동만 적용했을 때는 장면 기반 공격에 실패했고, 문장 레벨 섭동만 적용했을 때는 적대적 접미사 공격에 실패하여, 이중 전략 접근 방식의 타당성을 입증했습니다.

의의 및 주장

본 논문은 JailBreakGuard가 LLM 서비스 인터페이스를 보호하기 위한 실용적이고, 저비용이며, 매우 효과적인 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

확장성: 모델 재학습을 피하고 계산 오버헤드를 최소화함으로써, 자원이 제한된 P2P 환경에 배포하기에 적합합니다.
강건성: 단일 방법 방어가 실패하는 다양한 탈옥 공격을 성공적으로 해결하며, 광범한 공격 벡터 전반에 걸쳐 70% 이상의 공격 성공률 감소를 달달성했습니다.
사용성: 보안과 유틸리티 사이의 균형을 맞추어, 정당한 사용자 쿼리가 크게 저하되지 않도록 함으로써 LLM의 안전한 생태계 통합을 용이하게 합니다.

저자들은 고도로 구조화된 장면 기반 공격(예: DeepInception)이 여전히 도전 과제로 남아 있지만, JailBreakGuard가 동적 입력 레벨 방어 전략의 중요한 진전임을 결론지었습니다.