Analysis of LLMs Against Prompt Injection and Jailbreak Attacks

논문 개요: 오픈 소스 LLM 의 프롬프트 인젝션 및 저브레이크 공격 분석

이 연구는 제한된 자원을 가진 조직에서 널리 배포되고 있는 오픈 소스 대규모 언어 모델 (LLM) 들의 보안 취약점을 실증적으로 분석하고, 재학습 없이 추론 시 (Inference-time) 적용 가능한 경량 방어 기법의 효과를 평가하는 것을 목적으로 합니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: LLM 은 교육, 의료, 고객 지원 등 다양한 실용적 분야에 빠르게 도입되고 있으며, 특히 리소스가 부족한 환경 (에지 디바이스, 학계 등) 에서는 경량 오픈 소스 모델 (1B~7B 파라미터) 이 주로 사용됩니다.
• 문제: 이러한 모델들은 프롬프트 인젝션 (Prompt Injection) 및 저브레이크 (Jailbreak) 공격에 취약합니다. 공격자는 역할극, 지시 명령 우회, 다단계 추론 등을 통해 모델의 안전 장치를 회피하여 유해한 콘텐츠를 생성하도록 유도할 수 있습니다.
• 제약 사항: 대규모 상용 모델과 달리, 오픈 소스 모델은 재학습 (Retraining) 이나 GPU 집약적인 파인튜닝이 불가능한 경우가 많습니다. 따라서 모델 가중치를 수정하지 않고 추론 단계에서 적용 가능한 방어 전략이 시급히 필요합니다.

2. 연구 방법론 (Methodology)

2.1 평가 대상 모델

6 가지 모델 패밀리 (총 10 개 변형) 를 대상으로 1B 에서 7B 파라미터까지의 크기를 비교 분석했습니다.

• 모델군: Phi-3 (3.8B), Mistral (7B), DeepSeek-R1 (1.5B, 7B), Llama 3.2 (1B, 3B), Qwen 3 (1.7B, 4B), Gemma 3 (1B, 4B).

2.2 공격 데이터셋 구성

기존의 합성 데이터나 제한된 벤치마크를 넘어, 실제 환경에서 발견된 다양한 공격 기법을 포함하도록 구성했습니다.

• 소스: Reddit, GitHub 저장소, 학술 논문, 오픈 소스 레포지토리, 수동 제작 변형 등.
• 공격 유형:
  1. 질문 답변 (QA) 은폐
  2. 기본 준수 (Basic Compliance)
  3. 지시 명령 우회 (Instruction Override)
  4. 역할극 저브레이크 (Role-playing Jailbreaks)
  5. 장문/다단계 프롬프트 (Long-format/Multi-step Prompts)
• 데이터 규모: 프롬프트 인젝션 테스트 94 건, 저브레이크 테스트 73 건 (모델당), 방어 평가 시 74 건의 정제된 공격 데이터 사용.

2.3 평가 지표 및 방법

• 평가 기준: 모델 응답을 '성공적인 저브레이크 (Vulnerable)'와 '거부 (Refusal)'로 분류.
• 평가 도구: 별도의 LLM 평가자 (Safety Judge) 를 사용하여 응답의 유해성을 이진 분류 (Binary Classification) 하되, 일부는 인간 검토를 통해 교차 검증하여 정확도를 높였습니다.
• 특이점: '침묵하는 비응답 (Silent Non-responsiveness)'을 별도의 실패 모드로 분석하여, 모델이 아예 응답을 하지 않는 경우를 단순한 안전성으로 오해하지 않도록 구분했습니다.

2.4 평가된 방어 기법 (5 가지)

모델 재학습 없이 추론 시 적용 가능한 경량 방어 기법 5 가지를 평가했습니다.

1. 입력 필터링 (Input Filtering): 키워드, 정규식, 패턴 매칭을 통해 유해 프롬프트를 차단.
2. 자기 검사 (Self-Examination): 생성된 응답을 별도의 안전 평가 모델 (DeepSeek-R1 등) 이 검토하여 유해 시 차단.
3. 정책 기반 가드레일 (Policy Guardrails): 시스템 프롬프트를 강화하여 지시 계층 구조를 명시.
4. 벡터 방어 (Vector Defence): 임베딩 공간에서 알려진 공격 패턴과의 유사도를 측정.
5. 투표 방어 (Voting Defence): 여러 응답을 생성하여 가장 안전한 응답을 선택 (Ensemble).

3. 주요 결과 (Key Results)

3.1 방어 없는 상태 (Baseline) 의 취약성

• 모델 크기 vs 안전성: 모델 크기만으로 안전성이 결정되지 않음.
  • 매우 취약: Qwen3:1.7B (71.3%), Gemma3:1B (62.8%).
  • 매우 안전: Phi-3:3.8B, Mistral:7B, DeepSeek-R1:7B 등은 0% 취약성 기록.
• 실패 모드: 일부 모델 (Phi-3, Mistral 등) 은 공격을 완전히 차단했으나, 명확한 거부 메시지 대신 빈 응답 (Silent Non-response) 을 반환하여 사용자 신뢰와 디버깅을 저해하는 '숨겨진 실패 모드'를 보임.
• 공격 유형별 영향: 장문 및 다단계 추론 공격은 모델의 안전 장치를 우회하는 데 가장 효과적이었음.

3.2 방어 기법 적용 결과

• 가장 효과적인 방어: 자기 검사 (Self-Examination) 기법이 모든 모델에서 가장 낮은 취약성률을 보임.
  • Qwen3:4B 와 DeepSeek-R1:1.5B 는 자기 검사 하에 0% 취약성을 기록.
  • Llama3.2:1B 의 취약성이 약 9.5% 로 크게 감소.
• 비효율적인 방어: 입력 필터링 (Input Filtering) 이 가장 취약했으며, 오히려 방어 없는 상태보다 취약성이 증가한 모델도 존재함 (예: Llama3.2:3B 에서 42% 까지 상승). 이는 단순 키워드 매칭이 복잡한 문맥 공격에는 무력함을 의미.
• 기타 방어: 시스템 프롬프트 강화와 벡터 방어는 중간 수준의 효과를 보였으나, 복잡한 저브레이크 공격에는 한계가 있었음. 투표 방어는 계산 비용이 크고 일관성 문제를 야기함.

3.3 종합 비교

• 내재적 방어 vs 외부 필터: 모델 자체의 거부 메커니즘 (내재적 방어) 이 외부 필터링보다 훨씬 강력하고 일반화 능력이 뛰어남.
• 공격 복잡도: 단순 공격은 방어 기법으로 막을 수 있으나, 장문 및 추론 기반 공격은 대부분의 경량 방어 기법을 우회함.

4. 주요 기여 (Contributions)

1. 포괄적 실증 평가: 10 개 오픈 소스 LLM 에 대해 94 개의 프롬프트 인젝션 및 73 개의 저브레이크 시나리오를 체계적으로 평가.
2. 경량 방어 기법 비교: 재학습 없이 적용 가능한 5 가지 추론 시 방어 메커니즘의 성능을 정량화.
3. 새로운 실패 모드 식별: '침묵하는 비응답 (Silent Non-responsiveness)'을 중요한 보안 실패 모드로 규명.
4. 데이터셋 공개: 재현 가능한 연구를 위해 커스터마이징된 적대적 프롬프트 데이터셋을 공개.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 패러다임의 전환: 모델 크기가 안전성을 보장하지 않으며, 정렬 (Alignment) 전략과 거부 (Refusal) 메커니즘의 설계가 더 중요함을 입증.
• 방어 전략의 한계: 외부 필터링 (입력 차단 등) 만으로는 복잡한 저브레이크 공격을 막을 수 없으며, 모델 내부의 추론 능력을 활용한 자기 검사 (Self-Examination) 나 내재적 안전 장치가 필수적임.
• 실무적 시사점: 리소스가 부족한 환경에서는 모델 가중치를 수정하는 대신, 추론 시 자기 검사와 같은 경량 방어 기법을 도입하여 안전성을 높여야 함.
• 향후 연구 방향: 단순 필터링을 넘어, 모델 아키텍처 자체에 안전 추론을 통합하고, 장문 및 다단계 공격에 강건한 방어 메커니즘 개발이 필요함.

이 논문은 오픈 소스 LLM 의 보안 취약점을 체계적으로 분석하고, 실용적인 환경에서 적용 가능한 방어 전략의 우선순위를 제시했다는 점에서 LLM 보안 분야에서 중요한 이정표가 됩니다.