SecureBreak -- A dataset towards safe and secure models

SecureBreak: 안전하고 견고한 LLM 을 위한 데이터셋

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 다양한 실용적 응용 분야에서 핵심 구성 요소로 자리 잡았으나, 배포 시 **보안 정렬 (Security Alignment)**의 부재는 심각한 위험을 초래합니다.

• 기존 접근법의 한계: 기존의 보안 정렬은 주로 모델 아키텍처나 학습 단계의 정렬 방법론 (RLHF 등) 에 의존합니다. 그러나 이러한 내부 정렬 메커니즘은 완벽하지 않으며, **자일브레이킹 (Jailbreaking)**이나 **프롬프트 인젝션 (Prompt Injection)**과 같은 적대적 공격을 통해 우회될 수 있습니다.
• 데이터셋의 부족: 기존 안전성 데이터셋 (AdvBench, JailbreakBench 등) 은 주로 '입력 (프롬프트)'의 유해성을 평가하거나 자동화된 평가 도구에 의존합니다. 이는 복잡한 문맥이나 미묘한 조합을 통해 생성된 **유해한 출력 (Response)**을 포착하는 데 한계가 있습니다.
• 필요성: 따라서 모델의 내부 정렬 실패 시 이를 차단할 수 있는 '최후의 방어선 (Last-line defense)'과, 정렬의 잔여 취약점을 파악하여 추가적인 정렬을 유도할 수 있는 '감독 신호 (Supervisory Signal)'가 필요합니다.

2. 방법론 (Methodology)

이 논문은 이러한 문제를 해결하기 위해 SecureBreak라는 안전 지향적 데이터셋을 제안하고, 이를 활용한 분류기 구축 및 평가 실험을 수행했습니다.

• 데이터 수집 및 구성:
  • 기반: JailbreakBench 데이터셋의 100 가지 고유한 악용 행동 (Misuse behaviors) 을 기반으로 합니다.
  • 모델 다양성: Llama 3.2 (1B, 8B), Qwen2.5 (0.5B, 3B), Gemma (2B, 7B), Mistral-7B 등 다양한 크기와 아키텍처의 LLM 에 해로운 질문을 입력하여 응답을 생성했습니다.
  • 크기: 총 3,059 개의 샘플 (안전 60.5%, 위험 39.5%) 로 구성되었습니다.
• 수동 주석 (Manual Annotation):
  • 두 명의 전문 주석가가 응답을 개별적으로 검토하여 '안전 (Safe, 0)' 또는 '위험 (Unsafe, 1)'으로 라벨링했습니다.
  • 신뢰성 확보: 주석가 간 일치도 (Cohen's Kappa) 가 0.85 이상인 경우만 채택하여, 안전성을 우선시하는 보수적인 라벨링 전략을 적용했습니다.
  • 특징: 프롬프트 분석이 아닌 **응답 수준 (Response-level)**의 이진 분류에 초점을 맞춥니다.
• 실험 설정:
  • 모델: Llama-3.1-8B, Mistral-7B-v0.3, Selene-1-Mini-Llama-3.1-8B 등 7~8B 파라미터 규모의 오픈 가중치 모델을 선택했습니다.
  • 학습 방식: QLoRA (Quantized Low-Rank Adaptation) 를 사용하여 효율적으로 파인튜닝을 수행했습니다 (Rank=8, Alpha=16).
  • 비교 대상: 베이스 모델 (Zero-shot), SecureBreak 로 파인튜닝된 모델, 그리고 Seq2Seq 아키텍처를 활용한 작은 모델 (Qwen 2.5-0.5B) 의 성능을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. SecureBreak 데이터셋 공개: 적대적 자일브레이킹 컨텍스트에서 생성된 응답의 유해성을 식별하기 위해 특별히 설계된 고품질 데이터셋을 최초로 제안했습니다.
2. 고품질 수동 주석: 자동화된 평가가 아닌 전문가에 의한 수동 주석을 통해 미묘한 안전 위반 (예: 의료/법률 분야의 유해한 조언) 을 포착할 수 있는 신뢰할 수 있는 벤치마크를 제공했습니다.
3. 이중 방어 전략 제안:
   • 최후의 방어선: 생성된 응답을 실시간으로 필터링하는 '판단자 (Judge) LLM' 구축을 지원합니다.
   • 정렬 최적화: 모델의 잔여 안전 실패를 측정하여 추가 학습이나 정렬 파이프라인 개선에 필요한 감독 신호를 제공합니다.

4. 실험 결과 (Results)

• 베이스 모델의 한계: 파인튜닝 전 베이스 모델들은 안전/위험 응답 분류에서 낮은 성능 (약 57~62% 정확도) 을 보였으며, 특히 '전문가 조언 (Expert Advice)'이나 '사기/기만 (Fraud/Deception)'과 같은 복잡한 영역에서 실패했습니다.
• 파인튜닝의 효과: SecureBreak 로 파인튜닝된 모델들은 모든 카테고리에서 성능이 크게 향상되었습니다.
  • Mistral-7B-v0.3: 62.84% → 83.24%
  • Llama-3.1-8B: 61.89% → 81.22%
  • Selene-1-Mini-Llama-3.1-8B: 57.43% → 76.08%
• 소규모 모델의 잠재력: Seq2Seq 아키텍처를 사용한 Qwen 2.5-0.5B 모델은 파인튜닝 후 **90.14%**의 높은 정확도를 달성했습니다. 이는 10 배 이상 큰 모델들의 성능을 능가하거나 견줄 수 있음을 보여주며, 온프레미스 배포와 같은 제한된 컴퓨팅 환경에서도 효과적인 안전 필터링이 가능함을 입증했습니다.
• 범주별 분석: '물리적 해 (Physical Harm)'와 같은 명확한 위험은 베이스 모델도 어느 정도 인식했으나, '전문가 조언', '경제적 해', '사기' 등 미묘한 위험 영역에서 파인튜닝 모델의 성능 향상 폭이 가장 컸습니다.

5. 의의 및 결론 (Significance)

SecureBreak 는 LLM 의 안전성을 보장하기 위한 **외부 방어 계층 (External Defense Layer)**의 구축을 가능하게 합니다.

• 실용적 가치: 배포된 모델이 내부 정렬을 우회하여 유해한 내용을 생성하더라도, SecureBreak 기반의 필터가 이를 차단하여 최종 사용자를 보호할 수 있습니다.
• 연구 방향성: 단순히 공격을 방어하는 것을 넘어, 모델의 정렬 상태를 지속적으로 모니터링하고 개선하는 지속 가능한 보안 정렬 워크플로우의 핵심 도구로 작용합니다.
• 확장성: 작은 모델로도 고품질의 안전 판단이 가능하다는 점은 비용 효율적이고 프라이버시가 중요한 환경에서의 LLM 배포에 새로운 가능성을 제시합니다.

결론적으로, 이 논문은 LLM 의 안전성을 확보하기 위해 고품질의 응답 기반 데이터셋이 필수적이며, 이를 통해 구축된 분류기가 모델의 정렬 실패를 감지하고 방어하는 데 결정적인 역할을 할 수 있음을 입증했습니다.