MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety

기술 요약: MultiBreak: LLM 안전성 평가를 위한 확장 가능하고 다양한 멀티턴 재일브레이크 벤치마크

문제 제기
대형 언어 모델 (LLM) 을 인간의 가치에 정렬시키는 것이 중요함에도 불구하고, 적대적인 '재일브레이크 (jailbreak)' 공격은 여전히 심각한 위협으로 남아 있습니다. 초기 연구는 단일 턴 프롬프트에 집중했으나, 이러한 접근법은 공격자가 안전 장벽을 우회하기 위해 멀티턴 대화 전반에 걸쳐 의도를 반복적으로 정제하는 실제 세계의 적대적 행동을 포착하지 못합니다. 기존 멀티턴 벤치마크는 두 가지 주요 한계를 겪고 있습니다: (1) 제한된 다양성: 유해한 의도의 중복 제거가 고유 의도 풀을 급격히 축소시켜 세밀한 안전성 문제를 포착하지 못함; (2) 확장성: 사전 설계된 템플릿에 의존하거나 소규모 인간 레드팀을 활용함으로써 다양한 LLM 의 견고성을 엄격하게 평가하기에 데이터셋이 너무 작음. 결과적으로 현재 벤치마크는 일관되지 않은 평가를 초래하고 복잡한 대화 역학에서만 드러나는 미묘한 취약점을 놓치는 경우가 많습니다.

방법론
저자들은 액티브 러닝 프레임워크를 통해 구축된 확장 가능하고 다양한 멀티턴 재일브레이크 벤치마크인 MultiBreak를 제안합니다. 구축 과정은 세 가지 핵심 단계를 포함하는 풀 기반 액티브 러닝 문제로 프레임됩니다:

1. 데이터 다양화 및 초기화:

   • 저자들은 기존 다섯 개의 멀티턴 데이터셋과 아홉 개의 단일 턴 의도 데이터셋에서 대규모 유해 의도 풀을 집계합니다.
   • 필터링 과정은 Qwen3-0.6B 임베딩을 통한 의미적 유사성을 사용하여 중복을 제거하고, 폐쇄형 피해자 모델을 대상으로 평가하여 '거짓 양성'을 제거함으로써 높은 공격 성공률 (ASR) 을 보장합니다.
   • 이를 통해 3,010 개의 고유 유해 의도를 포괄하는 초기 데이터셋인 2,201 개의 멀티턴 적대적 프롬프트 (MTAPs) 가 도출됩니다.

2. 반복적 액티브 러닝 루프:

   • 생성기 학습: 프롬프팅 대신 저자들은 공격 생성기 (LLaMA3-8B, Qwen2.5-7B, DeepSeek-Distill-Qwen-14B) 에 대해 지도 미세 조정 (SFT) 을 수행합니다. 미세 조정은 프롬프팅보다 훨씬 높은 ASR 을 달성하고, 안전 정렬된 모델이 유해 의도에 직접 노출될 때 유해한 콘텐츠 생성을 거부하는 것을 방지하기 위해 선택되었습니다.
   • 획득 함수: 생성된 프롬프트는 일련의 피해자 모델과 판정관 (judges) 에 대해 평가됩니다. 복합 획득 함수는 출력을 세 가지 범주로 분류합니다:
     • ACCEPT: 높은 ASR 과 높은 충실도 (원래 의도와의 의미적 정렬).
     • REWRITE: 높은 불확실성 (판정관 간의 이견) 이지만 높은 충실도. 이러한 '경계선' 샘플은 핵심 의도를 변경하지 않으면서 표현을 명확히 하고 적대적 신호를 강화하기 위해 불확실성 기반 리라이터 (Qwen2.5-7B) 에 의해 처리됩니다.
     • DISCARD: 낮은 ASR 또는 낮은 충실도.
   • 재학습: 승인된 샘플과 성공적으로 재작성된 샘플은 학습 세트에 추가되며, 생성기는 더 강력한 공격 후보를 생성하도록 반복적으로 미세 조정됩니다.

3. 불확실성 기반 재작성:

   • 일부 모델에서는 성공하지만 다른 모델에서는 실패하는 샘플로부터 가치 있는 학습 신호를 복원하기 위해, 리라이터 모델이 모호한 표현을 명확히 하고 설득 전술을 강화합니다. 이 단계는 반복을 통해 판정관의 불확실성을 일관되게 감소시켜 경계선 샘플을 신뢰할 수 있는 재일브레이크로 전환합니다.

주요 기여

• 확장 가능한 액티브 러닝 프레임워크: 적대적 프롬프트를 효율적으로 확장하면서도 품질과 다양성을 유지할 수 있도록 공격 생성기를 반복적으로 미세 조정하고 높은 불확실성 샘플을 정제하는 파이프라인.
• 대규모 다양성 벤치마크 (MultiBreak): 결과 데이터셋은 2,665 개의 고유 유해 의도를 아우르는 10,389 개의 멀티턴 적대적 프롬프트를 포함합니다. 이는 0.942 의 다양성 점수를 기록하며 CoSafe, MHJ, SafeDialBench, RedQueen 과 같은 기존 벤치마크를 크게 능가하는, 현재까지 가장 광범위한 의미적으로 구별되는 의도 범위를 포괄합니다.
• 세밀한 안전성 통찰: 이 벤치마크는 다양한 공격 카테고리가 특정 LLM 취약점을 드러낸다는 것을 보여줍니다. 특히 단일 턴 설정에서는 온전해 보이거나 낮은 ASR 을 보이는 카테고리들이 멀티턴 시나리오에서는 훨씬 높은 적대적 효과를 나타냅니다.

실험 결과
오픈소스 (DeepSeek-R1-Distill-Qwen-7B, Qwen3-8B, LLaMA3.1-8B) 와 폐쇄소스 (GPT-4.1-mini, Gemini-2.5-flash-lite) 모델에 대한 실증적 평가는 다음을 입증합니다:

• 우월한 공격 성공률 (ASR): MultiBreak 는 DeepSeek-R1-7B 와 GPT-4.1-mini 에서 각각 두 번째로 좋은 데이터셋보다 ASR 이 최대 **54.0%**와 **34.6%**더 높습니다.
• 모델 간 견고성: 이 데이터셋은 다양한 피해자 모델과 판정관 (LLaMA Guard 및 GPT-4o-mini) 에서 높은 효과를 유지하여 강력한 일반화 능력을 나타냅니다.
• 멀티턴 우위: 실험은 턴 수를 늘리는 것이 '온전한' 단일 턴 프롬프트를 효과적인 재일브레이크로 변환함을 보여주며, 특정 저취약성 카테고리를 여섯 턴으로 확장할 경우 ASR 이 최대 44.8% 증가합니다.
• 방어 한계: 기존 방어 방법 (예: X-Boundary, NBF-LLM) 이 있음에도 불구하고 MultiBreak 는 특히 고위험 규제 조언 및 금융 범죄 카테고리에서 지속적인 취약점을 노출시킵니다.

의의
본 논문은 MultiBreak 를 LLM 안전성 진전을 위한 핵심 자원으로 위치시킵니다. 이는 현실적인 적대적 환경을 반영하지 못하는 정적, 단일 턴, 또는 템플릿 의존적 데이터셋에 의존하기 때문에 현재 안전성 평가가 불충분함을 강조합니다. 저자들은 멀티턴 상호작용이 고립 상태에서는 명확하지 않은 세밀한 취약점을 드러낸다는 점을 입증함으로써, 확장 가능하고 다양하며 반복적인 평가 프레임워크의 필요성을 주장합니다. MultiBreak 는 지속적인 안전성 격차를 식별하고 더 견고한 정렬 전략 개발을 안내하는 실용적인 도구 역할을 합니다.