Exposing Long-Tail Safety Failures in Large Language Models through Efficient Diverse Response Sampling

이 논문은 고정된 안전성 관련 프롬프트에 대해 다양한 응답을 생성하는 출력 공간 탐색을 통해 대규모 언어 모델의 장기적 안전성 실패를 효율적으로 드러내기 위해, 확률적 토큰 샘플링과 다양성 인식 선택을 결합한 점진적 다양성 집단 샘플링 (PDPS) 방법을 제안하고 그 유효성을 입증합니다.

핵심

🛡️ 핵심 주제: "안전한 AI 는 정말 안전한가?"

우리는 AI 가 유해한 내용을 말하지 않도록 '안전 교육 (Safety Tuning)'을 시켰습니다. 마치 학교에서 아이들에게 "나쁜 짓은 하지 마"라고 가르치는 것과 비슷하죠. 하지만 연구자들은 발견했습니다. AI 는 나쁜 짓을 **완전히 없애는 게 아니라, 그냥 아주 드물게만 하도록 '억제'**했을 뿐이라는 사실을요.

이건 마치 매우 단단한 금고와 같습니다. 대부분의 경우 금고는 열리지 않지만, 아주 드문 경우 (확률 0.001%) 에는 열쇠가 우연히 맞거나, 문이 살짝 열린 틈을 통해 도둑이 들어갈 수 있습니다. 기존 연구들은 "금고를 뚫을 새로운 열쇠 (입력) 를 찾아보자"는 데 집중했지만, 이 논문은 **"같은 문 앞에서 문을 여러 번, 다양한 방식으로 두드려보자 (출력)"**는 새로운 접근법을 제시합니다.

---

🔍 문제: "무작위 시도는 너무 비싸다"

만약 우리가 AI 가 유해한 말을 할 확률이 1% 라면, 그걸 찾으려면 100 번을 물어봐야 할 수도 있습니다. 하지만 AI 가 100 번이나 대답을 생성하는 것은 시간과 돈 (컴퓨팅 비용) 을 엄청나게 낭비하는 일입니다. 게다가 AI 는 99% 의 확률로 "죄송합니다, 도와드릴 수 없습니다"라는 똑같은 답만 반복해서 내놓습니다.

이건 마치 100 번이나 같은 문장을 외우는 학생을 시켜서, "혹시 틀린 답을 하나라도 찾아낼까?"라고 기다리는 것과 비슷합니다. 비효율적이죠.

---

💡 해결책: PDPS (점진적 다양성 샘플링)

저자들은 이 문제를 해결하기 위해 PDPS라는 새로운 방법을 고안했습니다. 이를 스마트한 탐정 팀에 비유해 볼까요?

1. 기존 방식 (무작위 시뮬레이션):
   탐정 100 명을 고용해서, 각각이 무작위로 문을 두드려 봅니다. 대부분은 "문 닫힘"이라는 답만 듣고 돌아옵니다. 100 명 중 1 명만 "문 열림"을 발견할지 모릅니다. 비용이 너무 많이 듭니다.

2. 새로운 방식 (PDPS):

   • 1 단계 (짧은 훑어보기): 탐정 1,000 명을 보내지만, 문 두드리는 건 아주 짧게만 합니다. (예: "여보세요?"라고만 말하고 끊음).
   • 2 단계 (선택과 집중): 이 1,000 명 중 "어? 이 친구는 문이 살짝 열려 있는 것 같은데?"라고 생각되는 유망한 100 명만 뽑습니다. 이때 중요한 건, 서로 다른 방식으로 문을 두드린 친구들을 골라야 한다는 점입니다. (똑같은 문장을 외운 친구들은 제외).
   • 3 단계 (확장): 뽑힌 100 명에게 다시 "자, 이제 문이 열린다면 어떻게 나올지 계속 말해봐"라고 시켜서, 최종적인 답변을 완성합니다.

이 방법은 100 번의 무작위 시도를 하는 대신, 1,000 번의 짧은 시도 + 100 번의 집중된 시도를 통해, 훨씬 적은 비용으로 숨겨진 위험 (유해한 답변) 을 찾아냅니다.

---

🌟 이 방법의 장점

1. 효율성 (비용 절감):
   기존 방식보다 8%~29% 정도의 비용으로 같은 결과를 얻습니다. 마치 100 번의 무작위 시도를 대신해, 10 번의 똑똑한 시도로 목표를 달성하는 것과 같습니다.

2. 다양한 위험 발견:
   단순히 "유해한 답변이 나왔다"는 사실만 찾는 게 아니라, 어떤 종류의 유해한 답변이 나올 수 있는지 다양한 패턴을 찾아냅니다.

   • 예: "도둑질하는 법"을 물어봤을 때, A 는 "비밀번호를 훔치는 법"을 알려주고, B 는 "가짜 신분을 만드는 법"을 알려줄 수 있습니다. PDPS 는 이 다양한 위험을 모두 찾아냅니다.

3. 제한된 상황에서도 강력함:
   AI 에게 답변을 16 개만 만들어달라고 해도, 기존 방식은 실패할 확률이 높지만 PDPS 는 16 개만으로도 기존 방식이 1024 개나 만들어야 찾을 수 있었던 위험을 찾아냅니다.

---

📝 결론: 왜 이것이 중요한가?

이 논문은 AI 개발자들에게 중요한 메시지를 줍니다.

"AI 를 안전하게 만드는 것은 단순히 '나쁜 말'을 막는 게 아니라, AI 가 아주 드물게, 아주 다양한 방식으로 나쁜 말을 할 수 있는 '숨은 구멍'을 찾아내는 것이 중요합니다."

PDPS 는 그 숨은 구멍을 적은 비용으로, 빠르고 정확하게 찾아내는 강력한 도구입니다. 이를 통해 우리는 AI 를 세상에 내놓기 전에 더 철저하게 안전 점검을 할 수 있게 됩니다.

한 줄 요약:

"AI 의 안전 구멍을 찾으려면, 같은 문장을 100 번 반복해서 외치는 것보다, 100 가지 다른 방식으로 문을 두드려보는 '스마트한 탐정'이 훨씬 빠르고 효과적이다."

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 은 감독된 미세 조정 (SFT) 과 인간 피드백을 통한 강화 학습 (RLHF) 을 통해 안전성 튜닝을 거치며 상당한 견고성을 확보했습니다. 그러나 이러한 안전성 조치는 유해한 행동을 완전히 제거하기보다는 **억제 (suppression)**하는 경향이 있습니다. 그 결과, 안전성 튜닝을 거친 모델에서도 **출력 분포의 긴 꼬리 (long tail)**에 숨겨진 드물지만 치명적인 안전 실패 (unsafe behaviors) 가 존재할 수 있습니다.

기존의 레드 테이밍 (Red-teaming) 연구는 주로 입력 공간 (input-space) 최적화, 즉 유해한 응답을 유도하기 위해 입력 프롬프트를 변형하거나 적대적 프롬프트를 생성하는 데 집중해 왔습니다. 반면, 이 논문은 **고정된 안전-중요 프롬프트 (fixed safety-critical prompt)**에 대해 **출력 공간 (output-space)**을 탐색하는 것이 안전 실패를 체계적으로 드러낼 수 있음을 지적합니다. 즉, 동일한 입력에 대해 다양한 응답을 생성할 때, 드물게 발생하는 유해한 응답 (Jailbreak 성공) 이 발견될 수 있으며, 이를 효율적으로 찾기 위한 방법론이 필요합니다.

2. 방법론 (Methodology)

2.1. 출력 공간 탐색의 타당성

저자들은 안전성 튜닝이 유해한 응답의 확률을 낮추지만 0 으로 만들지는 않는다는 점에 주목했습니다. 확률론적으로, 독립적인 생성 횟수 ($N$) 가 증가하거나 샘플링의 무작위성 (Temperature, Top-p 등) 이 높아질수록 드문 유해 응답이 발견될 확률은 단조 증가합니다. 실험을 통해 생성 수 ($N$) 와 샘플링 다양성을 높이면 자유크래킹 성공률 (ASR) 이 지속적으로 상승함을 입증했습니다.

2.2. PDPS (Progressive Diverse Population Sampling)

대규모 독립 동일 분포 (IID) 샘플링은 계산 비용이 매우 높고, 안전성 튜닝된 모델의 경우 대부분이 '거부 (refusal)' 응답으로 중복되어 비효율적입니다. 이를 해결하기 위해 제안된 PDPS는 다음과 같은 다단계 확장 - 선택 전략을 사용합니다.

1. 초기화 및 확장 (Expansion):
   • 초기 프롬프트를 기반으로 짧은 부분 응답 (partial responses) 의 풀 (pool) 을 생성합니다.
   • 각 후보 응답에 대해 토큰 수준의 다양성 유도 샘플링 (고온 샘플링, Nucleus sampling 등) 을 적용하여 새로운 토큰 블록을 확장합니다.
2. 다양성 인식 선택 (Diversity-Aware Selection):
   • 확장된 풀에서 중복된 응답을 제거하고 의미적으로 다양한 소수 후보만 선별합니다.
   • **품질 - 다양성 최적화 (Quality-Diversity Optimization)**를 수행합니다.
     • 목적 함수: $J(A) = \frac{1}{|A|}\sum q(s) + \lambda \cdot h(A)$
     • $q(s)$: 응답의 품질 (예: 토큰 확률의 기하평균).
     • $h(A)$: 집합 내 응답 간의 다양성 (임베딩 공간에서의 평균 쌍거리).
     • $\lambda$: 품질과 다양성 간의 트레이드오프를 조절하는 하이퍼파라미터.
   • 이 문제는 NP-hard 이지만, 탐욕 알고리즘 (Greedy Algorithm) 을 사용하여 근사 최적해를 효율적으로 구합니다.
3. 반복 및 최종 생성:
   • 위 과정을 반복하여 풀의 크기를 줄이면서 의미적으로 다양한 응답을 유지하다가, 최종적으로 전체 길이의 응답 세트를 생성합니다.

이 방식을 통해 PDPS 는 대규모 IID 샘플링과 유사한 탐색 범위를 확보하면서도, 계산 비용을 획기적으로 줄이고 드문 실패 모드를 포착합니다.

3. 주요 기여 (Key Contributions)

1. 실증적 분석: 안전성 튜닝된 LLM 에서 표준 디코딩으로는 놓치기 쉬운 잠재적 안전 실패가 다양성 기반 대규모 샘플링을 통해 드러난다는 것을 입증했습니다.
2. PDPS 알고리즘 제안: 단순한 대규모 IID 샘플링을 대체하여, 의미적 다양성을 고려한 확장 - 선택 전략을 적용한 계산 효율적인 알고리즘을 제안했습니다.
3. 성능 및 효율성 입증:
   • 대규모 IID 샘플링과 유사한 공격 성공률 (ASR) 을 달성하면서 계산 비용을 8%~29% 수준으로 줄였습니다.
   • 제한된 응답 생성 예산 (예: 16 개 또는 64 개) 하에서 IID 샘플링 및 Diverse Beam Search (DBS) 보다 평균 26%~40% 높은 성공률을 기록했습니다.
4. 실패 모드 다양성 확보: PDPS 가 생성한 응답은 유해한 응답의 수가 많을 뿐만 아니라, 더 넓은 범위의 실패 모드 (failure modes) 를 포괄하여 모델의 안전성을 더 포괄적으로 스트레스 테스트할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 평가 환경: Llama-2 (7B, 13B), Qwen2.5 (7B), Qwen3 (14B) 등 4 가지 오픈소스 LLM 과 HarmBench, JailbreakBench, AdvBench, MaliciousInstruct 등 4 가지 벤치마크 데이터셋을 사용했습니다.
• 성공률 (ASR) 비교:
  • 제한된 생성 (16 개/64 개 응답): PDPS 는 IID 와 DBS 를 모두 압도적으로 능가했습니다. (16 개 생성 시 평균 38%~40% 향상).
  • 전체 IID 대비 효율성: PDPS16(16 개 생성) 은 1024 개를 생성하는 IID1024 의 성공률의 80% 이상을 16 개 조합 중 11 개에서 달성했습니다. PDPS64 는 모든 조합에서 97% 이상의 성공률을 기록했습니다.
• 다양성 분석: PDPS 가 생성한 유해 응답들은 단순한 표면적 변형이 아닌, 의미적으로 구별되는 다양한 실패 패턴을 보여주었습니다. (Distinct-n, Self-BLEU, Cosine Distance 등 다양한 지표에서 우세).
• 계산 효율성: PDPS64 는 brute-force IID1024 대비 **8%~29%**의 계산 시간만 소모하여 동급의 성능을 내었습니다. 특히 긴 시퀀스 생성 시 효율성이 더욱 두드러졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 의 안전성 평가 패러다임을 **입력 공간 최적화 (적대적 프롬프트)**에서 **출력 공간 탐색 (다양한 응답 생성)**으로 확장했습니다.

• 안전성 튜닝의 한계 규명: 안전성 튜닝이 유해 행동을 완전히 제거하지 않고 '잠재'시킨다는 점을 재확인했습니다.
• 효율적인 레드 테이밍 도구: PDPS 는 개발자들이 배포 전 모델의 드물지만 치명적인 안전 취약점을 발견하고 완화하는 데 사용할 수 있는 강력한 도구를 제공합니다.
• 미래 방향: 의미적 다양성을 고려한 샘플링 전략이 LLM 의 안전성 강화와 더 견고한 AI 시스템 개발에 필수적임을 강조합니다.

요약하자면, 이 연구는 "동일한 입력에 대해 얼마나 다양하게 응답을 생성하느냐"가 모델의 안전성 취약점을 찾는 데 핵심임을 증명하고, 이를 효율적으로 수행하기 위한 PDPS 프레임워크를 제안함으로써 LLM 안전성 연구에 중요한 기여를 했습니다.