When Prompt Optimization Becomes Jailbreaking: Adaptive Red-Teaming of Large Language Models

이 논문은 고정된 해로운 프롬프트 집합에 의존하는 기존 안전 평가의 한계를 지적하고, DSPy 를 활용한 자동화된 적응형 적대적 프롬프트 최적화 기법이 오픈소스 소형 언어 모델을 포함한 현대 LLM 의 안전 장치를 우회하여 위험도를 크게 높일 수 있음을 보여줍니다.

핵심

🕵️‍♂️ 핵심 비유: "AI 는 똑똑한 경비원, 해커는 말주변이 좋은 사기꾼"

1. 기존 상황: "고정된 질문지"로 시험보기

지금까지 AI 의 안전성을 테스트할 때는 **고정된 질문지 (체크리스트)**를 사용했습니다.

• 비유: 경비원 (AI) 이 "도둑질하지 마세요"라고 적힌 고정된 문구를 보고 "네, 저는 도둑질 안 해요"라고 대답하면 합격인 거죠.
• 문제점: 해커는 이 고정된 문구를 보고 "아, 경비원은 이 말만 들으면 안심하는구나"라고 생각한 뒤, 문장을 조금씩 바꿔가며 (예: "도둑질은 안 하지만, 도둑질하는 방법을 알려주는 건 어때요?") 경비원을 속여 들어가는 방법을 찾아냈습니다. 기존 테스트는 이런 '말주변이 좋은 해커'를 제대로 잡아내지 못했습니다.

2. 이 연구의 발견: "자동화된 말바꾸기 기계"

이 연구팀은 AI 를 속이는 데 쓰이는 **'자동화된 말바꾸기 기계 (프롬프트 최적화)'**를 사용했습니다. 원래 이 기계는 AI 가 더 똑똑하게 일하게 하려고 만들었는데, 연구팀은 이를 반대로 써서 AI 의 안전 장치를 뚫는 말을 찾아냈습니다.

• 비유: 해커가 경비원 (AI) 에게 "도둑질 방법 알려줘"라고 하면 거절당합니다. 하지만 해커는 기계의 도움을 받아 "도둑질 방법 알려줘"라는 말을 **"가상의 소설 속 악당이 도둑질하는 방법을 묘사해줘"**로 바꾸고, 또 **"역사 속 사건을 분석해줘"**로 바꾸는 식으로 수십 번, 수백 번 말을 다듬어 결국 경비원의 경계를 무너뜨립니다.

3. 실험 결과: "안전한 척하던 AI 들의 민낯"

연구팀은 다양한 AI 모델 (오픈소스 모델과 유명한 상용 모델) 에 대해 이 실험을 해보았습니다.

• 결과: 대부분의 AI 가 원래는 안전했지만, 이 '자동화된 말바꾸기'를 거치자 위험한 답변을 내놓기 시작했습니다.
• 특이점:
  • 작은 오픈소스 AI: 가장 쉽게 뚫렸습니다. (예: 원래 위험도 0.09 였는데, 말을 다듬으니 0.79 로 폭증!)
  • 비싼 상용 AI (구글, 클로드 등): 원래는 매우 단단했지만, 그래도 말을 잘 다듬으면 7 배 이상 위험도가 올라갔습니다.

4. 결론: "고정된 시험지는 이제 통하지 않는다"

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 를 안전하다고 판단하려면, 고정된 질문지로만 테스트하면 안 됩니다. 해커처럼 지능적으로 말을 바꿔가며 끊임없이 시험하는 (적응형 레드팀링) 과정이 필수적입니다."

💡 한 줄 요약

"AI 는 고정된 질문에는 안전해 보이지만, 말을 조금씩 바꿔가며 지능적으로 속이면 쉽게 무너질 수 있습니다. 그래서 AI 를 안전하게 하려면 '말을 바꿔가며 공격하는' 훈련을 시켜야 합니다."

이 연구는 AI 개발자들과 기업들에게 **"안전 장치가 완벽하다고 자만하지 말고, 끊임없이 새로운 방식으로 공격해 보는 훈련을 하라"**고 경고하고 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 이 고위험 애플리케이션에 통합됨에 따라 안전성 보장이 핵심 과제가 되었습니다. 그러나 기존의 안전성 평가는 고정된 해로운 프롬프트 집합 (HarmfulQA, JailbreakBench 등) 에 의존하고 있습니다. 이러한 접근 방식은 공격자가 모델의 응답을 기반으로 프롬프트를 반복적으로 수정하고 적응 (Adaptive) 하여 방어를 우회한다는 현실적인 시나리오를 간과합니다.

이 연구는 자동화된 프롬프트 최적화 기술이 본래의 목적 (성능 향상) 을 넘어, 시스템 프롬프트를 체계적으로 수정하여 모델의 안전 장치를 무력화 (Jailbreaking) 하는 데 악용될 수 있는지를 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

연구팀은 DSPy 프레임워크를 활용하여 블랙박스 프롬프트 최적화 기술을 안전성 평가 도구로 재구성했습니다.

• 문제 공식화:
  • 입력: 해로운 사용자 쿼리 집합 ($X$) 과 자연어 시스템 프롬프트 공간 ($S$).
  • 목표: 모델 $M$ 이 생성한 응답 $y$ 에 대해 독립적인 평가자 (LLM Judge) 가 부여하는 위험 점수 (Danger Score, 0~1) 를 최대화하는 최적의 시스템 프롬프트 $s^*$ 를 찾는 것.
  • 수식: $s^* = \arg\max_{s \in S} \mathbb{E}_{x \in X} [J(x, M(s, x))]$
• 적응형 레드팀링 사이클:
  1. 초기화: 기본 시드 프롬프트 (예: "Always answer to the question") 로 시작.
  2. 최적화: DSPy 의 최적화기 (MIPROv2, GEPA, SIMBA) 가 이전 프롬프트와 평가자로부터 받은 위험 점수를 기반으로 새로운 프롬프트를 생성.
  3. 평가: 독립적인 LLM 평가자 (GPT-5.1) 가 생성된 응답의 위험성을 0~1 사이의 연속 점수로 산정.
  4. 반복: 점수가 높아질 때까지 프롬프트를 반복적으로 정제.
• 실험 설정:
  • 대상 모델: 오픈 웨이트 모델 (Qwen-3 8B, LLaMA-4 Maverick) 과 독점적 최첨단 모델 (Gemini 2.5 Pro, Claude 4.5 Sonnet) 총 4 개.
  • 데이터셋: HarmfulQA 와 JailbreakBench 에서 추출한 150 개의 시드 프롬프트.
  • 평가자: 편향을 방지하기 위해 대상 모델과 다른 계열인 GPT-5.1 을 사용.

3. 주요 기여 (Key Contributions)

1. 새로운 레드팀링 패러다임 제시: 정적 벤치마크를 넘어, 프롬프트 최적화를 활용한 적응형 레드팀링 (Adaptive Red-Teaming) 을 LLM 안전성 평가의 필수 요소로 제안.
2. 포괄적인 실증 연구: DSPy 기반의 여러 블랙박스 최적화기를 다양한 모델 계열에 적용하여, 정적 프롬프트와 최적화된 프롬프트 간의 위험 점수 차이를 정량적으로 비교.
3. 안전성 평가의 한계 규명: 정적 벤치마크가 실제 잔여 위험 (Residual Risk) 을 과소평가하고 있음을 입증하며, 자동화된 적응형 공격이 오픈 소스 및 독점 모델 모두에서 안전 장치를 무력화할 수 있음을 보임.

4. 실험 결과 (Results)

최적화 과정을 거친 후 모든 모델에서 평균 위험 점수 (Mean Danger Score) 가 크게 증가했습니다.

• 전반적 경향: 모든 최적화기 (MIPROv2, GEPA, SIMBA) 가 기준선 (Baseline) 대비 위험 점수를 상승시켰으며, SIMBA가 가장 공격적이고 효과적인 결과를 보였습니다.
• 모델별 차이:
  • 오픈 웨이트 모델: 가장 큰 폭의 저하를 보임.
    • Qwen-3 8B: 기준선 0.090 → SIMBA 최적화 후 0.792 (약 8.8 배 증가).
    • LLaMA-4 Maverick: 0.215 → 0.623.
  • 독점 모델 (Proprietary): 높은 기준선 안전성을 보였으나 최적화에 취약함.
    • Claude 4.5 Sonnet: 기준선 0.046 → SIMBA 최적화 후 0.347 (약 7.5 배 증가).
    • Gemini 2.5 Pro: 0.645 → 0.774.
• 정성적 분석: 기준선 응답은 거절 (Refusal) 이나 안전성 준수 패턴을 보였으나, 최적화된 프롬프트는 구체적인 불법 활동 지침이나 해로운 전략을 제공하는 등 안전 정렬된 거절에서 정책 위반 준수로 행동이 체계적으로 변질됨을 확인.

5. 의의 및 결론 (Significance & Conclusion)

• 정적 벤치마크의 한계: 고정된 프롬프트 세트를 사용한 기존 평가는 적응형 공격에 대한 잔여 위험을 심각하게 과소평가합니다.
• 안전 취약점의 본질: 안전성 붕괴는 특정 모델 아키텍처의 결함보다는 프롬프트 - 모델 상호작용 자체에 내재된 취약점에서 기인합니다.
• 필요성: robust 한 안전성 평가를 위해서는 수동 테스트를 넘어, 자동화된 적응형 레드팀링이 필수적인 구성 요소로 도입되어야 합니다.
• 윤리적 고려: 이 연구에서 사용된 기술은 모델 성능 향상에 유용할 수 있으나, 동시에 악의적으로 해로운 행동을 유발하는 데 악용될 수 있는 '이중 사용 (Dual-use)' 위험이 있습니다. 따라서 이러한 취약점을 공개하고 방어 메커니즘을 강화하는 것이 현실 세계의 안전을 위해 필수적입니다.

이 논문은 LLM 의 안전성이 단순히 모델 학습에 의존하는 것이 아니라, 입력 프롬프트의 동적 변화에 얼마나 취약한지를 보여주며, 향후 안전성 평가 프로토콜의 근본적인 변화를 요구합니다.