기술 요약: ContextualJailbreak

문제 정의

대규모 언어 모델 (LLM) 은 인간 피드백을 통한 강화 학습 (RLHF) 을 통해 광범위하게 훈련되었음에도 불구하고, 안전 정렬을 우회하는 재일브레이크 공격에 여전히 취약합니다. 기존 자동화된 레드팀링 방법은 블랙박스 탐색을 통해 단일 턴 프롬프트를 성공적으로 최적화해 왔으나, 대화의 이전 턴이 은밀하게 이후 응답에 편향을 미치는 현상인 **맥락적 프라이밍 (contextual priming)**을 해결하지는 못했습니다. 현재 최적화 기반 공격자는 입력을 내재된 맥락을 포함하더라도 정적 단일 턴 산물로 취급합니다. 이러한 구조적 한계는 해로운 요청이 제출되기 전에 대화 궤적이 점진적으로 모델의 해석 프레임을 형성하는 공격을 배제합니다. 결과적으로 효과적인 다중 턴 프라임된 대화에 대한 설계 공간은 자동화 시스템에 의해 거의 탐구되지 않은 채 남아 있습니다.

방법론

본 논문은 단일 프롬프트가 아닌 시뮬레이션된 다중 턴 프라임된 대화에 대한 진화적 탐색을 수행하는 블랙박스 레드팀링 전략인 ContextualJailbreak를 소개합니다. 이 시스템은 전체 대화 궤적을 최적화의 주요 대상으로 간주합니다.

핵심 아키텍처

이 방법은 다음 단계로 구성된 반복적 피드백 루프로 작동합니다:

1. 목표 및 시드 선택: 특정 해로운 행동 (목표) 에 대해 시스템은 데이터베이스에서 역사적 템플릿 (시드) 을 샘플링합니다. 선택은 점수 편향적으로 이루어져 해로운 점수가 높은 클러스터를 우선시하면서도 온도 스케일 소프트맥스 메커니즘을 통해 다양성을 유지합니다.
2. 맥락적 프라이밍 변이기: 시스템은 대화를 변환하기 위해 5 가지 의미론적으로 정의된 변이 연산자 중 하나를 선택합니다. 이러한 연산자는 최종 해로운 요청이 자연스러운 연속으로 보이도록 대화가 어떻게 프레임되는지를 결정합니다:
   • 역할극: 어시스턴트에게 전문적이거나 분석적인 역할을 부여합니다.
   • 시나리오: 상호작용을 구조화된 내러티브 (예: 허구 또는 역사적) 안에 포함시킵니다.
   • 확장: 해석에 편향을 주기 위해 배경 정보와 동기를 도입합니다.
   • 문제 해결 (Troubleshooting): (신규) 목표를 실패한 프로세스나 실험의 진단으로 프레임합니다.
   • 기계론적 (Mechanistic): (신규) 시스템 메커니즘과 인과적 분해에 대한 분석적 추론에 초점을 맞춥니다.
3. 변이 프롬프트 및 생성: 전략, 목표, 역사적 예시를 포함한 구조화된 프롬프트가 공격자 모델 (생성기) 에 입력되어 새로운 다중 턴 적대적 템플릿을 생성합니다.
4. 평가: 템플릿은 대상 행동으로 인스턴스화되어 대상 LLM 에 전송됩니다. 응답은 이중 레벨 판정 시스템에 의해 평가됩니다:
   • 방벽 판정자 (Barrier Judge): 명확한 거절이나 관련 없는 안전한 완결에 점수 0 을 할당하여 주요 판정자를 건너뛰는 경량 필터입니다.
   • 주 판정자 (Main Judge): 응답이 얼마나 잘못을 가능하게 하는지 평가하는 0~5 등급의 해로운 점수기 (Hagendorff rubric 기반) 입니다. 점수 4 는 거의 완전한 해로운 응답을, 5 는 완전히 해로운 응답을 나타냅니다.
5. 피드백 루프: 점수가 매겨진 템플릿과 판정자의 근거는 후속 생성을 안내하기 위해 시드 풀에 다시 저장됩니다.

위협 모델

이 연구는 공격자가 다음을 가진 블랙박스 적대적 환경을 가정합니다:

• API 를 통한 대상 LLM 에 대한 쿼리 접근 (시도당 단일 호출).
• 공개 해로운 행동 벤치마크 (HarmBench) 에 대한 접근.
• 보조 생성자 및 판정자 모델에 대한 접근.
• 모델 가중치, 로지트, 또는 훈련 데이터에 대한 접근 없음.
• 전이 실험 중 대상별 적응 없음 (오픈소스 프록시에서 발견된 공격은 프론티어 모델에서 그대로 재생성됨).

주요 기여

1. 맥락적 프라이밍에 대한 진화적 탐색: 이는 다중 턴 프라임된 대화를 진화적 탐색의 주요 대상으로 간주하여 대화 궤적 자체를 검색 변수로 만드는 최초의 자동화된 블랙박스 재일브레이크 전략입니다.
2. 신규 변이 연산자: 저자들은 기존 템플릿 변환 작업에서 파생되지 않은 두 가지 고수익 변이기인 **문제 해결 (troubleshooting)**과 **기계론적 (mechanistic)**을 도입했습니다. 실증 분석에 따르면 이러한 연산자는 특히 어려운 대상에서 높은 공격 성공률 (ASR) 을 달성하는 가장 강력한 동인 중 하나입니다.
3. 공급자 수준 비대칭성에 대한 실증적 증거: 이 논문은 오픈소스 프록시에 대해 진화시킨 공격이 OpenAI 와 Google 의 폐쇄형 프론티어 모델로 효과적으로 전이되지만, Anthropic 모델에서는 현저히 실패한다는 대규모 증거를 제시합니다. 이는 모델 규모와 무관한 정렬 견고성의 급격한 비대칭성을 드러냅니다.

실험 결과

이 전략은 4 개의 오픈소스 대상 (gpt-oss:20B, gpt-oss:120B, llama3.1:70B, qwen3-8B) 에 걸쳐 HarmBench 의 50 가지 대표 행위에 대해 평가되었으며, 4 가지 베이스라인 (DirectRequest, Encoding, HumanJailbreak, Crescendo) 과 비교되었습니다.

• 공격 효과성: ContextualJailbreak 는 gpt-oss:20B, qwen3-8B, llama3.1:70B 에서 100% ASR@4를 달성했고, 견고한 gpt-oss:120B 에서는 90% ASR@4를 달성했습니다. 이는 모든 베이스라인보다 평균 31~96 퍼센트 포인트 더 높은 성능이었습니다. 특히 gpt-oss:120B 는 직접 요청의 100% 를 거절했으나 (0% ASR@4), 다중 턴 프라임된 공격의 90% 에 의해 침해되었습니다.
• 맥락 대 내용: 통제된 비교 결과, **맥락 프라이밍 (구조화된 다중 턴)**이 **단일 시퀀스 (평탄화된 내용)**와 직접 요청보다 현저히 우월한 것으로 나타났습니다. 대화의 의미론적 내용뿐만 아니라 대화의 구조적 조직이 결정적 요인으로 확인되었으며, 평균적으로 ASR@5 는 단일 시퀀스의 29% 에서 맥락 프라이밍의 90% 로 급증했습니다.
• 변이기 분석: **문제 해결 (troubleshooting)**과 기계론적 (mechanistic) 연산자가 고 ASR 임계값을 향해 탐색을 진전시키는 주요 동인으로 확인되었습니다. 문제 해결은 점진적 진전 (ASR@1 에서 ASR@4) 을 주도한 반면, **확장 (expand)**은 최종 착취 (ASR@5) 에 특화되었습니다.
• 전이 공격:
  • 오픈소스 전이: 더 강력한 모델 (예: 120B) 에서 발견된 공격은 더 약한 모델 (예: 8B, 20B) 로 효과적으로 전이되었으나, 그 반대는 성립하지 않았습니다.
  • 프론티어 전이: gpt-oss:120B 에 대해 발견된 40 개의 최대 해로운 공격이 폐쇄형 프론티어 모델에서 그대로 재생성되었습니다. 그 결과 gpt-4o-mini 에서 90.0% ASR@4, gpt-5 에서 70.0%, gemini-3-flash 에서 **70.0%**를 달성했습니다. 이와 대조적으로 claude-opus-4-7 에서는 17.5%, claude-sonnet-4-6 에서는 **15.0%**에 그쳤습니다.

중요성과 주장

본 논문은 시뮬레이션된 다중 턴 맥락적 프라이밍이 단일 턴 프롬프트 교란에 비해 질적으로 우월한 공격 표면이라고 주장합니다. 연구 결과는 다음과 같은 시사점을 제공합니다:

1. 정렬 전략 > 모델 규모: 견고성은 파라미터 수보다 공급자의 정렬 레시피에 의해 더 결정됩니다. Anthropic 안전 스택은 OpenAI 와 Google 에 비해 전이 공격에 대해 훨씬 높은 저항력을 보였으며, 이는 동일한 패밀리 내에서도 더 큰 모델 (Opus) 과 더 작은 모델 (Sonnet) 을 비교할 때에도 마찬가지였습니다.
2. 구조적 착취: 취약점은 모델의 대화식 정렬에 있습니다. 이전 동의와 맥락을 시뮬레이션함으로써 공격은 모델이 해로운 요청을 처리하도록 강요하며, 이 과정에서 최종 프롬프트를 거절하면 대화적 일관성이 깨지는 훼손된 상태에서 처리하게 됩니다.
3. 방어 시사점: LLM 이 상호작용적이고 다중 턴인 애플리케이션으로 이동함에 따라 방어는 단순한 프롬프트 수준 필터링에서 진화하여 진화하는 대화 궤적 전반에 걸쳐 견고한 맥락 인식 정렬로 발전해야 합니다. 관찰된 공급자 수준의 비대칭성은 견고한 방어가 가능하지만 현재 표준 관행과 구별되는 특정 아키텍처 또는 훈련 조정이 필요함을 시사합니다.

저자들은 오용을 방지하기 위해 완전한 공격 데이터베이스는 공개되지 않으며, 영향을 받는 공급자와만 공유되는 책임 있는 공개 프로토콜을 준수한다고 강조합니다.