D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting

기술 요약: D-Judge

문제 정의

멀티턴 탈옥 공격(Multi-turn jailbreak attacks)은 대규모 언어 모델(LLM) 안전성에 심각한 위협이 됩니다. 단일 턴 공격과 달리, 이러한 방식은 유해한 의도를 대화 전체에 분산시키며, 외부 "판사(judge)" LLM으로부터 받는 피드백을 활용하여 금지된 목표를 향해 프롬프트를 반복적으로 정교화합니다. 기존의 방어책은 주로 개별 턴이나 최종 응답에서 유해한 콘텐츠를 차단하는 탐지 기반 패러다임에 의존합니다. 그러나 이러한 접근 방식은 근본적인 **판사 주도 정교화 루프(judge-driven refinement loop)**를 저지하지 못합니다. 공격자가 중간 상호작용으로부터 정보가 담긴 피드백(예: 유해성 점수 또는 질적 비평)을 받는 한, 특정 턴이 차단되더라도 공격자는 유해한 결과로 대화를 적응적으로 유도할 수 있습니다. 핵심적인 취약점은 피해자 LLM의 응답이 공격자의 판사에게 전달되는 유일한 정보라는 점에 있습니다. 만약 이 신호가 의미를 변경하지 않으면서 조작될 수 있다면, 공격자의 최적화 프로세스는 경로를 이탈하게 됩니다.

방법론

본 논문은 피드백 루프에 직접 개입하도록 설계된 의미 보존형 출력 재작성(semantics-preserving output rewriting) 방어 기법인 D-Judge를 소개합니다.

핵심 메커니즘

D-Judge는 피해자 LLM과 사용자(공격자) 사이의 API 경계에서 작동합니다. 피해자의 응답이 공격자의 판사에 의해 평가되기 위해 반환되기 전, D-Judge는 출력을 재작성합니다.

• 의미 보존 (Semantics Preservation): 재작성 과정은 응답의 원래 의미가 유지되도록 보장합니다.
• 피드백 불일치 (Feedback Misalignment): 재작성된 응답은 공격자의 판사로부터 오도된 유해성 점수나 피드백을 유도하도록 설계되었습니다.
• 의미 게이트 (Semantic Gate): 양방향 함의 체크(NLI 모델 사용)를 통해 의미적 동등성을 보존하는 재작성본만 수용하며, 실패한 재작성본은 다시 생성됩니다.

판사에게는 유해해 보이지만 의미상으로는 무해한 응답을 제시함으로써, D-Judge는 공격자가 왜곡된 신호를 바탕으로 후속 프롬프트를 최적화하도록 유도합니다. 이는 현재의 판사 점수가 이전의 최고 점수를 초과해야 진행된다는 조건에 의존하는 반복적 정교화 과정을 방해합니다.

데이터셋 구축

재작성 모델을 훈련하기 위해, 저자들은 제어된 유해성 변화를 가진 의미적으로 동등한 응답 쌍의 특화된 데이터셋을 구축했습니다.

1. 소스 (Source): PKU-SafeRLHF에서 중간 정도의 유해성 수준을 가진 응답들을 샘플링했습니다.
2. 생성 (Generation): 생성 LLM을 사용하여 두 가지 방향으로 재작성된 변형을 생성했습니다: 증가 (INCREASE) (인지된 유해성을 높임) 및 감소 (DECREASE) (유해성을 낮춤).
3. 필터링 (Filtering): Llama Guard를 사용하여 유해 확률($\Delta p$)의 변화를 측정하고, NLI 모델을 사용하여 양방향 함의를 통해 의미적 동등성을 검증했습니다.
4. 결과: 17,988개의 훈련 샘플(방향당 5개의 변형)과 530개의 테스트 세트를 구축했습니다.

훈련 절차

D-Judge 재작성 모델은 2단계 절차를 통해 훈련됩니다.

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 의미적으로 동등한 응답 쌍을 대상으로, 목표가 더 높은 유해 확률을 가진 재작성본이 되도록 모델을 훈련합니다. 이를 통해 모델은 의미를 보존하면서도 판사의 점수에 영향을 미치는 표면적 단서들을 도입하는 법을 배웁니다.
2. 직접 선호도 최 optimization (Direct Preference Optimization, DPO): 동일한 응답의 여러 재작성본으로부터 구성된 선호도 쌍을 사용하여 SFT 모델을 더욱 정교화합니다. 모델은 낮은 유해 확률을 가진 재작성본보다 높은 유해 확률을 유도하는 재작성본을 선호하도록 최적화됩니다. 이 단계는 절대적인 점수보다는 상대적인 선호도를 활용하여, 다양한 판사 모델 및 점수 체계에 대한 전이성을 높입니다.

주요 기여

1. D-Judge 프레임워크: 콘텐츠를 차단하거나 검열하는 대신, 의미를 보존하는 출력 재작성을 통해 판사 피드백 신호를 불일치시켜 멀티턴 탈옥 공격을 저지하는 새로운 방어 프레임워크를 제안합니다.
2. 특화된 데이터셋: 서로 다른 판사 할당 유해성 점수를 유도하는 의미적으로 동등한 응답 쌍을 포함하는 데이터셋을 구축하여, 다양한 판사 설정에 강건한 재작성 모델 훈련을 가능하게 했습니다.
3. 2단계 훈련: SFT와 DPO를 결합하여 의미적 충실도를 유지하면서도 효과적으로 판사 피드백을 불일치시키는 재작성 모델을 생성하는 방법론을 제시합니다.

실험 결과

저자들은 GPT-4o를 피해자 모델로 사용하여 다섯 가지 멀티턴 탈옥 공격(Crescendo, CoA, ActorBreaker, FITD, X-Teaming)과 두 가지 싱글턴 공격(PAIR, TAP)에 대해 HarmBench에서 D-Judge를 평가했습니다.

• 방어 성능: D-Judge는 평균 공격 성공률(ASR) **8.6%**를 달성하여, 강력한 베이스라인인 싱글턴 가드(예: QwenGuard, 40.4%) 및 멀티턴 탐지 방법, 입출력 전처리 기술을 크게 앞질렀습니다.
  • 특히, 까다로운 X-Teaming 공격의 ASR을 73.0%에서 17.0%로 낮추었습니다.
• 정상 성능 (Benign Performance): D-Judge는 일반적인 능력에 미치는 "안전 세금(safety tax)"이 최소 수준이었습니다. MT-Bench에서 평균 점수 8.34를 기록했으며(베이스라인 8.99, Aligner 베이스라인 8.21 대비), IFEval에서는 베이스라인의 지시 이행 정확도와 거의 일치하는 성능을 보였습니다.
• 전이성 (Transferability): D-Judge는 데이터셋 구축에 사용된 판사와 다른 판사를 공격자가 사용하더라도, 다양한 판사 LLM(GPT-4o, GPT-5.4, Gemini-3-Flash) 및 점수 구성(4점, 5점, 10점 척도)에 대해 견고함을 입증했습니다.
• 절제 연구 (Ablation Studies):
  • 재작성 인지 (Rewrite Awareness): 공격자가 판사에게 응답이 재작성될 수 있음을 알린 경우에도, D-Judge는 효과적이었으며(ASR을 72.2%에서 17.0%로 감소), 여전히 유효함을 보여주었습니다.
  • 점수 방향 (Score Direction): 본 방어 기법은 재작성기가 인지된 유해성 점수를 높이든 낮추든 상관없이 작동하며, 이는 메커니즘이 방향의 변화가 아닌 '신호의 불일치'에 있음을 확인시켜 줍니다.

의의 및 주장

본 논문은 판사 피드백을 불일치시키는 것이 멀티턴 탈옥을 방어하는 효과적인 전략이라고 주장합니다. 피드백 루프에 직접 개입함으로써, D-Judge는 단순히 탐지된 유해 의도에 반응하는 것을 넘어 반복적 정교화 공격의 근본 원인을 해결합니다.

저자들은 D-Judge를 기존의 방어책(내부 모델 정렬 또는 서킷 브레이커 등)을 보완하는 기술로 위치시키며, 피해자 모델의 재학습이나 숨겨진 활성화 값에 대한 접근 없이 상호작용 경계에서 완전히 작동한다는 점을 명시합니다. 다만, 다음과 같은 한계점을 인정합니다.

• 지연 시간 및 비용: 재작성 프레임워크는 추론 오버헤드(토큰당 약 5.4ms)를 발생시키며, 의미 게이트를 통과하기 위해 평균 1.5~2.5회의 재생성 시도가 필요합니다.
• 범위: D-Judge는 온라인의 반복적 정교화에 맞게 설계되었습니다. 따라서 반복적 피드백 루프를 사용하지 않고 다른 모델에서 프롬프트를 미리 최적화하는 공격자에게는 효과가 떨어질 수 있습니다.

결론적으로, 어떤 방어도 "만능 해결책(silver bullet)"은 될 수 없지만, 피드백 기반의 정교화 루프를 방해하는 것은 더욱 견고한 대화형 AI 안전성을 향한 중요한 단계입니다.