기술 요약: MT-JailBench

문제 제기

대규모 언어 모델 (LLM) 은 점점 더 대화형 에이전트로 배포되어 여러 턴에 걸쳐 맥락을 축적하고 사용자 피드백에 적응할 수 있게 되었습니다. 이러한 능력은 복잡한 추론과 반복적 계획을 지원하지만, 동시에 재일브레이크 (jailbreak) 에 대한 공격 표면을 확대합니다. 단일 턴 공격이 해로운 의도를 단일 프롬프트에 국한시키는 것과 달리, 다중 턴 재일브레이크는 대화 구조 자체를 악용합니다. 공격자는 해로운 목표를 상호작용 전반에 분산시켜, 초기 턴에서 선의의 맥락을 확립하고 협력적인 입장을 장려하며, 최종적으로 명시적인 해로운 요청을 거절할 가능성을 낮추는 가정을 도입합니다.

이러한 공격의 확산에도 불구하고 체계적인 비교는 여전히 어렵습니다. 기존 방법들 (예: Crescendo, Chain of Attack, XTeaming) 은 일반적으로 다양한 실험 조건을 가진 "블랙박스" 파이프라인으로 평가됩니다. 여기에는 다른 자원 예산 (턴, 재시도), 판사 (평가 함수), 재시도 규칙, 그리고 전략 생성 절차가 포함됩니다. 결과적으로 보고된 공격 성공률 (ASR) 의 향상은 종종 더 강력한 공격 메커니즘과 더 관대한 실험 설정이 혼동되어, 실제로 어떤 구성 요소가 성공을 주도하는지 불분명하게 만듭니다.

방법론: MT-JailBench

이러한 불일치를 해결하기 위해 저자들은 고정된 실험 조건 하에서 다중 턴 재일브레이크를 벤치마킹하도록 설계된 모듈식 평가 프레임워크인 MT-JailBench를 소개합니다. 공격을 단일 파이프라인으로 취급하는 대신, MT-JailBench 는 모든 다중 턴 재일브레이크를 다섯 가지 상호작용 모듈로 분해합니다:

1. 평가 함수 ($E$): 대상 모델의 응답 (또는 히스토리) 과 해로운 목표를 성공 신호 (이진 레이블, 거절 지표, 또는 등급 점수) 로 매핑합니다.
2. 공격 전략 ($\pi$): 구체적인 프롬프트가 생성되기 전에 고수준의 지침 (예: 페르소나, 주제 순서, 점진적 경로) 을 제공합니다.
3. 프롬프트 생성 ($G$): 전략, 목표, 히스토리, 그리고 피드백을 기반으로 다음 프롬프트를 생성합니다. 이는 오프라인(사전 계획된 시퀀스) 과 온라인(적응형 생성) 모드를 모두 지원합니다.
4. 프롬프트 정제 ($U$): 대화 흐름을 재시작하지 않고 평가 신호를 사용하여 실패한 프롬프트를 로컬에서 업데이트합니다.
5. 흐름 제어 ($C$): 현재 히스토리 및 평가 신호를 기반으로 다음 동작 (진행, 재시도, 재시작, 또는 종료) 을 결정합니다.

이 프레임워크는 표준화된 인터페이스 (PromptGenerator, OutcomeEvaluator, FlowController) 를 통해 이러한 모듈을 운영화하며, 고정된 자원 예산 (최대 턴, 상호작용, 재시도, 샘플링된 전략) 을 강제합니다. 이 설계는 다음과 같은 것을 가능하게 합니다:

• 통제된 비교: 동일한 제약 조건 하에서 다양한 공격을 평가합니다.
• 구성 요소별 분석: 특정 모듈을 제거하여 개별 기여도를 측정합니다.
• 재구성: 서로 다른 공격에서 가장 성능이 좋은 모듈을 결합하여 새로운 구성을 만듭니다.

주요 기여

1. 모듈식 평가 프레임워크: MT-JailBench 는 다중 턴 재일브레이크를 분해, 비교, 분석하기 위한 재사용 가능한 인프라를 제공하여, 엔드투엔드 블랙박스 비교를 넘어섭니다.
2. 교란 변수 식별: 본 연구는 자원 예산과 평가 함수가 주요 교란 변수임을 보여줍니다. ASR 은 허용된 검색 양과 판사의 엄격함에 매우 민감합니다.
3. 구성 요소 수준의 통찰: 제거 실험을 통해 저자들은 프롬프트 생성이 성능 변이의 대부분을 차지하며, 프롬프트 정제와 흐름 제어는 중간 정도의 개선을 제공함을 확인했습니다.
4. 전략 다양화 분석: 이 논문은 명시적 동적 전략 생성의 필요성에 의문을 제기하며, 강력한 생성 및 흐름 제어와 결합될 때 고정된 전략에서의 확률적 샘플링이 정교한 다양화 메커니즘과 경쟁할 수 있음을 발견했습니다.
5. CrescendoX: 가장 강력한 구성 요소 (Crescendo 의 프롬프트 생성과 XTeaming 의 정제 및 흐름 제어) 를 재구성함으로써, 저자들은 CrescendoX를 개발했으며, 이는 21 개의 대상 LLM 중 19 개에서 소스 공격을 능가했습니다.

실험 결과

저자들은 다양한 대상 모델 (GPT-4o, GPT-5, Llama-3 및 독점 모델을 포함) 에 대해 HarmBench 데이터셋에서 다섯 가지 대표적인 공격 (Crescendo, CoA, ActorBreaker, FITD, XTeaming) 을 평가했습니다.

• 자원 민감도: 제한된 예산 (제한된 턴/재시도) 하에서 광범위한 검색에 의존하는 방법들 (예: ActorBreaker, XTeaming) 은 ASR 이 크게 감소한 반면, Crescendo 및 FITD 와 같은 방법들은 안정적으로 유지되었습니다. 이는 제약이 없는 설정에서의 높은 ASR 이 종종 메커니즘의 품질보다는 검색 능력을 반영함을 시사합니다.
• 판사 민감도: 세 가지 다른 판사 (CoA-Binary, FITD-Binary, Score-Judge) 를 사용한 교차 검증은 보고된 ASR 에서 상당한 불일치를 드러냈습니다. 관대한 이진 판사로 평가된 방법들은 더 엄격한 다중 판사 프로토콜로 평가될 때 큰 감소를 보였습니다.
• 구성 요소 제거: 예산과 판사를 통제할 때, 프롬프트 생성 모듈을 교체하는 것이 가장 큰 성능 변이를 초래했습니다. 정제와 흐름 제어는 점진적인 개선을 제공했지만 초기 생성의 품질에 비해 2 차적이었습니다.
• 확률적 대 명시적 전략: 고정된 전략에 확률적 샘플링을 적용한 것이 XTeaming 의 명시적 전략 열거와 유사한 ASR 을 달성하여, 다양한 전략의 수보다 궤적 생성의 품질이 더 중요함을 시사했습니다.
• 재구성 성공: 재구성된 공격인 CrescendoX 는 21 개의 대상 모델 중 19 개에서 가장 높은 ASR 을 달성하여, 모듈식 분석이 더 강력한 공격 생성을 예측적으로 안내할 수 있음을 입증했습니다.

중요성 및 범위

이 논문은 MT-JailBench 를 모델 안전성의 절대적 척도가 아닌, 다중 턴 레드팀을 위한 통제된 실험 언어로 위치시킵니다. 그 주요한 중요성은 집계된 ASR 에서 공격이 왜 성공하는지에 대한 진단적 이해로 초점을 옮기는 데 있습니다. 변수를 분리함으로써 이 프레임워크는 어떤 가정, 예산, 메커니즘이 성능을 주도하는지 식별하는 데 도움을 주어, 더 견고한 방어 체계 개발을 안내합니다.

저자들은 그들의 작업이 이중 사용 (dual-use) 성격을 가진다고 인정하며, 취약점을 식별하는 데 사용된 동일한 분석이 더 강력한 공격을 구축하는 데 오용될 수 있음을 지적합니다. 그러나 그들은 체계적이고 구성 요소 수준의 평가가 여러 턴에 걸쳐 적응하는 공격자에 대해 여전히 효과적인 방어를 구축하는 데 필수적이라고 주장합니다. 이 프레임워크는 적응형 다중 턴 위협에 대한 내성을 테스트하기 위해 방어 체계 (예: 입력 변환, 출력 필터, 가드레일) 의 통합을 지원합니다.

한계: 이 평가는 HarmBench 의 특정 해로운 행동과 LLM 기반 판사를 사용하는 블랙박스 텍스트 전용 위협 모델을 가정합니다. 결과는 다른 행동 세트, 접근 정책, 또는 시스템 수준의 가드레일 하에서 달라질 수 있습니다. 이 프레임워크는 절대적 안전 인증이 아닌 통제된 비교를 위해 설계되었습니다.