기술 요약: 일반인(Average Jane)을 위한 탈옥(Jailbreaking)

문제 정의

대규모 언어 모델(LLM)의 탈옥 사례가 급증함에 따라, 비전문가 악의적 행위자("일반인", the average Jane)가 이러한 취약점을 효과적으로 악용하여 실행 가능한 유해한 응답을 이끌어낼 수 있다는 우려가 제기되었습니다. 다양한 탈옥 기법이 존재하지만, 두 가지 핵심적인 격차(gap)가 비전문가의 광범위하고 효과적인 사용을 가로막고 있습니다:

1. 선택 격차(Selection Gap): 방대한 양의 기존 기법들 중에서 특정 타겟 모델에 가장 적합한 탈옥 기법을 과도한(그리고 탐지 가능한) 프로빙 없이 식별하는 문제.
2. 쿼리 격차(Query Gap): 단순한 쿼리는 정렬(alignment)이 잘 된 모델로부터 실행 가능한 세부 정보를 이끌어내는 데 실패하는 경우가 많으므로, 안전 학습을 우회할 수 있을 만큼 충분히 복잡한 악의적 쿼리를 설계하는 문제.

본 논문은 이러한 격차를 자동화되고 원칙적인 공격 전략을 통해 메울 수 있는지, 즉 비전문가가 최적의 탈옥 정책을 학습할 수 있는지, 그리고 쿼리를 자동으로 강화하여 공격 성공률을 높일 수 있는지를 조사합니다.

방법론

저자들은 온라인 학습을 통한 탈옥 선택과 자동 프롬프트 엔지니어링을 통한 쿼리 강화를 결합한 두 갈래의 접근 방식을 제안합니다.

1. 멀티 암드 밴딧(Multi-Armed Bandits)을 통한 탈옥 선택

저자들은 탈옥 선택 문제를 멀티 암드 밴딧(MAB) 알고리즘으로 해결 가능한 순차적 의사결정 문제로 프레임화합니다.

• 정식화: $n$개의 탈옥 집합 $\mathcal{J}$와 $T$개의 악의적 쿼리 시퀀스가 주어졌을 때, 공격자는 학습자 역할을 합니다. 각 단계 $t$에서 학습자는 탈옥 $J(t)$를 선택하고 이진 보상(유해한 응답이면 1, 그렇지 않으면 0)을 관찰합니다.
• 시나리오:
  • 전이 공격(Transfer Attack): 공격자는 탐색 세트 $D^{(tr)}$에서 탈옥 정책(탈옥의 분포)을 학습하고, 이를 별도의 활용 세트 $D^{(ev)}$에 적용합니다. 이는 "최적 팔 식별(best-arm identification)"을 모사합니다.
  • 지속적 공격(Continual Attack): 공격자는 활용 단계 동안 온라인으로 정책을 업데이트하며, 누적 보상을 최대화하기 위해 탐색과 활용을 동시에 수행합니다.
• 알고리즘: 본 연구는 부분 정보 밴딧 알고리즘(예: EXP3, Thompson Sampling, LinUCB)과 전체 정보 알고리즘(Randomised Weighted Majority)을 모두 평가합니다. 부분 정보 알고리즘은 매 라운드마다 $n$개의 쿼리가 아닌 단 하나의 쿼리만 필요하므로 계산 효율성 측면에서 선호됩니다.
• 후회(Regret): 목표는 후회가 아선형(sublinear)이 되는 것, 즉 쿼리 수가 증가함에 따라 공격자의 성공률과 (사후적으로 판단한) 최적의 탈옥 간의 격차가 사라지는 것입니다.

2. 쿼리 강화: FRANKENSTEINBENCH

쿼리 복잡성 문제를 해결하기 위해, 저자들은 11,279개의 악의적 쿼리를 포함하는 안전 벤치마크인 FRANKENSTEINBENCH를 도입합니다.

• 구축: 쿼리는 7개의 기존 벤치마크(예: AIRBench, WMDP, HarmBench)에서 가져왔으며, LLM을 사용하여 강화되었습니다.
• 복잡도 분류: 쿼리는 단순(Simple)(직설적인 악의적 요청) 또는 복복잡(Complex)(악의적 의도를 숨기기 위해 기술적 전문 용어와 도메인 지식을 사용하여 재구성된 요청)으로 분류됩니다.
• 강화 전략: "이중 용도 딜레마(dual-use dilemma)"를 활용하여, LLM이 전문가 페르소나(예: 금융 고문, 사이버 보안 전문가)를 채택하고 기술적 용어를 사용하도록 지시하는 시스템 프롬프트를 통해 단순 쿼리를 자동으로 복잡한 쿼리로 변환합니다.
• 분류기: 가독성 점수(예: Dale-Chall)와 LLM-as-a-judge를 결래한 앙상블 분류기를 사용하여 89.17%의 정확도로 쿼리 복잡도를 자동으로 라벨링합니다.

주요 기여

1. 원칙적인 공격 전략: 밴딧 알고리즘을 활용하여 최적의 탈옥 정책을 효율적으로 학습하는 새로운 위협 모델을 제시합니다. 이 접근 방식은 공격자가 브루트 포스(brute-force) 평가의 비용과 탐지 위험을 피하면서 높은 성능의 탈옥 기법을 식별할 수 있게 합니다.
2. FRANKENSTEINBENCH: 6개의 고위험 도메인(금융, 의료, 교육, 사이이버 보안, 법률, 공공 해악)에 걸친 11,279개의 악의적 쿼리를 포함하는 종합적인 안전 벤치마크입니다. 이는 단순 쿼리와 복잡한 쿼리를 독특하게 구분하며, 수동으로 검증된 테스트 분할과 자동화된 복잡도 라벨링을 제공합니다.
3. 포괄적인 평가: 15개의 최첨단 오픈 웨이트 모델(270M에서 120B 파라미터 범위)과 70개의 서로 다른 탈옥 기법을 대상으로 광범-한 테스트를 수행했습니다. 이 연구는 약 1,200만 개의 쿼리-응답 쌍을 심사했습니다.

실험 결과

• 밴딧의 효과성: 밴딧 기반 공격은 "균등 사전 확률(Uniform Priors)" 베이스라인(무작위 선택) 및 최상의 단일 정적 탈옥보다 성능이 크게 뛰어납니다.
  • 평균적으로, 밴딧 알고리즘은 여러 번의 패스(샘플링 $k=5$개 탈옥)를 사용할 때 15개 모델에 대해 최대 **97%**의 공격 성공률(ASR)을 달 추출합니다.
  • 단일 패스($k=1$)에서도 밴딧 알고리즘(예: Thompson Sampling, EXP3)은 특히 최적의 탈옥이 명확하지 않은 gpt-oss 계열 모델에서 상위 성능을 보이는 개별 탈옥 기법들을 실질적으로 능가합니다.
• 복잡성의 영향: 복잡한 쿼리는 본질적으로 더 위험합니다.
  • 베이스라인 설정(탈옥 없음)에서 복잡한 쿼리는 평균 **50%**의 ASR을 달성한 반면, 단순 쿼리는 **39%**를 기록했습니다.
  • 탈옥과 결합될 경우, 복잡한 쿼리는 단순 쿼리에 비해 ASR을 평균 최대 **26%**까지 높입니다.
• 전이 가능성:
  • 교차 도메인: 비타겟 도메인에서의 탐색은 최소한의 성능 손실(약 6% 차이)만을 보였으며, 이는 도메인 특화 탐색이 엄격하게 필수적이지 않음을 시사합니다.
  • 교차 모델: 더 작은 프록시 모델(예: 4B 또는 12B 파라미터)에서 학습된 정책은 더 큰 타겟 모델(예: 27B 또는 70B)로 효과적으로 전이되며, 종종 높은 ASR을 유지합니다.
• 강건성: 밴딧 접근 방식은 가용 탈옥 세트가 성능이 가장 낮은 10개로 축소되더라도 여전히 효과적이었던 반면, 나이브한 베이스라인은 크게 실패했습니다.

의의 및 주장

본 논문은 배포된 LLM을 공격하는 데 있어 비전문가 행위자가 성공할 수 있다는 우려가 정당하다고 주장합니다. 자동화된 쿼리 강화(탐지하기 어렵고 복잡한 프롬프트 생성)와 효율적인 정책 학습(밴딧 알고리즘을 통한)의 결합은 매우 효과적이고 자동화 가능한 공격 파이프라인을 만들어냅니다.

• 안전 측면의 함의: 현재의 안전 평가는 정적이고 단순한 쿼리나 단일한 "최고의" 탈옥 기법에 의존한다면 불충분할 수 있음을 시사합니다. 본 논문은 공격자가 특정 모델에 동적으로 적응하고 쿼리 복잡성을 활용하여 안전 정렬을 우회할 수 있음을 입증합니다.
• 방어 측과 관점: 이 연구는 적응형 공격자와 복잡한 쿼리 구조를 고려하는 레드팀(red-teaming) 전략의 필요성을 강조합니다. 또한 이러한 자동화된 다단계 공격에 대한 방어 연구와 실제 환경의 제약 및 비전문가 공격자의 역량을 반영하는 안전 평가 개발을 촉구합니다.

저자들은 영어 데이터에 집중한 점, 단일 턴 대화, 비용 및 접근성 문제로 인한 독점 모델에 대한 광범위한 테스트 부족 등의 한계를 인정하며 신중한 어조를 유지합니다. 그들은 자신들의 작업이 안전 평가의 수준을 높이고 더 강력한 방어를 고취하기 위한 하나의 단계임을 밝히고 있습니다.