기술 요약: 오프-디스트리뷰션 보이스(Off-Distribution Voices): 팬픽션 서브장르를 활용한 보편적 버내큘러(Universal Vernacular)

1. 문제 정의

정렬된 대규모 언어 모델(LLM)의 탈옥(jailbreaking)에 관한 현재 연구는 이산적 아티팩트(discrete artifacts), 즉 적대적 접미사, 특정 페르소나 오버라이드, 또는 수작업으로 제작된 프롬프트 템플릿에 집중되어 있습니다. 이러한 공격들은 식별 가능한 표면 형태를 지니고 있어, 벤더들이 이를 지문처럼 인식하여 패치할 수 있는 '캣-앤-마우스(cat-and-mouse)' 게임을 유발합니다.

저자들은 이러한 관점이 근본적인 취약점을 놓치고 있다고 주장합니다. 즉, 정렬 학습은 단순히 영리한 문장 하나에 실패하는 것이 아니라, 안전 학습이 충분히 다루지 못한 인간의 자연스러운 글쓰기 레지스터(register) 전체에 대해 실패한다는 것입니다. 모델들은 방대한 양의 독자 주도적 창작물(예: 팬픽션)로 사전 학습되지만, 안전 튜닝은 이러한 특정이고 무해한 서사적 목소리 안에 유해한 절차적 내용이 내포되어 있을 경우 이를 제대로 커버하지 못하는 경우가 많습니다. 본 논문은 입력을 이러한 "오프-디스트리뷰션(off-distribution)" 레지스터로 전환함으로써, 키워드 매칭이나 템플릿 탐지에 의존하는 안전 필터를 우회할 수 있다고 상정합니다.

2. 방법론

본 논문은 실제 팬픽션 서브장르를 보편적인 공격 캐리어로 사용하는 새로운 공격 계열을 소개합니다. 방법론은 세 가지 구성 요소로 이루어집니다.

A. 5-샷(Five-Shot) AO3 컨디셔닝 메타

이 공격은 공격용 LLM을 사용하여 동적으로 탈옥 프롬프트를 생성하는 데 의존하지 않습니다. 대신, 정적인 5-샷 컨디셔닝 메커니즘을 사용합니다:

1. 소스 자료: 패시지는 최대 규모의 독자 주도적 팬픽션 아카이브인 **Archive of Our Own (AO3)**에서 추출됩니다.
2. 서브장르: 서사 형식, 정동적 궤적(affective arc), 세계관 구축, 내성적 목소리 등을 포괄하는 12가지의 뚜렷한 서브장르가 선택됩니다 (예: screenplay_format, epistolary, danmei_xianxia, hurt_comfort).
3. 메타-프롬프트: "창작 글쓰기 코치" 프롬프트(GPT-5.4-mini 사용)가 구축됩니다. 이는 특정 서브장르에서 추출한 5개의 실제 구절을 제공하고, 대상 LLM에게 해당 목소리로 짧은 장면을 쓰도록 요청하되, 그 장면의 **클라이맥스(climax)**에 타겟이 되는 유해한 행동을 자연스럽게 포함하도록 합니다.
4. 명시적 오버라이드 없음: 메타-프롬프트에는 명시적인 탈옥 지시사항이나 정책 오버라이드가 포함되지 않습니다. 공격 신호는 선택된 레지스터의 분포적 특성으로부터 도출됩니다.

B. 구조적 오버레이 및 스타일 전이

저자들은 12가지 레지스터와 7가지 구조적 오버레이(Adversarial Poetry, DeepInception, Crescendo와 같은 기존 베이스라인 포함)를 교차하는 요인 설계 실험을 수행합니다. 이를 통해 "레지스터"(목소리)와 "구조"(템플릿)의 기여도를 분리하여 측정합니다.

C. SAGA-A4 (정적 다회차 공격)

다회차 대화로 공격을 확장하기 위해, 저자들은 공격자 LLM이나 타겟별 적응이 필요 없는 정적 4회차 파이프라인인 SAGA-A4를 제안합니다. 각 회차는 다음과 같습니다:

1. T1 (레지스터 진입): 행위를 묘사하지 않고 장면과 레지스터를 설정합니다.
2. T2 (일관성 약속): 배경과 감각적 세부 사항을 심화하며 레지스터를 유지합니다.
3. T3 (FITD 브릿지): 시나리오에 필요한 구체적인 사물이나 준비물을 나열하여 모델을 시나리오에 더욱 몰입시킵 most 합니다.
4. T4 (운영적 클라이맥스): 이전 회차들에서 쌓아온 약속들을 활용하여, 절차적 구체성을 갖춘 채 실제 유해한 행동을 실행하며 묘사합니다.

D. 평가 프로토콜

• 대상: 8개의 정렬된 LLM (4개의 오픈 웨이트 패밀리: Qwen, Llama, Gemma; 2개의 폐쇄형 소스: Gemini, DeepSeek).
• 벤치마크: HarmBench(200개 행동)와 JailbreakBench(90개 행동)의 합집합으로, 16개 위험 카테고리에 걸친 총 290개의 유해 행동을 대상으로 합니다.
• 판정: 2-of-4 다수결 규칙을 사용하는 4개 판사 앙상블(HarmBench-13B, LlamaGuard-3-8B, WildGuard-7B, GPT-5.4-mini scoring StrongREJECT)을 통해 공격 성공률(ASR)을 결정합니다.

3. 주요 결과

A. 구조보다 우세한 레지스터

• ASR 개선: 버내큘러(팬픽션 레지스터) 공격은 모든 모델에서 평균 ASR 0.731을 달성하였으며, 이는 기존 6가지 베이스라인 템플릿의 ASR인 0.278과 비교됩니다. 이는 3.11배의 개선을 의미합니다.
• 레지스터 vs 길이: 길이 매칭 컨트롤(PlanX)은 비율을 2.21배까지 낮추었으나 격차를 제거하지는 못했습니다. 이는 레지스터 목소리가 독립적이고 길이에 불변하는 공격 차원임을 증명합니다.
• 템플릿 독립성: "템플릿 프리 플레인(template-free plain)" 셀(추가적인 구조적 오버레이 없이 5-샷 레지스터 메타만 사용)은 ASR 0.769를 기록하여 가장 우수한 기존 오버레이와 일치하는 성능을 보였습니다. 이는 컨디셔닝 레지스터의 선택이 구조적 템플릿보다 지배적인 요인임을 나타냅니다.

B. 다회차 성능

• SAGA-A4는 평균 ASR 0.924를 달성하여, 기존의 세 가지 다회차 방식(Crescendo: 0.383, FITD: 0.786, ActorAttack: 0.799)을 크게 상회했습니다.
• SAGA-A4의 정적이고 수작업으로 작성된 특성은 공격자 LLM을 사용하는 적응형 변형보다 뛰어난 성능을 보였는데, 이는 공격자 LLM 자체의 안전 학습이 체인을 약화시켜 성능을 저하시키기 때문인 것으로 밝혀졌습니다.

C. 방어 분석

• 능동적 방어: 두 가지 능동적 방어 기제인 Self-Reminder와 SmoothLLM을 평가했습니다.
• 역설적 결과: 대부분의 경우, 이러한 방어 기제들은 버내큘러와 베이스라인 간의 비율을 좁히기보다 오히려 확대시켰습니다. 이들은 기존 템플릿은 공격적으로 억제했지만, 레지스터 기반 공격에는 효과가 떨어졌습니다.
• 시사점: 템플릿을 겨냥한 방어는 공격자를 레지스터 기반 공격으로 유도할 뿐입니다. 논문은 입력 레이어 필터(DeepSeek-V4-Pro의 것과 같은)는 취약하며, 모델 레이어의 안전(Gemini-2.5-Pro와 같은)이 Self-Reminder에 더 잘 반응하지만 여 still 레지스터 변화에는 실패한다고 언급합니다.

D. 위험 카테고리 편차

이 공격은 안전 학습이 표면적 키워드에 크게 의존하는 카테고리(예: 신체적 해악, 성인/성적 콘텐츠)에서 가장 효과적이었으며, 이 영역에서 버내큘러와 베이스라인의 비율이 가장 높았습니다. 이미 베이스라인이 낮은 카테고리에서는 상대적 이득이 적었습니다.

4. 의의 및 주장

본 논문은 다음과 같은 기여와 시사점을 주장합니다.

1. 최초의 팬픽션 레지스터 탈옥 계열: 단일하게 선정된 레지스터가 아닌, 독자 주도의 실제 팬픽션 서브장르를 보편적인 캐리어로 사용한 최초의 연구로서, 코퍼스 자체를 공격 차원으로 취급합니다.
2. 구조적 실패 모드: 저자들은 정렬된 LLM의 실패가 구조적이라고 주장합니다. 안전 학습은 모델이 사전 학습 중에 내재화한 특정 "커뮤니티"(레지스터)를 충분히 다루지 못했습니다. 모델은 이러한 커뮤니티의 목소리는 배웠지만, 그 안에서의 안전 제약은 배우지 못했습니다.
3. 현재 방어 체계의 한계: 현재의 방어(입력 필터, 템플릿 탐지)는 이산적 아티팩트를 다루기 때문에 불충분하다고 주장합니다. 레지스터 변화는 자연어 분포의 변화이므로, 방어는 모델 레이어 또는 출력 측에서 작동해야 합니다.
4. 평가 표준: 저자들은 향후 평가에 레지스터 조건부 공격이 반드시 포함되어야 하며, 남은 안전 마진을 포착하기 위해 **버내큘러 대비 베이스라인 비율(vernacular-to-baseline ratio)**을 보고해야 한다고 제안합니다. 템플릿 기반 벤치마크에만 의존하는 것은 위험을 과소평가하는 것입니다.
5. 윤리적 입장: 본 연구는 레드팀 활동으로서 평가를 날카롭게 하기 위한 것으로 프레임화되었습니다. 저자들은 이 공격을 실제 사용자 시스템에 배포할 것을 권장하지 않으며, 공격 데이터를 통제된 자료로 취급하여 복사-붙여넣기가 가능한 페이로드가 아닌 레지스터와 구조의 상세 정보만을 공개합니다.

결론적으로, 본 논문은 LLM의 "안전 격차"가 영리한 프롬프트의 부재가 아니라, 인간의 창의적 글쓰기에 존재하는 자연스러운 레지스터에 대한 커버리지 부족임을 입증합니다. 팬픽션 장면의 클라이맥스 안에 유해한 지시사항을 삽ert함으로써, 공격자는 키워드나 알려진 템플릿 구조를 탐지하도록 튜닝된 안전 필터를 우회할 수 있습니다.