The Trojan Example: Jailbreaking LLMs through Template Filling and Unsafety Reasoning

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 이 현대 컴퓨팅 인프라에 필수적으로 통합됨에 따라, 해로운 콘텐츠 생성을 방지하기 위한 안전 정렬 (Safety Alignment) 이 핵심 보안 통제 수단이 되었습니다. 그러나 기존 방어 체계는 다음과 같은 한계를 가지고 있습니다.

• 기존 공격의 한계:
  • 화이트박스 (White-box): 경사도 (gradient) 접근이 필요한 방법론은 상용 API 에 적용 불가능합니다.
  • 블랙박스 (Black-box): 기존 블랙박스 공격 (위장, 역할극, 인코딩 등) 은 모델이 안전 필터를 업데이트함에 따라 취약해지며, 생성된 프롬프트가 비자연스럽거나 다른 모델로 전이 (transfer) 되지 않는 경우가 많습니다.
• 핵심 취약점: 현재 정렬된 LLM 들은 안전 분석 (Reasoning) 과 콘텐츠 생성 (Generation) 을 분리하는 논리적 결함을 가지고 있습니다. 모델은 직접적인 해로운 명령은 거부하지만, "해로운 예시를 분석하기 위한 필요 조건"으로 프레임이 바뀔 경우 해당 해로운 내용을 생성하는 모순을 보입니다.

2. 방법론: TrojFill (Methodology)

저자들은 이 논리적 결함을 악용한 새로운 블랙박스 공격 프레임워크 TrojFill을 제안합니다. 이 방법은 해로운 지시를 템플릿 채우기 (Template Filling) 작업으로 재구성하고, 이를 안전성 분석 (Unsafety Reasoning) 의 일부로 포장합니다.

핵심 메커니즘

1. 구조적 재구성 (Structural Reframing):
   • 해로운 지시 (예: "폭탄 만드는 법") 를 직접 요청하는 대신, "해로운 예시를 생성한 후, 문장별로 왜 그 예시가 위험한지 분석하라"는 형식으로 프롬프트를 설계합니다.
   • 모델은 안전 분석을 수행하기 위해 예시 생성이 필요하다고 판단하여, 해로운 내용을 "교육적 예시"로 생성하게 됩니다.
2. 템플릿 구조:
   • Prefix: 일반적인 단계별 템플릿 채우기 작업으로 시작하여 모델의 안전 필터를 우회합니다.
   • Transformed Instruction: 해로운 키워드를 플레이스홀더 (placeholder) 로 치환하거나 (Caesar 암호, Base64, 텍스트 분할 등) 은닉합니다.
   • Core Generation: 플레이스홀더를 채워 실제 해로운 콘텐츠 (예: 폭탄 제조법) 를 생성하도록 유도합니다.
   • Suffix: 생성된 예시에 대해 "문장별 안전성 분석"을 요청하여, 모델이 생성된 해로운 내용을 스스로 분석하는 과정을 거치게 합니다.
3. 자동화 파이프라인:
   • 공격자 LLM 을 사용하여 해로운 용어를 추출하고, 플레이스홀더로 치환하며, 템플릿을 반복적으로 최적화 (N=5~10 회) 합니다.
   • 목표 모델의 응답을 기반으로 실패 시 프롬프트를 변형하여 재시도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 패러다임: 정렬된 모델의 '추론 - 생성' 이중성 (Reasoning-Generation Duality) 을 악용하여, 해로운 생성을 안전 분석의 전제 조건으로 만드는 새로운 블랙박스 jailbreak 프레임워크를 제안했습니다.
2. 시스템 무관한 전이성 (System-Agnostic Transferability): 최적화 기반의 복잡한 어드버서리 토큰 대신, 해석 가능하고 구조화된 템플릿을 사용하여 다양한 모델 아키텍처 (GPT-4o, Gemini, DeepSeek, Qwen 등) 간에 높은 전이성을 확보했습니다.
3. 실증적 보안 평가: JBB-Behaviors 벤치마크를 통해 상용 LLM 들에 대한 광범위한 실험을 수행하고, 기존 블랙박스 기법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 GPT-4o, Gemini-2.5, DeepSeek-3.1, Qwen-Max 등 최신 상용 모델과 Llama3-8B 를 대상으로 실험을 수행했습니다.

• 공격 성공률 (ASR):
  • Gemini-2.5-flash 및 DeepSeek-3.1: 100% 의 공격 성공률 달성.
  • GPT-4o: 97% 의 성공률 달성.
  • Qwen-Max: 100% 달성.
  • 기존 최첨단 블랙박스 기법 (PAIR, AutoDAN-Turbo, GPTFuzzer 등) 보다 월등히 높은 성능을 보였습니다.
• 비용 효율성: 최적화 반복 횟수가 적어 (평균 5 회 내외) 공격당 비용이 약 2 센트 미만으로 매우 경제적입니다.
• 전이성 분석: 한 모델에서 최적화된 프롬프트가 다른 모델에서도 높은 성공률 (80% 이상) 을 보이며, 특히 강력한 모델 간의 전이가 원활했습니다.
• 방어 우회: 시스템 프롬프트 강화 (Self-Reminder), Llama-Guard, OpenAI Moderation 등 외부 방어 장치가 활성화된 환경에서도 높은 성공률을 유지했습니다.

5. 의의 및 결론 (Significance)

• 안전 정렬의 근본적 취약성 노출: LLM 이 '안전한 이유'를 설명하기 위해 '위험한 내용'을 생성해야 하는 모순적인 구조적 결함이 있음을 발견했습니다. 이는 단순한 키워드 필터링이나 RLHF 튜닝만으로는 해결하기 어려운 근본적인 문제입니다.
• 해석 가능성: 기존 최적화 기반 공격이 생성하는 난해한 토큰 시퀀스와 달리, TrojFill 은 인간이 이해할 수 있는 논리적 구조를 가지므로 보안 연구자들이 취약점을 분석하고 대응책을 마련하는 데 유용합니다.
• 향후 방향: 이 연구는 AI 시스템의 안전성을 강화하기 위해, 단순한 콘텐츠 필터링을 넘어 '의도 (Intent)'와 '맥락 (Context)'을 통합적으로 이해하는 새로운 정렬 기법의 필요성을 강조합니다.

결론적으로, TrojFill 은 LLM 의 안전 정렬 메커니즘이 가진 논리적 모순을 정교하게 악용하여, 기존 방어 체계가 거의 무력화되는 것을 보여주며, AI 보안 분야에서 '인지적 재프레임 (Cognitive Reframing)' 공격의 중요성을 부각시켰습니다.