TEMPLATEFUZZ: Fine-Grained Chat Template Fuzzing for Jailbreaking and Red Teaming LLMs

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 다양한 분야에 배포되면서, 안전 장치를 우회하여 유해한 출력을 유도하는 '재브레이크 (Jailbreak)' 공격에 대한 보안 위협이 커지고 있습니다. 기존 연구는 주로 프롬프트 (입력 텍스트) 자체를 조작하는 데 집중했으나, 이러한 접근법은 다음과 같은 한계가 있습니다.

• 비효율성: 긴 문맥을 생성하기 위해 많은 토큰과 계산 자원이 소모됩니다.
• 방어 회피: 프롬프트 수준의 방어 기법은 채팅 템플릿 (Chat Template) 이라는 다른 공격 벡터를 간과합니다.
• 채팅 템플릿의 취약점: LLM 은 대화 구조를 정의하는 시스템 메시지, 역할 마커, 구분자 (Delimiter), 생성 힌트 등으로 구성된 채팅 템플릿을 사용합니다. 이 템플릿의 구조를 조작하면 모델의 안전 정책이 우회될 수 있음에도 불구하고, 이 영역은 상대적으로 덜 탐구되었습니다.

기존의 채팅 템플릿 공격 (예: ChatBug) 은 템플릿 전체를 삭제하거나 대폭 수정하는 '거친 (Coarse-grained)' 방식을 사용하여, 공격 성공률은 높일 수 있으나 모델의 응답 품질을 심각하게 저하시키거나 의미 없는 반복 출력을 유발하는 문제가 있었습니다.

2. 방법론 (Methodology: TemplateFuzz)

이 논문은 TemplateFuzz라는 정밀한 (Fine-grained) 채팅 템플릿 퍼징 (Fuzzing) 프레임워크를 제안합니다. 이는 LLM 의 채팅 템플릿을 주요 공격 표면으로 간주하고, 구조적 취약점을 체계적으로 탐색합니다.

핵심 구성 요소

1. 세분화된 변형 규칙 (Fine-Grained Mutation Rules):
   채팅 템플릿의 5 가지 핵심 요소를 대상으로 세밀한 변형 규칙을 설계했습니다.

   • 시스템 메시지 변형 (M1): "도움이 되는 어시스턴트"와 같은 윤리적 제약을 악의적인 지시문으로 대체.
   • 사용자/어시스턴트 메시지 변형 (M2): 위험한 행동을 정상화하는 가짜 대화 이력을 주입.
   • 역할 마커 변형 (M3): system, user, assistant 등의 태그를 변경하거나 삭제하여 모델의 문맥 인식 혼란 유도.
   • 구분자 변형 (M4): <|eot_id|>, \n 등의 토큰을 유사한 다른 토큰으로 교체하여 메시지 경계 해석 오류 유발.
   • 생성 힌트 변형 (M5): 모델이 답변을 시작하도록 유도하는 문구 (예: "Sure, here is") 를 삽입하거나 삭제.

2. 휴리스틱 기반 탐색 전략 (Heuristic Search Strategy):

   • Adaptive MCTS-Explore: 무작위 탐색 대신, 모델 정확도를 유지하면서 공격 성공률 (ASR) 을 높이는 템플릿 노드만 선택적으로 확장하는 적응형 몬테카를로 트리 탐색을 사용합니다.
   • Roulette-Wheel Selection: 변형 규칙의 역사적 성공률, 모델 정확도 유지 능력, 규칙 사용 빈도 (희소성) 를 기반으로 규칙 선택 확률을 동적으로 조정합니다. 이를 통해 공격 효율성을 극대화하고 수렴을 방지합니다.

3. 액티브 러닝 기반 저지 (Active Learning-based Oracle):

   • 재브레이크 성공 여부를 판단하기 위해, 고비용의 모델 기반 판정기 (LLM Judge) 와 저비용의 규칙 기반 판정기 (Rule-based Evaluator) 의 불일치 사례를 인간이 라벨링하여 규칙을 정제합니다.
   • 이를 통해 모델 수준의 정확도를 유지하면서 계산 비용을 크게 절감한 경량화된 판정기를 구축합니다.

3. 주요 기여 (Key Contributions)

• 최초의 체계적 프레임워크: 채팅 템플릿 자체를 주요 공격 표면으로 삼아 대규모로 자동화된 재브레이크 템플릿 탐색을 수행한 최초의 프레임워크입니다.
• 정밀한 변형 메커니즘: 5 가지 세분화된 변형 규칙과 휴리스틱 탐색 전략을 결합하여, 모델의 기능성을 해치지 않으면서 공격 성공률을 극대화합니다.
• 효율적인 평가 오라클: 액티브 러닝을 통해 경량화된 규칙 기반 오라클을 개발하여, 대규모 퍼징 실험에서 정확하고 효율적인 평가를 가능하게 합니다.
• 오픈 소스 및 데이터 공개: 모든 소스 코드와 평가 스크립트를 공개하여 재현성과 후속 연구를 장려합니다.

4. 실험 결과 (Results)

12 개의 오픈소스 LLM 과 5 개의 상용 LLM 에서 광범위한 실험을 수행했습니다.

• 공격 성공률 (ASR) 극대화:
  • 12 개 오픈소스 모델에서 평균 98.2% 의 Top-5 ASR을 달성했습니다.
  • 기존 최첨단 방법 (ChatBug, GPTFuzzer, TurboFuzzLLM) 대비 Top-1 ASR 에서 9.1%~47.9%, Top-5 ASR 에서 9.1%~47.9% 더 높은 성능을 보였습니다.
  • 특히 Llama-2-7B 와 같이 방어력이 강한 모델에서도 Top-5 ASR 100% 를 기록했습니다.
• 모델 정확도 유지:
  • 기존 방법 (ChatBug 등) 은 공격 성공 시 모델의 일반적 응답 정확도가 9.5% 이상 급격히 하락했으나, TemplateFuzz 는 정확도 저하를 평균 1.1% 이내로 억제했습니다. 이는 공격된 템플릿이 모델의 정상적인 기능성을 유지함을 의미합니다.
• 상용 모델 공격 가능성:
  • 내부 템플릿 수정이 불가능한 5 개 상용 LLM(GPT-4, Gemini-2.5 등) 에 대해, 템플릿 기반 프롬프트 인젝션 공격을 수행하여 평균 90% 의 ASR을 달성했습니다. 이는 템플릿 취약점이 오픈소스 모델뿐만 아니라 상용 모델에서도 전이될 수 있음을 시사합니다.
• 효율성:
  • 단일 질문 재브레이크 시, 기존 퍼징 방법보다 훨씬 적은 쿼리 수 (평균 12.89 회) 로 성공적인 공격을 달성하여 비용 효율성이 뛰어났습니다.

5. 의의 및 결론 (Significance)

• 새로운 위협 표면의 발견: LLM 보안 연구에서 간과되었던 '채팅 템플릿'이 핵심적인 취약점임을 입증했습니다.
• 고효율 레드팀링 도구: TemplateFuzz 는 LLM 의 안전성을 평가하고 강화하기 위한 강력한 레드팀링 (Red Teaming) 도구로 활용될 수 있습니다.
• 방어 전략의 필요성: 연구 결과에 따라, 단일 고정 템플릿 대신 다양한 템플릿 구조로 모델을 학습시키고 (Training-time diversification), 배포 시 템플릿 무결성을 보호하는 방어 기법이 시급함을 강조합니다.

결론적으로, TemplateFuzz 는 LLM 의 구조적 취약점을 정밀하게 파고들어 기존 프롬프트 공격보다 훨씬 효율적이고 파괴적인 재브레이크 공격을 가능하게 함으로써, LLM 보안 연구의 지평을 넓혔습니다.