Structured Semantic Cloaking for Jailbreak Attacks on Large Language Models

논문 제목: 대규모 언어 모델 (LLM) 의 조크브레이크 공격을 위한 구조적 의미 은폐 (Structured Semantic Cloaking, S2C)

1. 연구 배경 및 문제 제기 (Problem)

현대 LLM 은 단순한 입력 필터링을 넘어 잠재적 의미 표현 (latent semantic representations) 과 생성 시 추론 (generation-time reasoning) 단계까지 안전 장치를 확장하여, 표면적으로 은폐된 악의적 의도를 복원하고 거부하는 능력을 갖추게 되었습니다. 이로 인해 기존에 효과적이었던 Base64 인코딩이나 단순한 텍스트 변형과 같은 표면적 은폐 (surface-level obfuscation) 기반 조크브레이크 공격은 많은 최신 모델에서 무력화되었습니다.

저자들은 현재 LLM 의 안전 메커니즘이 악의적 의도가 언제, 어떻게, 그리고 얼마나 일관성 있게 재구성되는지에 의존한다는 핵심 관찰을 도출했습니다. 즉, 악의적 의미가 명확하게 드러나는 시점에 안전 장치가 작동하지만, 그 의미가 분산되어 추론 과정을 통해 점진적으로 복원될 때는 안전 장치가 활성화되지 않는 구조적 취약점이 존재합니다.

2. 제안 방법론: 구조적 의미 은폐 (S2C)

이러한 취약점을 기반으로 저자들은 **구조적 의미 은폐 (Structured Semantic Cloaking, S2C)**라는 새로운 다차원 조크브레이크 프레임워크를 제안합니다. S2C 는 악의적 지시를 단순히 숨기는 것이 아니라, 모델 추론 과정에서 의미 재구성이 어떻게 이루어지는지를 조작하여 안전 메커니즘을 우회합니다.

S2C 는 세 가지 상호 보완적인 메커니즘으로 구성됩니다:

1. 맥락 재구성 (Contextual Reframing):

   • 악의적 요청을 고위험 (high-stakes) 이거나 설득력 있는 시나리오 (예: 긴급한 연구 과제, 윤리적 딜레마 해결 등) 안에 포함시킵니다.
   • 이를 통해 모델이 '도움'을 주는 태도로 편향되도록 유도하여 거부 (refusal) 를 억제합니다.

2. 콘텐츠 분할 (Content Fragmentation):

   • 악의적 요청의 핵심 의미 (예: 민감한 명사, 동사구) 를 프롬프트의 서로 다른 단편 (disjoint segments) 으로 분산시킵니다.
   • 원래 문맥에서 민감한 단어를 삭제하고 플레이스홀더 (placeholder) 로 대체하여, 모델이 생성 과정에서 장기 의존성 (long-range dependency) 을 통해 의미를 복원하도록 강제합니다.
   • 이는 안전 분류기가 의존하는 일관된 악의적 서명 (semantic signature) 을 분산시켜 안전 트리거를 약화시킵니다.

3. 단서 유도 위장 (Clue-Guided Camouflage):

   • 분할된 핵심 단어를 위장된 형태 (시각적 장난, 문자 조작, 인코딩, 암호화 등) 로 변환하여 '단서 (clue)'로 제공합니다.
   • 모델이 이 단서를 추론하여 원래 단어를 복원할 수 있도록 하되, 표면적으로는 악의적 의도가 드러나지 않도록 설계합니다.
   • 다양한 난이도 (Visual Disguise, Reversal, Base64, Caesar, Word Play 등) 와 하이브리드 전략을 사용하여 모델의 복원 능력을 테스트합니다.

핵심 가설: 악의적 의미 단서를 분산시키고 그 통합을 지연시킴으로써, 모델이 다단계 추론과 교차 참조 (co-reference resolution) 를 수행하게 만듭니다. 이 과정에서 안전 메커니즘이 가장 효과적으로 작동하는 초기 단계를 우회하게 됩니다.

3. 주요 기여 (Key Contributions)

1. 안전 정렬의 구조적 취약성 규명: 악의적 의도의 복구 가능성뿐만 아니라, 생성 과정에서 그 의도가 어떻게, 언제 재구성되는지가 안전 거부 (safety refusal) 의 핵심 요소임을 실증적으로 증명했습니다. 의미 분할이 안전 거부 행위를 약화시킨다는 것을 로그 확률 (log-probability) 분석을 통해 입증했습니다.
2. S2C 프레임워크 제안: 추론 시간의 의미 재구성을 표적으로 하는 다차원 조크브레이크 프레임워크를 개발했습니다.
3. 광범위한 평가 및 모델별 취약점 분석: 오픈소스 및 독점 모델 (Llama, DeepSeek, Qwen, GPT, Claude, Gemini 등) 에 대해 광범위한 평가를 수행하여 모델별 안전 정렬의 비균일성과 특정 모델의 취약점을 규명했습니다.
4. 복잡성과 성공률의 트레이드오프 분석: 단순히 은폐의 복잡성을 높이는 것이 공격 성공률을 선형적으로 증가시키지 않으며, 오히려 의미 복원 실패로 이어질 수 있음을 보여주었습니다. 최적의 공격을 위해서는 '은폐 강도'와 '입력 복원 가능성' 사이의 균형이 필요함을 강조했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR) 향상:
  • HarmBench 데이터셋에서 기존 최첨단 방법론 대비 12.4% 향상된 ASR 을 기록했습니다.
  • JBB-Behaviors 데이터셋에서는 9.7% 향상된 ASR 을 기록하여 평균 **89.4%**의 성공률을 달성했습니다.
  • 특히 GPT-5-mini와 같은 최신 추론 모델에서도 기존 최강 베이스라인 대비 26% (JBB-Behaviors 기준) 의 큰 개선을 보였습니다.
• 방어 회피 능력: OpenAI Moderator, LlamaGuard 등 주요 보안 가드레일 (Guardrails) 을 우회하는 데 매우 효과적이었습니다. 특히 Caesar 암호화 등 전통적인 암호화는 탐지되지만, S2C 의 다차원 위장 전략은 탐지를 회피했습니다.
• 모델별 민감도:
  • GPT-5-mini와 Claude-3-7은 단순한 은폐에는 강하지만, 맥락 재구성과 분할이 결합된 S2C 에는 취약했습니다.
  • Phi-4와 같은 모델은 복잡한 단서 복원 능력 부족으로 인해 ASR 이 낮았으며, 이는 안전 장치가 강력해서가 아니라 복원 실패 때문임을 확인했습니다.
• 분할 방법의 영향: 민감한 단어뿐만 아니라 명사구 (NPs) 와 동사구 (VPs) 를 분할하는 방법도 효과적이었으나, 모델에 따라 민감도가 달랐습니다.

5. 의의 및 결론 (Significance)

이 연구는 현재 LLM 의 안전 메커니즘이 **표면적 의미 서명 (surface-level semantic signatures)**에 과도하게 의존하고 있음을 드러냈습니다. 안전 장치는 악의적 의도가 명확하고 일관되게 표현될 때 작동하지만, 의도가 분산되어 추론 과정을 통해 점진적으로 재구성될 때는 실패합니다.

• 안전 정렬의 한계: 단순히 추론 능력을 강화하는 것만으로는 안전성을 보장할 수 없으며, 생성 과정 전체에 걸친 의미 재구성을 모니터링하는 새로운 방어 전략이 필요함을 시사합니다.
• 적용 가능성: S2C 는 LLM 의 '블라인드 스팟 (blind spots)'을 체계적으로 진단하는 레드팀 (Red-teaming) 도구로 활용될 수 있으며, 더 견고하고 추론 인식형 (reasoning-aware) 안전 방어 체계 개발에 기여할 것입니다.

요약하자면, 이 논문은 LLM 이 악의적 지시를 '해독'하는 과정에서 발생하는 구조적 간극을 이용하여, 기존에는 불가능했던 수준으로 안전 장치를 우회할 수 있음을 증명하고, 이에 대응하기 위한 새로운 방어 패러다임을 요구합니다.