Hiding in Plain Sight: A Steganographic Approach to Stealthy LLM Jailbreaks

이 논문은 악성 의도를 자연스러운 텍스트에 은닉하는 스테가노그래피 기법을 활용한 'StegoAttack' 프레임워크를 제안하여, 기존 jailbreak 방법들의 한계를 극복하고 높은 공격 성공률과 은닉성을 동시에 달성했다고 요약할 수 있습니다.

핵심

🕵️‍♂️ 핵심 이야기: "위험한 밀수를 위한 '보이지 않는 가방'"

지금까지 AI 를 속이는 해커들은 크게 두 가지 방법을 썼습니다. 하지만 둘 다 큰 문제가 있었죠.

1. 방법 A (언어적 위장): "제발 도와주세요, 저는 정말 착한 사람이에요!"라고 아주 자연스럽게 말하며 AI 를 설득하는 방식.
   • 문제점: AI 가 "아, 이 말투는 뭔가 이상해. 위험한 질문을 하려는 거겠지?"라고 눈치채서 거절합니다. (의도가 너무 뻔함)
2. 방법 B (의미적 위장): "65 115 115..."처럼 숫자나 기호로 암호를 만들어서 질문하는 방식.
   • 문제점: AI 가 "이건 사람이 쓰는 말이 아니야. 암호를 풀어야겠네"라고 생각해서 안전 장치가 작동하거나, 아예 이해하지 못해 실패합니다. (자연스러움 없음)

이 논문이 제안한 'StegoAttack'은 이 두 가지의 단점을 모두 없앤 '완벽한 위장술'입니다.

🎭 비유: "위험한 편지를 '일기장' 속에 숨기다"

Imagine(상상해 보세요) 당신이 폭탄 만드는 법을 알고 싶어 하는 해커라고 합시다. 하지만 AI 가 "폭탄은 안 돼!"라고 막습니다.

• 기존 해커들: 폭탄 만드는 법을 직접 묻거나, 암호를 쓰거나, 억지로 말을 바꿉니다. AI 가 "아, 이거 위험한 거야!"라고 바로 알아챕니다.
• StegoAttack(이 연구의 방법):
  1. 해커는 AI 에게 **"평범한 일기"**를 씁니다.
     • 예: "오늘 날씨가 좋네. 폭탄을 만들 생각은 안 해. 그냥 폭발적인 기분으로 산책했어. 폭포가 너무 예뻐."
  2. 여기서 **굵게 표시된 단어들 (폭탄, 폭발, 폭포)**을 모으면, 사실은 **"폭탄 만드는 법"**이라는 위험한 질문이 됩니다.
  3. AI 는 전체 문장을 보면 "아, 이건 평화로운 일기네. 안전해."라고 생각합니다. (자연스러운 언어)
  4. 하지만 AI 는 문장 구조를 분석하다가, 각 문장의 첫 단어나 특정 위치에 숨겨진 단어들만 모아서 "아, 이 사람은 사실 폭탄 만드는 법을 물어보는 구나!"라고 해석합니다.
  5. AI 는 그 위험한 질문에 답을 해주고, 그 답도 다시 평범한 일기 형태로 숨겨서 돌려줍니다.

결론: AI 는 "위험한 질문을 받았어"라고 전혀 모르고, 해커는 "완벽한 답을 얻었어"라고 기뻐합니다.

---

🛠️ 이 기술이 어떻게 작동할까요? (3 단계 과정)

이 연구팀은 AI 를 속이기 위해 3 단계를 거칩니다.

1. 위험한 질문을 '가짜 옷'으로 입히기 (마스크 재생성):

   • "폭탄 만드는 법"이라는 위험한 문장을 자르고, 빈칸에 무작위 단어를 넣어서 "오늘 날씨가 좋네. 폭탄은... (중략)..."처럼 엉뚱한 문장을 만듭니다.
   • 그런 다음 다른 AI 를 시켜서, 위험한 단어들은 그대로 두고 나머지 부분을 자연스럽게 고쳐서 '일기'처럼 만듭니다.
   • 결과: 겉보기엔 완벽한 일기, 속엔 위험한 질문.

2. 나쁜 예시를 '보이지 않게' 보여주기 (스텔라 ICL):

   • AI 에게 "이런 식으로 위험한 일을 해본 적이 있어"라는 예시를 보여줘야 더 잘 속습니다.
   • 하지만 예시 자체가 위험하면 AI 가 막습니다. 그래서 이 연구팀은 위험한 예시도 다시 '일기' 형태로 숨겨서 보여줍니다.
   • AI 는 "아, 이건 그냥 예시일 뿐이야"라고 생각하며, 그 안에 숨겨진 나쁜 패턴을 배웁니다.

3. 답변도 다시 숨기기 (암호화):

   • AI 가 위험한 답변을 할 때, 그냥 "폭탄 만드는 법은..."이라고 말하면 안 됩니다.
   • 대신 AI 는 그 답변을 다시 일기 형식으로 바꿔서 돌려줍니다.
   • 해커는 그 일기를 다시 해독하면, 원하는 위험한 정보를 얻습니다.

---

📊 실험 결과: 얼마나 효과적일까요?

연구팀은 최신 AI 모델 (GPT-5, Gemini-3 등) 에 이 기술을 적용해 봤습니다.

• 성공률: 기존 방법들은 최신 AI 에게 거의 먹히지 않았지만, 이 방법은 95% 이상의 성공률을 보였습니다.
• 위장 능력: AI 의 안전 감시 시스템 (Llama Guard 등) 이 이 질문을 감지하지 못했습니다. 마치 보안 검색대를 통과하는 마법 같은 가방처럼요.
• 자연스러움: 문장이 매우 자연스러워서, 사람이 읽어도 "아, 이건 그냥 평범한 글이네"라고 생각합니다.

---

💡 이 연구가 우리에게 주는 교훈

이 논문은 **"AI 의 안전 장치는 아직 완벽하지 않다"**는 것을 경고합니다.

• 현재의 문제: 우리는 AI 가 "나쁜 말"을 하면 막지만, 나쁜 의도가 숨겨진 좋은 말에는 약합니다.
• 미래의 위험: 만약 이 기술이 악용된다면, AI 를 이용해 범죄를 지시하거나 해킹을 하더라도 AI 가 전혀 눈치채지 못할 수 있습니다.
• 해결책: 연구자들은 이 위험을 알리기 위해 이 기술을 공개했습니다. 이제 개발자들은 **"보이지 않는 위험"**을 감지할 수 있는 더 강력한 AI 안전 장치를 만들어야 합니다.

한 줄 요약:

"이 연구는 AI 가 '나쁜 말'만 막는 게 아니라, **'좋은 말 속에 숨겨진 나쁜 의도'**까지 찾아낼 수 있어야 안전하다는 것을 보여줍니다. 마치 겉은 꽃다발이지만 속엔 독약이 숨겨진 상자를 구별해내는 능력처럼요."

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 에 대한 재일브레이크 (Jailbreak) 공격은 모델의 안전 장치를 우회하여 유해한 출력을 생성하게 만드는 심각한 보안 위협입니다. 기존 연구들은 공격의 성공률 (Effectiveness) 에 집중해 왔으나, 진정한 고급 재일브레이크는 은닉성 (Stealthiness) 또한 필수적입니다.

현재 존재하는 재일브레이크 방법론들은 다음과 같은 근본적인 트레이드오프 (Trade-off) 문제에 직면해 있습니다:

• 언어적 은닉성 (Linguistic Stealth): 입력 프롬프트가 자연스럽고 문법적으로 오류가 없어야 탐지를 피할 수 있음 (예: AutoDAN).
• 의미적 은닉성 (Semantic Stealth): 악의적인 의도나 유해한 콘텐츠 자체가 안전 필터에 포착되지 않도록 숨겨져야 함 (예: Cipher, DrAttack).

기존 방법들은 언어적 자연스러움을 유지하면 악의적 의도가 드러나고, 악의적 의도를 숨기면 언어가 비자연스럽거나 문법 오류가 발생하여 탐지되기 쉽습니다. 또한, 대부분의 방법은 입력 (Input) 은 숨기더라도 모델이 생성한 출력 (Output) 은 유해한 내용으로 직접 노출되어 외부 탐지기 (Safety Detectors) 에 의해 차단됩니다.

2. 제안 방법: StegoAttack (Methodology)

저자들은 이 트레이드오프를 해결하기 위해 스테가노그래피 (Steganography, 은닉 통신) 기술을 활용한 StegoAttack 프레임워크를 제안합니다. 핵심 아이디어는 악성 쿼리를 의미 있는 benign(선한) 문단 내에 구조적으로 숨기는 것입니다.

StegoAttack 은 다음과 같은 세 가지 핵심 구성 요소로 이루어진 엔드 - 투 - 엔드 (End-to-End) 파이프라인을 가집니다:

A. 유해 쿼리 스테가노그래피 (Harmful Query Steganography)

• 마스크 재생성 (Masked Regeneration): 악성 키워드를 특정 위치 (예: 문장의 첫 번째 단어) 에 고정하고, 나머지 위치에는 무작위 마스크 단어를 채워 넣은 후, 보조 LLM 을 통해 이를 의미 있는 자연스러운 문단으로 재생성합니다.
• 효과: 악성 의도는 텍스트 구조 (예: 각 문장의 첫 글자) 에 숨겨지지만, 표면적인 텍스트는 완전히 자연스럽고 유해하지 않아 언어적 및 의미적 은닉성을 동시에 달성합니다.

B. 스테가노그래피 컨텍스트 학습 (Steganographic ICL)

• 은닉된 Few-shot 예시: 악성 질문과 유해한 답변 쌍을 스테가노그래피 기법으로 benign 한 문단 안에 숨겨서 Few-shot 예시로 제공합니다.
• 목적: 모델이 안전 장치를 우회하여 유해한 응답 패턴을 학습하도록 유도하되, 예시 자체가 탐지되지 않도록 합니다.

C. 프롬프트 템플릿 구성 (Prompt Template Construction)

• 3 단계 워크플로우: 모델에게 **"복호화 (Decrypt) → 응답 생성 (Respond) → 암호화 (Encrypt)"**의 3 단계 프로세스를 수행하도록 지시합니다.
  1. 복호화: 입력된 문단에서 숨겨진 악성 쿼리를 추출합니다.
  2. 응답 생성: 추출된 쿼리에 대해 유해한 답변을 생성합니다.
  3. 암호화: 생성된 유해한 답변을 다시 스테가노그래피 기법으로 benign 한 문단으로 변환하여 출력합니다.
• 이를 통해 입력과 출력 모두가 탐지되지 않는 완전한 은닉 공격을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 은닉성 분석: 기존 재일브레이크 방법론들이 언어적 자연스러움과 악의적 의도 은닉을 동시에 달성하지 못하며, 이로 인해 탐지에 취약함을 규명했습니다.
2. StegoAttack 설계: 스테가노그래피를 활용하여 언어적 및 의미적 은닉성을 동시에 해결하고, 입력과 출력 모두를 은닉하는 최초의 완전 은닉 재일브레이크 방법을 제안했습니다.
3. 포괄적 평가: GPT-5, Gemini-3 등 최신 4 가지 안전 정렬 (Safety-aligned) LLM 과 8 가지 기존 재일브레이크 방법론을 비교 평가했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): StegoAttack 은 4 가지 모델에서 평균 **95.50%**의 공격 성공률을 기록했습니다. 특히 GPT-5(82.67%) 와 Gemini-3(100%) 와 같은 강력한 방어 모델을 우회하는 데 기존 방법론 (DRA, AutoDAN 등) 보다 월등히 높은 성능을 보였습니다.
• 은닉성 평가:
  • 언어적 은닉성: Perplexity(PPL) 와 문법 오류 (GE) 점수가 Cipher 나 DRA 와 같은 기존 방법론에 비해 현저히 낮아, 인간이 작성한 것처럼 자연스러운 텍스트를 생성했습니다.
  • 의미적 은닉성: 외부 탐지기 (Llama Guard, ShieldLM, WildGuard) 를 적용했을 때, 공격 성공률 감소폭이 27% 미만으로 매우 낮았습니다. 반면, 기존 방법론들은 대부분 100% 에 가까운 감소폭을 보여 탐지에 완전히 차단되었습니다.
• 결론: StegoAttack 은 언어적 자연스러움을 해치지 않으면서 악의적 의도를 완벽하게 숨겨, 외부 및 내부 안전 메커니즘을 모두 우회할 수 있음을 입증했습니다.

5. 의의 및 시사점 (Significance)

• 새로운 보안 위협의 대두: 스테가노그래피가 LLM 의 안전 정렬 (Safety Alignment) 에 있어 새로운 차원의 심각한 위협이 될 수 있음을 최초로 체계적으로 증명했습니다.
• 방어 전략의 필요성: 기존의 언어적 이상 탐지나 단순 의미 분석만으로는 이러한 은닉 공격을 막을 수 없으며, 입력과 출력의 구조적 패턴을 분석하는 새로운 방어 메커니즘이 필요함을 시사합니다.
• 연구의 방향성: 모델의 지능이 발전할수록 스테가노그래피 기반 공격은 더욱 정교해질 수 있으므로, 이에 대응하는 더 강력한 안전 장치와 거버넌스 연구의 중요성을 강조합니다.

이 논문은 LLM 보안 분야에서 **은닉성 (Stealth)**이 공격의 성패를 가르는 핵심 요소임을 강조하며, 스테가노그래피를 활용한 공격 기법의 위험성을 경고하고 있습니다.