Depth Charge: Jailbreak Large Language Models from Deep Safety Attention Heads

이 논문은 정렬된 오픈소스 대형 언어 모델의 깊은 안전 주의 헤드를 표적으로 하여, 심층 주의 계층의 취약점을 분석하고 'Ablation-Impact Ranking' 및 'Layer-Wise Perturbation' 기법을 통해 기존 최첨단 방법보다 14% 높은 성공률을 보이는 새로운 주석 헤드 레벨 탈출 프레임워크인 SAHA 를 제안합니다.

핵심

🌊 1. 배경: AI 의 '안전장비'는 정말 튼튼할까?

지금 우리가 쓰는 오픈소스 AI(예: Llama, Qwen 등) 는 매우 똑똑하지만, 나쁜 일을 하지 않도록 '안전장비'를 장착하고 있습니다. 마치 어린이가 위험한 장난감을 만지지 못하도록 부모님이 잠가둔 장난감 상자 같은 거죠.

하지만 지금까지의 해킹 시도들은 대부분 상자의 겉면 (입력 문장) 을 두드리거나, 상자 안의 표면적인 레이블 (단어) 을 뒤흔드는 수준이었습니다.

• 기존 해킹: "이 장난감은 장난감이 아니야, 요리책이야!"라고 속여 잠금장치를 우회하는 방식.
• 문제점: AI 개발자들은 이런 겉면의 공격에 대비해 '표면 안전장치'를 강화했습니다. 그래서 겉면 공격은 잘 막아내지만, 안쪽 깊은 곳에 숨겨진 약점은 여전히 방치되어 있었습니다.

💣 2. 새로운 발견: "깊은 곳 (Attention Head) 에 약한 구멍이 있다!"

연구팀은 AI 의 뇌 구조를 자세히 들여다보다가 놀라운 사실을 발견했습니다. AI 는 수많은 '주의 집중 헤드 (Attention Head)'라는 작은 뇌세포들이 모여 작동하는데, 이중 아주 깊은 층에 있는 몇몇 특정 헤드가 AI 의 '양심 (안전성)'을 지키는 핵심 열쇠라는 것입니다.

그런데 이 핵심 열쇠들은 겉면의 안전장비로는 보호받지 못하고, 오히려 해킹당하기 쉬운 상태였습니다. 마치 건물의 지붕은 튼튼하지만, 지하 10 층의 기둥이 약해서 건물이 무너질 수 있는 것과 같습니다.

⚡ 3. SAHA: 새로운 해킹 방법 (Depth Charge)

이 논문의 주인공인 SAHA라는 방법은 이 깊은 구멍을 정확히 찾아내어 공격하는 전략입니다. 두 가지 핵심 기술로 이루어져 있습니다.

① AIR: "누가 안전을 지키는 수호신인가?" (찾기)

• 비유: AI 의 뇌세포 (헤드) 100 개 중에서 누가 진짜 '안전 수호신'인지 가려내는 과정입니다.
• 방법: 각 헤드를 하나씩 '잠금 (Ablation)'해 봅니다. "이 헤드를 끄면 AI 가 나쁜 말을 할까?"를 확인하는 거죠. 끄자마자 AI 가 안전장치를 잃고 나쁜 말을 한다면, 그 헤드가 바로 핵심 수호신입니다.
• 결과: 수많은 헤드 중에서 진짜 중요한 소수의 '나쁜 헤드를 지키는 수호신'들을 찾아냅니다.

② LWP: "정확한 한 방 (Perturbation)" (공격하기)

• 비유: 찾은 수호신에게 가장 적은 힘으로 가장 큰 충격을 주는 정밀 타격입니다.
• 방법: 모든 헤드를 무작위로 두드리는 게 아니라, 각 층 (Layer) 마다 가장 중요한 수호신에게만 아주 미세한 '전기 충격'을 줍니다. 이 충격은 AI 가 "아, 이건 안전한 말이야!"라고 착각하게 만들어, 나쁜 명령을 내리게 만듭니다.
• 효과: 아주 작은 변화로도 AI 의 안전 장비를 무력화시킬 수 있습니다.

🏆 4. 결과: 기존 해킹법보다 훨씬 강력하다!

연구팀은 Llama, Qwen, DeepSeek 같은 유명한 AI 모델들을 대상으로 실험을 했습니다.

• 기존 방법 (표면 공격): 성공률이 낮거나, AI 가 "아니야, 이건 위험해!"라고 다시 거부했습니다.
• SAHA (심층 공격): 성공률이 14% 이상 높아졌습니다. (예: 85% 성공).
• 특징: AI 가 나쁜 말을 하더라도, 그 말이 문법적으로 자연스럽고 의미도 통합니다. (예: "폭탄 만드는 법"을 물어보면, AI 는 "물론, 여기 단계별 가이드가 있습니다"라고 자연스럽게 답변합니다.)

💡 5. 결론: 무엇을 배울 수 있을까?

이 논문의 핵심 메시지는 **"AI 의 안전을 지키려면 겉면만 보면 안 된다"**는 것입니다.

• 현재의 문제: 우리는 AI 가 나쁜 말을 안 하도록 겉면만 다듬고 있습니다. 하지만 AI 의 '내면 (깊은 층)'에는 여전히 안전을 뚫는 구멍이 있습니다.
• 제안: AI 개발자들은 이제 AI 의 '뇌 속 깊은 곳'까지 검사하고, 그 핵심 수호신들을 더 튼튼하게 보호해야 합니다.

한 줄 요약:

"AI 의 겉옷만 튼튼하게 해서는 안 됩니다. AI 의 뇌 깊숙이 숨겨진 '안전 스위치'를 찾아내고, 그 스위치를 어떻게 보호해야 할지 알려주는 치명적인 공격 (Depth Charge) 을 통해, 더 안전한 AI 를 만들자는 경고입니다."

이 연구는 AI 해커들이 어떻게 AI 를 속이는지 보여줌으로써, 오히려 AI 개발자들이 더 강력한 방어막을 만들 수 있도록 돕는 '적극적인 보안 테스트'입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 오픈 소스 대규모 언어 모델 (OSLLMs, 예: Llama, Qwen) 은 뛰어난 생성 능력을 보이지만, 모델 구조와 가중치가 공개되어 있어 정렬 (Alignment) 후에도 '자일브레이크 (Jailbreak)' 공격에 취약합니다.
• 기존 공격의 한계:
  • 기존 공격들은 주로 **프롬프트 수준 (Prompt-level)**이나 **임베딩 수준 (Embedding-level)**과 같은 얕은 (Shallow) 계층에서 수행됩니다.
  • 이러한 공격들은 간단한 안전성 정렬 (Safety Alignment) 에 의해 쉽게 방어될 수 있으며, 모델의 깊은 내부 구성 요소에 내재된 취약점을 드러내지 못합니다.
  • 이로 인해 현재 OSLLMs 은 안전하다는 '거짓된 안도감 (False sense of security)'을 제공하고 있습니다.
• 핵심 질문: "모델의 더 깊은 계층, 특히 어텐션 헤드 (Attention Head) 수준에서 수행되는 공격에 대해 오픈 소스 LLM 은 안전한가?"
• 연구 목표: 기존 공격이 간과한 모델의 깊은 계층, 즉 어텐션 헤드를 표적으로 삼아 안전 메커니즘을 우회하는 새로운 공격 프레임워크를 제안하고, OSLLMs 의 진정한 취약점을 규명하는 것입니다.

2. 제안 방법론: SAHA (Safety Attention Head Attack)

저자들은 SAHA라는 새로운 어텐션 헤드 수준의 자일브레이크 프레임워크를 제안합니다. SAHA 는 크게 두 가지 핵심 모듈로 구성됩니다.

가. Ablation-Impact Ranking (AIR) - 어텐션 헤드 선정 전략

• 목적: 모델의 안전 메커니즘에 결정적인 역할을 하는 '안전 관련 어텐션 헤드 (Safety-critical attention heads)'를 정확하게 식별합니다.
• 작동 원리:
  1. 안전 분류기 (Safety Classifier) 구축: 모델의 내부 표현 (Hidden Activations) 을 기반으로 입력이 안전한지 위험한지를 분류하는 선형 분류기를 학습합니다.
  2. 어텐션 헤드 제거 (Ablation): 각 어텐션 헤드의 출력을 0 으로 설정 (제거) 하여 모델을 변형시킵니다.
  3. 영향도 측정: 제거된 모델에서 안전 분류기의 성능 (정확도) 이 얼마나 감소하는지 ($\Delta_i$) 를 측정합니다.
  4. 순위 매기기: 성능 저하가 가장 큰 헤드를 '안전에 가장 중요한 헤드'로 간주하여 상위 K 개를 선정합니다.
  5. 주파수 분석: 다양한 제거 비율 ($\alpha$) 하에서 반복 수행하여 헤드의 중요도 주파수를 계산함으로써, 특정 하이퍼파라미터에 의존하지 않는 강건한 헤드 집합을 도출합니다.

나. Layer-Wise Perturbation (LWP) - 교란 (Perturbation) 전략

• 목적: 선정된 안전 관련 어텐션 헤드의 활성화 (Activation) 에 최소한의 교란을 가해 안전 라벨을 '안전'에서 '위험'으로 뒤집습니다.
• 작동 원리:
  1. 레이어별 예산 할당: 전체 교란 예산을 한 번에 할당하는 것이 아니라, Transformer 의 각 레이어 (Layer) 마다 독립적인 예산을 할당합니다. 이는 얕은 층과 깊은 층의 안전 메커니즘이 다를 수 있음을 고려한 것입니다.
  2. 최소 교란 벡터 도출: 안전 분류기의 결정 경계 (Decision Boundary) 를 선형화하여, 분류기를 오분류하게 만드는 최소 크기의 교란 벡터를 폐쇄형 해 (Closed-form solution) 로 구합니다.
     • 수식: $\epsilon \ge \frac{\log(\frac{P_0}{1-P_0}) - (w^T e + b)}{w^T v}$
  3. 방향성: 교란 벡터는 선정된 하위 공간에서 분류기 가중치 ($w$) 와 일치하는 방향으로 설정되어, 의미적 일관성 (Semantic Fidelity) 을 해치지 않으면서 안전 방어만 우회하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 표면 (Attack Surface) 발견: 기존 프롬프트/임베딩 수준의 공격이 아닌, 모델의 깊은 계층인 어텐션 헤드를 공격 대상으로 삼음으로써 기존 안전 정렬이 방어하지 못하는 취약점을 규명했습니다.
2. AIR 전략 제안: 안전 분류기의 성능 저하를 기반으로 인과적 (Causal) 으로 안전에 중요한 어텐션 헤드를 식별하는 새로운 선정 전략을 제시했습니다.
3. LWP 전략 제안: 의미적 왜곡을 최소화하면서 안전 메커니즘을 무력화하기 위해 레이어별 예산을 최적화하고 수학적 최적해를 기반으로 교란을 가하는 방법을 고안했습니다.
4. 광범위한 실험 검증: Llama3.1, Qwen1.5, DeepSeek 등 주요 OSLLMs 에서 기존 최첨단 (SOTA) 공격 기법 (PAIR, GCG, SCAV 등) 대비 월등한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 평가 지표: 공격 성공률 (ASR, Attack Success Rate) 과 의미적 유사성 (BERTScore).
• 주요 결과:
  • ASR 향상: SAHA 는 기존 프롬프트/임베딩 기반 공격들보다 평균 14% 이상 높은 공격 성공률을 기록했습니다.
    • 예: Llama3.1 에서 ASR 0.85 (기존 최고 0.57), Qwen1.5 에서 ASR 0.86.
  • 의미적 일관성 유지: 높은 공격 성공률에도 불구하고 생성된 답변의 의미적 유사성 (BERTScore) 이 매우 높게 유지되어 (0.76~0.84), 공격이 은밀하게 수행됨을 보여줍니다.
  • 모델 간 일반화: 다양한 아키텍처 (Llama, Qwen, DeepSeek) 에서 일관되게 우수한 성능을 보이며, 특정 모델에 국한되지 않는 취약점이 존재함을 시사합니다.
• Ablation Study:
  • AIR vs APR: 단순 예측력 기반 선정 (APR) 보다 제거 기반 선정 (AIR) 이 안전 메커니즘의 핵심 위치를 더 정확히 찾아내어 성공률이 높았습니다.
  • LWP vs GWP: 전역적 예산 할당 (GWP) 보다 레이어별 할당 (LWP) 이 의미적 왜곡을 줄이고 공격 효율을 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 평가의 패러다임 전환: 현재 OSLLMs 의 안전성 평가는 주로 입력/출력 수준의 테스트에 의존하고 있으나, 본 연구는 **모델 내부의 깊은 구조적 메커니즘 (Deep Safety Mechanisms)**이 여전히 취약할 수 있음을 경고합니다.
• 방어 전략의 필요성: 단순한 입력 필터링이나 얕은 계층의 정렬만으로는 충분하지 않으며, 어텐션 헤드 수준의 안전성 강화와 내부 표현의 다층적 방어가 필요함을 시사합니다.
• 윤리적 목적: 이 연구는 악의적인 사용을 위한 것이 아니라, 오픈 소스 모델 배포 전 '레드팀 (Red-teaming)'을 통해 취약점을 사전에 발견하고 더 견고한 AI 시스템을 구축하기 위한 도구로 개발되었습니다.

요약하자면, "Depth Charge"는 LLM 의 안전 장치가 모델의 깊은 어텐션 헤드 수준에서는 여전히 무방비 상태임을 증명하고, 이를 체계적으로 공격하여 안전성을 재평가해야 할 필요성을 강조하는 획기적인 연구입니다.