Jailbreaking Leaves a Trace: Understanding and Detecting Jailbreak Attacks from Internal Representations of Large Language Models

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 의 광범위한 배포와 함께, 악의적인 사용자가精心하게 제작된 프롬프트를 통해 모델의 안전 장치를 우회하고 금지된 내용을 생성하게 만드는 '재일브레이킹 (Jailbreaking)' 공격이 심각한 보안 위협으로 대두되었습니다.
• 기존 방어책의 한계: 기존 방어 기법들은 주로 프롬프트 수준 (키워드 필터링) 이나 출력 수준 (생성된 텍스트 검사) 에서 작동하거나, 모델의 미세 조정 (Fine-tuning) 에 의존합니다. 그러나 공격자들은 적응형 전략을 통해 이러한 방어책을 우회하며, 단일 방어 메커니즘으로는 진화하는 공격 기법을 막기 어렵습니다.
• 핵심 가설: 이 논문은 재일브레이킹 공격이 모델의 내부 표현 (Internal Representations) 에도 식별 가능한 고유한 흔적 (Trace) 을 남긴다는 가설을 제시합니다. 즉, 출력 결과뿐만 아니라 모델의 은닉 상태 (Hidden States) 와 어텐션 (Attention) 패턴에서도 악성 프롬프트와 정상 프롬프트를 구별할 수 있는 구조적 차이가 존재한다고 주장합니다.

2. 제안된 방법론 (Methodology)

저자들은 모델의 내부 표현을 분석하여 재일브레이킹을 탐지하고 완화하기 위해 텐서 기반 잠재 표현 프레임워크 (Tensor-based Latent Representation Framework) 를 제안했습니다.

2.1 데이터 및 모델 설정

• 분석 대상 모델: GPT-J, LLaMA, Mistral 등 다양한 아키텍처의 베이스 모델, 지시 튜닝 (Instruction-tuned) 모델, 그리고 안전 장치가 제거된 'Abliterated' 모델 (LLaMA 3.1 8B) 과 상태 공간 모델 (Mamba2) 을 포함하여 광범위하게 분석했습니다.
• 데이터셋: Hugging Face 의 Jailbreak Classification 데이터셋과 'In the Wild Jailbreak Prompts'를 사용하여 정상 (Benign) 과 재일브레이킹 (Jailbreak) 프롬프트를 구분했습니다.

2.2 내부 표현 분석 (Hidden Representation Analysis)

• 텐서 구성: 각 입력 프롬프트에 대해 모델의 각 레이어 (Layer) 에서 추출한 멀티헤드 어텐션 (MHA) 출력과 은닉 상태 (Hidden States) 를 3 차원 텐서 ($N \times T \times d$: 프롬프트 수 $\times$ 시퀀스 길이 $\times$ 은닉 차원) 로 구성합니다.
• CP 텐서 분해 (CP Decomposition): 구성된 텐서를 CANDECOMP/PARAFAC (CP) 분해 기법을 사용하여 저차원의 잠재 요인 (Latent Factors) 으로 분해합니다. 이를 통해 프롬프트 모드 (Prompt-mode) 에 해당하는 요인을 추출하여 재일브레이킹과 정상 프롬프트를 구분하는 특징으로 활용합니다.
• 레이어별 민감도 분석: 각 레이어별로 분해된 잠재 요인을 사용하여 경량 분류기를 학습시킵니다. 이를 통해 어떤 레이어가 재일브레이킹 신호를 가장 강력하게 인코딩하는지 (민감도, Susceptibility) 를 파악합니다.

2.3 추론 시 완화 전략 (Layer-Aware Mitigation)

• 민감도 기반 우회 (Layer Bypass): 추론 (Inference) 시, 입력 프롬프트의 내부 표현을 학습된 잠재 요인에 투영하여 각 레이어의 재일브레이킹 확률을 계산합니다.
• 개입 메커니즘: 특정 임계값 (예: 0.7) 을 초과하는 '민감한 레이어'를 식별하면, 해당 레이어의 출력을 우회 (Bypass) 하거나 건너뛰는 방식으로 모델을 조작합니다. 이는 모델의 가중치를 변경하거나 추가적인 보조 모델을 사용하지 않고, 순수하게 추론 시 내부 흐름을 제어하는 방식입니다.

3. 주요 기여 (Key Contributions)

1. 레이어별 재일브레이킹 서명 (Layer-wise Jailbreak Signature) 발견: 재일브레이킹 프롬프트와 정상 프롬프트는 LLM 의 내부 표현에서 레이어 의존적인 고유한 잠재 서명을 가진다는 것을 증명했습니다. 텐서 분해를 통해 이러한 패턴을 효과적으로 추출할 수 있음을 보였습니다.
2. 타겟팅된 레이어 우회를 통한 효과적인 방어: 학습된 잠재 서명을 활용하여 추론 시 민감한 레이어를 식별하고 우회함으로써, 모델의 미세 조정 없이 재일브레이킹 실행을 차단하는 새로운 방어 메커니즘을 제시했습니다.
3. 아키텍처 무관성 및 확장성: Transformer 기반 모델 (GPT-J, LLaMA, Mistral) 과 상태 공간 모델 (Mamba) 모두에서 일관된 패턴이 발견되었으며, 이는 제안된 방법이 특정 모델 아키텍처에 종속되지 않는다는 것을 시사합니다.

4. 실험 결과 (Results)

• 탐지 성능:
  • 다양한 모델 (GPT-J, LLaMA, Mistral, Mamba) 에서 CP 분해 기반의 잠재 요인을 사용하여 재일브레이킹과 정상 프롬프트를 높은 F1 점수로 구분할 수 있었습니다.
  • 특히 어텐션 맵 (Attention Maps) 분석을 통해, 재일브레이킹 프롬프트는 전역적인 어텐션 붕괴가 아닌, 특정 제어 토큰으로의 국소적이고 체계적인 어텐션 재라우팅 (Targeted Rerouting) 을 유발함을 확인했습니다.
• 방어 성능 (Abliterated LLaMA 3.1 8B 모델 기준):
  • 레이어 우회 (Layer Bypass): 재일브레이킹 시도 중 78% 를 성공적으로 차단 (True Positive) 하였습니다.
  • 정상 행동 유지: 정상 프롬프트의 경우 94% 에서 정상적인 응답을 유지 (True Negative) 하여, 방어 메커니즘이 모델의 유용성을 크게 해치지 않음을 입증했습니다.
  • 비교: 어텐션 성분만 우회하는 방식 (MHA Bypass) 보다 전체 레이어 출력을 우회하는 방식이 훨씬 효과적이었습니다 (공격 성공률 22% vs 39%).
• 실패 사례 분석: 일부 실패는 모델의 정체성을 지속적으로 통제하려는 역할극 (Persona) 기반 프롬프트나, 여러 레이어에 걸쳐 분산된 영향력 때문에 발생했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 보안 패러다임: 이 연구는 LLM 보안을 외부 텍스트 필터링이나 모델 재학습에 의존하는 것을 넘어, 모델의 내부 표현 (Internal Representations) 을 모니터링하고 제어하는 새로운 방향을 제시합니다.
• 실용성: 모델의 가중치를 변경하거나 추가적인 보조 모델을 배포할 필요 없이, 추론 시 가벼운 계산 오버헤드로 실시간 방어 (Real-time Mitigation) 가 가능합니다.
• 해석 가능성 (Interpretability): 재일브레이킹 공격이 모델의 어떤 레이어와 어떤 메커니즘 (어텐션 흐름 등) 을 통해 발생하는지에 대한 해석 가능한 통찰을 제공하여, 향후 더 정교한 방어 시스템 설계의 기초를 마련했습니다.

결론적으로, 이 논문은 "재일브레이킹은 내부에 흔적을 남긴다"는 가설을 실증적으로 증명하고, 이를 활용한 경량화되고 확장 가능한 방어 프레임워크를 제안함으로써 LLM 보안 연구에 중요한 기여를 했습니다.