GUARD-SLM: Token Activation-Based Defense Against Jailbreak Attacks for Small Language Models

1. 문제 정의 (Problem Statement)

• 배경: 소형 언어 모델 (SLM, Small Language Models) 은 대규모 언어 모델 (LLM) 에 비해 계산 비용이 낮고 지연 시간이 짧아 엣지 디바이스 배포에 적합합니다. 그러나 기존 연구들은 SLM 이 LLM 보다 자일브레이크 (Jailbreak) 공격에 훨씬 더 취약하다는 것을 보여줍니다.
• 현황: 기존 방어 기법 (훈련 단계의 안전성 정렬, 입력/출력 필터링 등) 은 다음과 같은 한계가 있습니다.
  • 훈련 기반: 재학습이 필요하며 비용이 높고 모델의 일반 성능을 저하시킬 수 있음.
  • 입력/출력 필터링: 프롬프트 변형 (Obfuscation) 으로 우회 가능하거나, 생성 후 검사는 지연 시간을 유발함.
  • 내부 표현 이해 부족: 다양한 레이어에서 안전 정렬이 어떻게 작동하고, 왜 SLM 이 공격에 취약한지에 대한 깊은 이해가 부족함.
• 핵심 질문: SLM 의 내부 표현 공간 (Representation Space) 에서 benign(정상) 프롬프트와 malicious(악성) 프롬프트를 어떻게 구분할 수 있으며, 재학습 없이 경량화된 방식으로 이를 실시간으로 방어할 수 있는가?

2. 방법론 (Methodology: GUARD-SLM)

저자들은 GUARD-SLM이라는 새로운 경량화 인퍼런스 타임 (Inference-time) 방어 프레임워크를 제안합니다. 이 방법은 모델의 파라미터를 수정하지 않고, 내부 토큰 활성화 (Token Activation) 패턴을 분석하여 악성 프롬프트를 탐지합니다.

2.1 핵심 가설

• 악성 프롬프트 (특히 최적화된 자일브레이크 프롬프트) 는 모델의 특정 트랜스포머 레이어에서 **구분 가능한 활성화 패턴 (Distinguishable Activation Patterns)**을 생성합니다.
• 이러한 패턴은 모델의 마지막 토큰 (Last Token) 의 히든 상태 (Hidden State) 에 명확하게 나타납니다.

2.2 시스템 아키텍처

GUARD-SLM 은 두 단계로 구성됩니다:

1. 레이어별 활성화 분석 (Layer-wise Activation Analysis):

   • 다양한 모델 (SLM, LLM) 과 공격 유형 (9 가지) 에 대해 각 레이어의 마지막 토큰 활성화 데이터를 추출합니다.
   • t-SNE 등을 통해 시각화하여, 정상 프롬프트와 악성 프롬프트가 내부 표현 공간에서 어떻게 분리되는지 분석합니다.
   • 최적의 탐지 레이어 선정: 분류 성능이 가장 높은 레이어를 선택합니다 (논문 결과에 따르면 초기 레이어에서도 탐지 가능하나, 중후반 레이어에서 분리도가 더 명확함).

2. 활성화 공간 기반 필터링 (Activation-Space Filtering):

   • 학습: 선택된 레이어의 마지막 토큰 활성화 벡터를 입력으로 받아, SVM(서포트 벡터 머신, RBF 커널) 을 사용하여 이진 분류기 (정상 vs 악성) 를 학습합니다.
   • 인퍼런스 (실시간 방어):
     1. 사용자 프롬프트를 모델에 입력합니다.
     2. **단일 순전파 (Single Forward Pass)**를 수행하며 히든 상태를 추출합니다.
     3. 학습된 분류기에 해당 레이어의 마지막 토큰 활성화 값을 입력합니다.
     4. 분류 결과가 '악성 (1)'이면 생성 (Decoding) 을 즉시 중단하고 거절합니다.
     5. '정상 (0)'이면 캐시된 상태를 활용하여 정상적인 응답을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 경험적 평가: 7 개의 SLM 과 3 개의 LLM 을 대상으로 9 가지 자일브레이크 공격 기법 (AutoDAN, TAP, GCG 등) 에 대한 포괄적인 취약성 평가를 수행했습니다.
2. 내부 표현 공간 분석: SLM 에서 자일브레이크 공격이 모델의 **모든 레이어 (초기, 중간, 후기)**에서 관찰 가능하며, 최적화된 공격 프롬프트는 정상 프롬프트와 명확하게 분리된 클러스터를 형성한다는 사실을 규명했습니다.
3. GUARD-SLM 제안: 모델 재학습이나 추가 토큰 없이, 인퍼런스 타임에 내부 활성화만 분석하여 악성 요청을 차단하는 경량화 방어 메커니즘을 개발했습니다.
4. 성능 입증: 제안된 방법이 기존 방어 기법들보다 훨씬 높은 탐지율을 보이며, 인퍼런스 오버헤드를 거의 추가하지 않음을 입증했습니다.

4. 실험 결과 (Results)

• 취약성 분석:
  • SLM 은 LLM 보다 자일브레이크 공격에 훨씬 취약했습니다. 예를 들어, AutoDAN 공격은 대부분의 SLM 에서 **100% 에 가까운 공격 성공률 (ASR)**을 기록했습니다.
  • LLM (13B~14B) 도 취약하지만, SLM (7B 이하) 의 취약성이 더 극명하게 드러났습니다.
• 레이어별 민감도:
  • t-SNE 시각화 결과, 악성 프롬프트는 초기 레이어 (Layer 0~10) 에서부터 정상 프롬프트와 다른 분포를 보이기 시작하며, 중후반 레이어로 갈수록 분리도가 더욱 뚜렷해졌습니다.
  • 특히 **최적화된 공격 (AutoDAN, TAP 등)**은 직접적인 악성 프롬프트보다 더 일관되고 분리 가능한 활성화 패턴을 보였습니다.
• 방어 성능 (GUARD-SLM):
  • 탐지율: 9 가지 공격 유형에 대해 거의 100% 에 가까운 탐지율을 달성했습니다 (특히 AutoDAN, TAP, PAIR 등).
  • 비교: 기존 방어 기법 (SelfEval, SmoothLLM 등) 은 여전히 0%~30% 이상의 공격 성공률을 보인 반면, GUARD-SLM 은 대부분의 공격에서 0% 의 성공률을 기록했습니다.
  • 효율성: 다른 방어 기법들은 추가 토큰이나 반복적인 쿼리로 인해 인퍼런스 시간이 크게 증가하는 반면, GUARD-SLM 은 추가 토큰이 필요 없으며 인퍼런스 오버헤드가 거의 0에 가깝습니다 (약 0.43 초).

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: SLM 이 엣지 디바이스나 리소스 제약 환경에서 안전하게 배포될 수 있도록 하는 경량화 실용적 솔루션을 제공합니다.
• 기술적 통찰: 자일브레이크 공격이 단순히 출력 단계가 아니라 모델의 초기 레이어부터 내부 표현 공간에 명확한 신호로 남는다는 것을 증명했습니다. 이는 향후 안전성 모니터링을 위한 새로운 방향성을 제시합니다.
• 한계 및 향후 과제: 현재는 주로 SLM 에 최적화되어 있으며, 매우 큰 LLM 에 적용 시 내부 활성화 추출 비용이 클 수 있습니다. 향후 에이전트 AI 시스템 및 더 복잡한 적응형 공격에 대한 강건성을 평가할 예정입니다.

요약하자면, GUARD-SLM 은 SLM 의 취약성을 해결하기 위해 모델의 '생각 과정' (내부 활성화) 을 실시간으로 감시하여, 악성 프롬프트가 답변을 생성하기 전에 차단하는 고효율·저비용 방어 시스템입니다.