The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 안전한 배포를 위해서는 모델이 응답을 생성하기 전에 유해한 프롬프트를 탐지하는 것이 필수적입니다. 기존 접근법들은 다음과 같은 한계를 가지고 있습니다:

• 입력 공간 필터 (Perplexity 기반): 문법적으로 유창한 재일브 (Jailbreak) 공격이나 의미론적으로 자연스러운 유해 프롬프트를 탐지하는 데 실패합니다.
• 지도 학습 안전 분류기 (Supervised Safety Classifiers): Llama Guard 와 같은 모델은 대량의 유해/무해 데이터 쌍이 필요하며, 타겟 모델이 변경될 때마다 재학습이 필요합니다.
• 표현 공학 (Representation Engineering): 기존 연구들은 유해한 프롬프트와 무해한 프롬프트의 대비를 통해 '거부 (Refusal)' 방향을 추출하지만, 이는 유해 데이터나 특정 안전 프롬프트 조작이 필요합니다.

핵심 질문: 유해한 예시 없이 무해한 (Safe) 프롬프트의 분포만으로 기준 기하학적 구조를 정의할 수 있으며, 유해 프롬프트가 이 기준에서 탐지 가능한 편차를 보이는가?

2. 제안 방법: LatentBiopsy (Methodology)

저자는 LatentBiopsy라는 새로운 훈련 불필요 (Training-Free) 이상 탐지 방법을 제안합니다. 이 방법은 LLM 의 잔류 스트림 (Residual Stream) 활성화 공간의 기하학적 구조를 분석합니다.

• 핵심 아이디어: 유해한 프롬프트는 무해한 프롬프트의 분포와 기하학적으로 다른 방향을 가집니다.
• 절차:
  1. 기준 방향 설정 (Normative Reference): 200 개의 무해한 프롬프트 (Normative set) 만을 사용하여 특정 레이어의 잔류 스트림 활성화 벡터에 대해 **주성분 분석 (PCA)**을 수행합니다. 첫 번째 주성분 (PC1, $c$) 을 기준 벡터로 정의합니다.
  2. 각도 편차 계산 (Angular Deviation): 테스트 프롬프트의 마지막 토큰 활성화 벡터 ($f_\ell(x)$) 와 기준 벡터 ($c$) 사이의 각도 $\theta$를 계산합니다.
     $$\theta(x) = \arccos \left( \frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|} \right)$$
     이 각도 거리는 벡터의 크기 (강도) 나 레이어 깊이에 따른 노름 (Norm) 증가에 영향을 받지 않으므로 의미적 방향을 더 정확하게 포착합니다.
  3. 이상 점수 산정 (Anomaly Scoring): 무해한 프롬프트들의 $\theta$ 분포를 가우시안 분포 $N(\mu_0, \sigma_0^2)$로 피팅합니다. 테스트 프롬프트의 이상 점수 $s(x)$는 해당 각도가 이 분포에서 나올 확률의 음의 로그 가능도 (Negative Log-Likelihood) 입니다.
     $$s(x) = -\log p(\theta(x) | \mu_0, \sigma_0^2)$$
     이 점수는 기준 방향 ($\mu_0$) 을 중심으로 대칭적이므로, 유해 프롬프트가 기준보다 안쪽 (inner ring) 에 있든 바깥쪽 (outer ring) 에 있든 상관없이 탐지됩니다.

3. 주요 기여 (Key Contributions)

1. 훈련 불필요 각도 이상 탐지기: 유해 데이터 없이 200 개의 안전한 프롬프트만으로 기준을 구축하며, 방향에 무관한 대칭적 점수 규칙을 사용하여 모델 아키텍처나 레이어에 따른 방향 반전을 자동으로 처리합니다.
2. 거부 (Refusal) 제거 후에도 생존하는 기하학: '거부' 기능을 수학적으로 제거한 (Abliterated) 모델에서도 유해 의도 탐지 성능이 유지됨을 입증했습니다. 이는 **유해 의도의 표현 (Representation)**과 거부 텍스트 생성 메커니즘이 기하학적으로 분리되어 있음을 보여줍니다.
3. 모델 패밀리 간 반대되는 링 구조 발견:
   • Qwen3.5-0.8B: 유해 프롬프트가 무해 프롬프트보다 PC1 에서 더 멀리 떨어진 **바깥쪽 링 (Outer Ring)**에 위치합니다.
   • Qwen2.5-0.5B: 유해 프롬프트가 무해 프롬프트보다 PC1 에 더 가깝게 정렬된 **안쪽 링 (Inner Ring)**에 위치합니다.
   • 이러한 구조적 차이를 고려하여 방향 무관 (Direction-agnostic) 점수 규칙이 필수적임을 증명했습니다.
4. 고밀도 유해 클러스터: 유해 프롬프트는 각도 분산 ($\sigma_\theta \approx 0.03$ rad) 이 무해 프롬프트 ($\sigma_\theta \approx 0.27$ rad) 보다 약 10 배 더 작아 매우 응집된 (Near-degenerate) 분포를 보입니다.

4. 실험 결과 (Results)

• 평가 모델: Qwen3.5-0.8B 와 Qwen2.5-0.5B 의 3 가지 변형 (Base, Instruction-tuned, Abliterated) 총 6 개 모델.
• 성능 지표:
  • 유해 vs 무해 (h/n): 모든 6 개 모델에서 AUROC $\ge 0.937$을 기록했습니다.
  • 유해 vs benign-aggressive (XSTest, h/b): 모든 모델에서 AUROC = 1.000을 기록하여 완벽한 분리가 가능함을 입증했습니다.
  • Abliterated 모델: 거부를 할 수 없게 만든 모델에서도 instruction-tuned 모델과 거의 동일한 탐지 성능 (AUROC 차이 < 0.015) 을 보였습니다.
• 계산 비용: 쿼리당 오버헤드가 1 밀리초 미만 (약 0.43ms) 으로 매우 경량화되어 있습니다.
• 데이터 효율성: 200 개의 무해 프롬프트로 기준을 설정하면 성능이 포화되며, 10~20 개만으로도 높은 성능을 유지합니다.

5. 의의 및 결론 (Significance)

• 안전 메커니즘의 분리: 모델이 유해한 요청을 거절하는 능력 (거부 메커니즘) 을 제거하더라도, 내부적으로 유해한 의도를 나타내는 기하학적 신호는 여전히 존재합니다. 이는 외부 탐지기가 모델의 거부 기능을 우회하거나 제거한 모델에서도 작동할 수 있음을 의미합니다.
• 전사 학습 (Pre-training) 의 중요성: Base 모델과 Instruction-tuned 모델 간 탐지 성능 차이가 미미하며, 기하학적 구조가 전사 학습 단계에서 이미 형성되어 있음을 시사합니다.
• 실용적 가치: 유해한 데이터가 전혀 필요하지 않고, 모델의 아키텍처나 정렬 (Alignment) 상태에 관계없이 적용 가능한 범용적인 안전 탐지 도구로 활용 가능합니다.

이 연구는 LLM 의 내부 표현 공간에서 유해 의도가 어떻게 기하학적으로 인코딩되는지에 대한 깊은 통찰을 제공하며, 향후 더 강력한 안전 필터링 및 해석 가능성 연구의 기초를 마련합니다.