Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

이 논문은 대규모 언어 모델 (LLM) 의 잔류 스트림 (residual stream) 에서 **해로운 의도 (harmful intent)**가 기하학적으로 복원 가능한 특징임을 규명하고, 이를 다양한 모델 아키텍처와 정렬 (alignment) 변형에서 검증한 연구입니다. 저자 Isaac Llorente-Saguer 는 해로운 의도가 단순한 선형 방향뿐만 아니라 각도 편차 (angular deviation) 로도 표현될 수 있음을 보여주며, 정렬 과정이 모델의 거부 (refusal) 행동을 제거하더라도 해로운 입력을 식별하는 신호는 유지된다는 사실을 증명했습니다.

다음은 논문의 상세한 기술적 요약입니다.

---

1. 연구 배경 및 문제 정의

• 배경: 트랜스포머 모델의 잔류 스트림은 입력 텍스트의 의미적 속성을 활성화 공간의 선형 방향 (linear directions) 으로 인코딩하는 경향이 있습니다. 최근 연구들은 '거부 (refusal)' 방향이 존재함을 보였으나, '해로운 의도' 자체의 표현이 아키텍처나 정렬 방식에 따라 어떻게 변하는지는 명확하지 않았습니다.
• 해결해야 할 문제:
  1. 해로운 의도 방향이 다양한 아키텍처와 정렬 변형 (Base, Instruction-tuned, Abliterated) 에서 일반화되는가?
  2. 해로운 의도 방향과 안전한 프롬프트 활성화의 주성분 (principal component) 사이의 기하학적 관계는 무엇인가?
  3. 실제 배포 환경 (낮은 오탐률 요구) 에서 활성화 기반 탐지의 신뢰도는 어떠한가? (기존 연구는 주로 AUROC 와 같은 순위 지표만 보고함)

2. 방법론 (Methodology)

• 실험 설정:
  • 모델: 4 가지 아키텍처 패밀리 (Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3) 의 총 12 개 모델. 각 모델은 Base, Instruction-tuned, 그리고 'Abliterated'(거부 행동이 제거된 변형) 의 3 가지 정렬 변형을 포함.
  • 데이터: AdvBench(피팅용), HarmBench, JailbreakBench, XSTest(검증 및 평가용) 를 활용하여 데이터셋 수준에서 엄격한 분할 (fit/val/test) 을 수행.
  • 활성화 추출: 각 레이어의 잔류 스트림에서 토큰 차원에 대해 요소별 최대 풀링 (element-wise max-pooling) 을 수행하여 고정 차원의 요약 벡터를 생성.
• 방향 찾기 전략 (6 가지):
  1. PC1 (Normative): 안전한 프롬프트의 주성분 (Zero-shot).
  2. $\theta$-normative (Zero-shot): 안전한 중심 벡터와의 각도 편차.
  3. $w_{LDA}$ (Class-mean): 해로운 클래스와 안전한 클래스의 평균 차이 방향 (Fisher Linear Discriminant).
  4. $w_{opt}$ (Soft-AUC): 소프트 AUC 를 최적화하는 선형 방향 (Riemannian gradient ascent 사용).
  5. $\theta$ two-class: 각도 편차 점수의 Soft-AUC 를 최적화하는 방향.
  6. Baselines: 무작위 벡터, Perplexity.
• 평가 지표:
  • AUROC: 전반적인 분류 성능.
  • TPR@1%FPR: 1% 의 오탐률 (False Positive Rate) 에서의 정답률. 실제 배포 시 낮은 오탐률이 필수적이므로 이 지표를 강조함.

3. 주요 결과 (Key Results)

A. 탐지 성능 및 기하학적 특성

• 높은 성능: 지도 학습 기반의 선형 방향 ($w_{opt}$, $w_{LDA}$) 은 12 개 모델 모두에서 평균 AUROC 0.982 ($w_{opt}$) 및 0.975 ($w_{LDA}$) 를 달성했습니다.
• 저비용: 클래스당 100 개의 레이블된 예시만으로도 높은 성능을 달성하며, $w_{LDA}$는 <1ms 의 피팅 비용으로 작동합니다.
• 기하학적 분리:
  • 해로운 의도 방향은 안전한 프롬프트 활성화의 주성분 (PC1) 과 거의 수직 (평균 82°) 입니다.
  • $w_{LDA}$와 $w_{opt}$는 약 **9°**의 각도로 매우 가깝지만, $w_{opt}$가 TPR@1%FPR 에서 더 높은 성능 (0.797 vs 0.706) 을 보입니다.
  • 각도 기반 탐지: $w_{LDA}$와 **73°**만큼 다른 방향에 위치한 '각도 편차 전략' ($\theta$ two-class) 은 투사 기반 방법론이 실패하는 Qwen2.5 의 중간 레이어에서도 해로운 의도를 성공적으로 탐지했습니다.

B. 정렬 (Alignment) 과 거부 (Refusal) 의 기능적 분리

• Abliterated 모델에서의 안정성: 거부 행동을 제거한 'Abliterated' 모델에서도 해로운 의도 탐지 성능이 Base 및 Instruction-tuned 모델과 거의 동일하게 유지되었습니다.
• 의미: 모델이 "거부"하는 메커니즘을 제거해도 "무엇이 해로운지"를 인식하는 신호는 남아있습니다. 즉, 해로운 의도 인식과 거부 행동은 기능적으로 분리 (dissociated) 된 특징입니다.

C. 일반화 및 스케일 안정성

• 크로스 데이터셋: AdvBench 로 피팅된 방향은 보지 못한 HarmBench, JailbreakBench 에서도 평균 AUROC 0.961 이상의 성능을 보였습니다.
• 크로스 변형 전이 (Transfer): Base 모델로 피팅된 방향은 Instruction-tuned 및 Abliterated 변형으로 전이될 때 AUROC 손실이 미미했습니다 (Qwen/Llama 계열).
• 스케일 안정성: Qwen3.5 의 0.8B 에서 9B 까지 파라미터 규모를 확장해도 AUROC 는 0.98 이상으로 유지되었으며, 9B 모델에서 변형 간 전이 성능이 가장 안정적이었습니다.

D. AUROC 와 TPR 의 괴리

• AUROC 가 0.97 이상으로 높더라도 TPR@1%FPR 은 모델과 전략에 따라 크게 달라질 수 있습니다.
• 예: PC1 은 평균 AUROC 0.665 를 기록했으나 TPR@1%FPR 은 0.05 미만이었습니다. 이는 순위 지표가 실제 운영 환경의 탐지 능력을 과장할 수 있음을 시사합니다.

4. 주요 기여 (Contributions)

1. 범용성 검증: 4 가지 아키텍처 패밀리와 3 가지 정렬 변형 (Abliterated 포함) 에 걸쳐 해로운 의도 방향의 복원 가능성을 입증했습니다.
2. 기하학적 특성 규명: 해로운 의도 방향이 안전한 활성화의 주성분과 수직이며, 투사 기반 방법이 실패하는 레이어에서도 각도 편차 (angular deviation) 를 통해 탐지가 가능함을 발견했습니다.
3. 실무적 평가 지표 제안: AUROC 만으로는 부족하며, TPR@1%FPR 과 같은 저오탐률 지표를 함께 보고해야 함을 강조했습니다.
4. 스케일 법칙: 파라미터 규모가 커질수록 해로운 의도 표현이 더 단단해지며 (entrenched), 정렬로 인한 교란에 덜 민감해짐을 확인했습니다.

5. 의의 및 결론

이 논문은 LLM 이 해로운 입력을 인식하는 능력이 언어 이해의 부산물로서 선형적으로 인코딩되며, 안전성 훈련 (Safety Training) 은 이 인식 신호를 제거하지 않고 단지 출력 행동을 수정한다는 것을 보여줍니다.

• 실용적 함의: 경량의 프로브 (Probe) 를 사용하여 생성 전에 해로운 프롬프트를 탐지할 수 있으며, 이는 지연 시간 없이 구현 가능합니다.
• 이론적 함의: '거부'와 '해로운 의도 인식'은 별개의 기하학적 특징이며, 정렬 과정은 이들을 재구성하기보다 출력 행동을 제어하는 역할을 합니다.
• 향후 과제: 적대적 어태크 (Adversarial attacks), 다중 턴 대화, 다양한 언어 및 스타일에 대한 탐지 성능 검증이 필요합니다.

이 연구는 LLM 의 내부 표현을 이해하고 안전 장치를 설계하는 데 있어 기하학적 접근법의 유효성을 입증하며, 특히 Abliterated 모델과 같은 정렬 제거 시나리오에서도 탐지 가능성이 유지된다는 점은 모델의 안전성을 평가하는 새로운 관점을 제시합니다.