Robust Safety Monitoring of Language Models via Activation Watermarking

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 무기 제조법, 악성 코드 작성 등 민감한 정보를 유출하도록 악용될 수 있습니다. 이를 방지하기 위해 제공자들은 추론 (Inference) 중 안전하지 않은 행동을 탐지하고 경고하는 모니터링 시스템을 도입하고 있습니다. 그러나 기존 시스템은 다음과 같은 적응형 공격자 (Adaptive Adversaries) 에게 취약합니다.

• 적응형 공격의 위협: 공격자는 모니터링 알고리즘을 알고 있으면서도 (예: 오픈소스 가드 모델), 모델의 내부 비밀 키는 모르는 상태에서, 탐지를 회피하면서 동시에 유해한 정보를 추출하는 공격을 반복적으로 정교화합니다.
• 기존 방법의 한계: 외부 가드 모델 (Guard Models) 이나 텍스트 기반 분류기는 공격자가 특정 모델의 취약점을 학습하여 우회 (Jailbreak) 할 수 있어 탐지율이 급격히 떨어집니다. 또한, 별도의 모델 실행으로 인한 지연 시간 (Latency) 과 오경보 (False Positive) 문제도 존재합니다.
• 핵심 과제: 제공자가 패치할 수 없는 보안 메커니즘을 어떻게 설계하여, 공격자가 모니터링 방식을 알고 있더라도 탐지를 피하지 못하게 할 것인가?

2. 방법론 (Methodology)

저자들은 활성화 워터마킹 (Activation Watermarking) 을 제안합니다. 이는 모델의 내부 은닉 상태 (Hidden Activations) 에 비밀 키로 암호화된 신호를 주입하여, 유해한 응답이 발생할 때만 탐지 가능한 신호를 남기는 기술입니다.

2.1. 핵심 원리

• 비밀 방향성 (Secret Direction): 모델의 특정 레이어에서 무작위 가우시안 벡터 (비밀 키 $k$) 를 생성하여 '워터마킹 방향'으로 정의합니다.
• 파인튜닝 (Fine-tuning): 모델이 안전 정책 (Safety Policy) 을 위반하는 유해한 응답을 생성할 때, 해당 응답의 활성화 벡터가 이 비밀 방향과 정렬되도록 (Cosine Similarity 증가) 학습시킵니다. 반면, 안전한 응답은 이 방향과 수직이 되도록 (Orthogonal) 학습시킵니다.
• 탐지 (Detection): 추론 시, 생성된 응답의 활성화 벡터와 비밀 키 벡터 간의 코사인 유사도를 계산합니다. 이 값이 임계값을 초과하면 유해한 행동으로 간주하여 경보를 발령합니다.

2.2. 알고리즘 세부 사항

1. 키 생성: 각 타겟 레이어 $\ell$에 대해 시드 $k$를 기반으로 비밀 벡터 $w_\ell$을 샘플링합니다.
2. 학습 (Training):
   • 기본 모델의 성능을 유지하기 위해 기준 모델 (Frozen Reference Model) 과의 KL 발산 (KL-divergence) 을 최소화합니다.
   • 유해한 응답의 경우: 활성화가 $w_\ell$ 방향으로 정렬되도록 손실 함수를 설계합니다.
   • 시작 오프셋 (Onset Offset) 적용: 응답의 유해한 부분이 시작되는 지점 ($\Delta$) 이후의 토큰에만 워터마킹 신호를 집중시킵니다. 이는 모호한 앞부분 토큰에 신호를 주입하여 오경보를 줄이고, 명확하게 유해한 후반부 토큰에 신호를 집중하여 탐지 정확도를 높입니다.
3. 탐지 (Inference): 생성된 응답의 모든 어시스턴트 토큰에 대해 가중 평균 코사인 유사도 $T_k(\pi, x)$를 계산하고, 임계값 $\tau_k$와 비교하여 결정합니다.

3. 주요 기여 (Key Contributions)

1. 적응형 공격에 대한 견고한 모니터링: 기존 감시 시스템이 적응형 공격자에게 취약함을 증명하고, 비밀 키 기반의 워터마킹을 통해 이를 방어하는 새로운 패러다임을 제시했습니다.
2. 범용적이고 효율적인 솔루션:
   • 어떤 LLM 에나 적용 가능합니다.
   • 추론 시 추가적인 모델 포워드 패스 (Forward Pass) 가 필요 없어 계산 오버헤드가 거의 없습니다 (기존 가드 모델 방식은 1 회 이상 추가 실행 필요).
   • 스트리밍 환경에서도 작동 가능합니다.
3. 성능 우위: 표준 유해 행동 벤치마크에서는 기존 방법과 유사하거나 약간 더 나은 성능을 보이며, 적응형 공격 시나리오에서는 기존 모든 방법 (Guard Baselines) 을 압도적으로 능가합니다.

4. 실험 결과 (Results)

저자들은 다양한 공격 시나리오 (Jailbroken, DeepInception, Multilingual, AutoDAN 등) 에서 실험을 수행했습니다.

• 적응형 공격 방어 능력:
  • 공격자가 모니터링 알고리즘은 알지만 비밀 키는 모르는 상황에서, 기존 가드 모델 (LlamaGuard, QwenGuard) 은 공격 성공률 (ASR) 이 매우 높게 나타났습니다 (예: AutoDAN 공격 시 ASR 0.87 이상).
  • 반면, 제안된 활성화 워터마킹 (ActWM) 은 모든 공격 유형에서 가장 높은 AUROC (0.89~0.96) 를 기록하며, 공격 성공률을 현저히 낮췄습니다.
• 모델 간 전이 공격 (Transfer Attacks):
  • 다른 모델 (Mistral-7B) 로 훈련된 공격을 제안된 워터마킹 모델 (Qwen2.5-7B) 에 적용했을 때도, 워터마킹은 높은 AUROC 를 유지하며 공격을 효과적으로 차단했습니다.
• 비밀 추출 보안 게임 (Secret Extraction Game):
  • 20 개의 가상의 민감한 개체 (Entity) 를 모델에 주입하고, 특정 개체의 정보가 유출되었을 때 이를 정확히 식별하는 실험을 수행했습니다.
  • 정확도: 유출된 개체를 약 80% 의 정확도로 식별했으며, 위양성 (False Positive) 은 10,000 건당 1 건 미만 ($10^{-4}$) 으로 유지되었습니다.
• 유용성 (Utility) 유지:
  • 워터마킹 적용 후 모델의 일반적 성능 (BBH, MMLU 등) 은 거의 유지되었으며, 수학 추론 (GSM8K, MATH) 에서만 소폭의 성능 저하 (-2.6% ~ -7.1%) 가 발생했습니다. 이는 강력한 모니터링을 위한 합리적인 트레이드오프로 평가됩니다.
• 계산 오버헤드:
  • 추론 시 추가적인 모델 실행 없이 중간 활성화에 대한 간단한 벡터 연산 ($O(Kd)$) 만 수행하므로, 기존 가드 모델 방식보다 지연 시간이 현저히 줄어듭니다.

5. 의의 및 결론 (Significance & Conclusion)

• 예방 실패 시의 대안: LLM 을 완전히 '예방 (Prevention)'하는 것은 불가능할 수 있습니다. 하지만 이 연구는 예방이 실패하더라도 '탐지 (Detection)'를 통해 유해한 행동을 식별하고 대응할 수 있음을 증명했습니다.
• 적응형 공격자 대응: 공격자가 모니터링 방식을 알고 있더라도, 비밀 키를 모르면 워터마킹 신호를 우회할 수 없으므로, 오픈 가중치 모델이나 공개 API 와 같이 모델 행동을 예측 가능한 환경에서 특히 강력한 보안 계층을 제공합니다.
• 실무 적용 가능성: 낮은 오경보율과 낮은 지연 시간으로 인해 실시간 고처리량 (High-throughput) 환경에서도 배포가 가능하며, 사고 대응 (Incident Response) 및 감사 (Audit) 에 필수적인 도구가 될 수 있습니다.

요약하자면, 이 논문은 LLM 의 안전성 모니터링을 외부 텍스트 필터링이 아닌 모델 내부의 '비밀 워터마킹'으로 전환함으로써, 적응형 공격자에게서도 견고한 탐지 능력을 확보하고 성능 저하와 지연 시간을 최소화한 획기적인 방법을 제시했습니다.