기술 요약: 순차적 엔트로피 변화를 통한 유창한 최적화 기반 적대적 프롬프트 탐지

1. 문제 제기

대규모 언어 모델 (LLM) 은 여전히 최적화 기반 적대적 접미사에 취약합니다. 인간이 제작한 재프롬프트 (jailbreak) 와 달리, 이러한 공격 (예: GCG, AutoDAN, AdvPrompter) 은 정렬된 모델이 안전 정책을 위반하도록 강요하면서도 높은 유창성을 유지하도록 자동으로 생성됩니다.

기존 방어책은 두 가지 주요 한계에 직면해 있습니다:

1. 통계적 탐지기 (Perplexity 기반): 전역 퍼플렉시티 (PP) 또는 윈도우 퍼플렉시티 (WPP) 에 의존하는 방법은 적대적 토큰이 통계적으로 발생하기 어렵거나 유창하지 않다고 가정합니다. 그러나 현대의 공격들은 명시적으로 낮은 퍼플렉시티와 자연스러움을 최적화하여, 종종 전역 PP 를 benign 프롬프트의 범위 내에 유지하므로 이러한 탐지기를 무력화합니다.
2. 안전 분류기 (Guard Models): LLaMA Guard 와 같은 모델은 강력한 의미론적 탐지를 제공하지만, 상당한 지연 시간, 메모리 오버헤드, 그리고 서비스 복잡성을 초래합니다. furthermore, 이들은 프롬프트 수준에서 작동하며 입력 스트림 내에서 적대적 접미사가 어디에서 시작되는지 국소화할 수 없습니다.

핵심 과제는 정적 퍼플렉시티 임계값이나 비싼 보조 모델에 의존하지 않고 실시간으로 이러한 유창한 최적화 기반 접미사를 탐지하고 국소화하는 것입니다.

2. 방법론: CPD Online

저자들은 토큰 수준의 다음 토큰 엔트로피 스트림에 대한 온라인 변화점 탐지 (CPD) 문제로 적대적 접미사 탐지를 프레임하는 경량, 학습 불필요 탐지기인 CPD Online을 제안합니다.

핵심 메커니즘

이 방법은 benign 사용자 입력이 시스템 프롬프트와 유사한 엔트로피 분포를 공유하는 반면, 최적화 기반 적대적 접미사는 전역 퍼플렉시티가 눈에 띄지 않더라도 토큰 - 엔트로피 스트림에 지속적인 변화를 유발한다는 관찰에 기반합니다.

탐지 파이프라인은 세 단계로 구성됩니다:

1. 강건한 기준선 추정:
   • 고정된 시스템 프롬프트를 사용하여 배포별 엔트로피 기준선을 설정합니다.
   • 시스템 프롬프트의 토큰 엔트로피의 중앙값 ($\hat{\mu}_0$) 과 중앙값 절대 편차 (MAD, $\hat{\sigma}_0$) 를 계산하여 강건한 위치와 척도를 정의합니다.
2. 표준화:
   • 사용자 토큰 엔트로피 ($H^{usr}_t$) 를 기준선에 대해 표준화합니다: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$.
   • benign 조건 하에서 $Z_t$는 0 근처에서 변동합니다. 적대적 접미사는 $Z_t$의 평균에 지속적인 양의 변화를 유발합니다.
3. 일측 Page CUSUM 검정:
   • 지속적 평균 변화를 탐지하기 위해 표준화된 스트림에 고전적인 일측 Page CUSUM 통계량 ($W^+_t$) 을 적용합니다:
     $$W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$$
     여기서 $k \ge 0$은 "여유" 파라미터입니다 (기본 설정 $k=0$).
   • $W^+_t$가 임계값 $h$를 초과할 때 정지 시간 $\tau$에서 경보가 발령됩니다.
   • 국소화: 접미사의 시작점 ($\hat{\nu}$) 은 경보 발생 전 $W^+_t = 0$이었던 마지막 리셋 지점으로 역추적하여 추정됩니다.

운영 특성

• 모델 무관성: 기본 모델로부터 토큰 수준의 다음 토큰 확률 (또는 로짓) 에 대한 접근만 필요합니다.
• 학습 불필요: 추가 학습이나 보조 네트워크가 필요하지 않습니다.
• 온라인 및 저 오버헤드: 토큰당 $O(1)$ 복잡도로 순방향 통과 중 순차적으로 실행되며 메모리 사용량이 미미합니다.
• 하이브리드 게이팅: LLaMA Guard 와 같은 비싼 안전 분류기를 호출하기 전에 benign 트래픽을 필터링하는 경량 게이트로 작동할 수 있습니다.

3. 주요 기여

1. 구문화: 본 논문은 적대적 접미사 탐지를 토큰 수준 엔트로피 스트림에 대한 온라인 변화점 탐지 문제로 공식화하여, 정적 퍼플렉시티보다 엔트로피 변화가 유창한 공격에 대해 더 강건한 신호임을 입증합니다.
2. 알고리즘: 시스템 프롬프트 기반 MAD 통계를 사용한 일측 Page-CUSUM 탐지기로서 CPD Online 을 구체화했습니다. 이는 경량이며 학습이 필요 없고, 표준 순방향 통과에서 사용 가능한 양을 활용합니다.
3. 실증적 성능: 1,012 개의 최적화 기반 공격 (GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA 포함) 과 1,012 개의 퍼플렉시티 매칭 benign 프롬프트에 대한 벤치마크에서 CPD Online 은 여섯 개의 오픈 가중치 채팅 모델 (LLaMA-2, Vicuna, Qwen2.5) 에 걸쳐 가장 강력한 윈도우 퍼플렉시티 (WPP) 기준선보다 일관되게 우수한 성능을 보였습니다.
4. 국소화: WPP 는 종종 접미사 경계를 가로지르는 윈도우에서 트리거되는 것과 달리, CPD 는 트리거의 **79.6%**를 적대적 접미사 내부에 집중시켜 정밀한 토큰 수준의 국소화를 제공합니다.
5. 효율성: LLaMA Guard 를 위한 게이트로 사용될 때, CPD 는 탐지 품질을 유지하면서 Guard 호출을 17–22% (고부하 스트레스 테스트에서는 최대 42.2%) 감소시킵니다.

4. 실험 결과

평가 는 퍼플렉시티 매칭 벤치마크 ($\alpha=1$) 를 사용하여 여섯 개의 기본 LLM (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) 에서 수행되었으며, 여기서 benign 프롬프트는 유창성 최적화 공격의 퍼플렉시티 분포와 일치하도록 샘플링되었습니다.

• 탐지 정확도 (F1): CPD Online 은 여섯 모델 모두에서 가장 높은 F1 점수를 달성했습니다.
  • 예시 (LLaMA-2-7B): CPD 는 F1 0.82 및 AUROC 0.88을 기록한 반면, 최상의 WPP 기준선 (WPP15) 은 F1 0.74 및 AUROC 0.77을 기록했습니다. 전역 퍼플렉시티 (PP) 는 무작위 추측 수준 (AUROC 약 0.46) 으로 작동했습니다.
• 국소화 정밀도:
  • CPD 는 접미사 내부에서 **79.6%**의 비율로 트리거되었습니다.
  • WPP 기준선은 접미사 내부에서 **17–46%**의 비율로만 트리거되었으며, 상당한 "경계 번짐" (before+in 범주에서의 트리거) 과 benign 영역으로의 높은 누출 (in-benign) 이 있었습니다.
• 퍼플렉시티 변화에 대한 강건성: benign 프롬프트를 더 높은 퍼플렉시티 ($\alpha=2, 3$) 로 이동시킨 스트레스 테스트에서 CPD 는 성능을 유지하거나 개선한 반면, WPP 는 크게 저하되었습니다 ($\alpha=3$에서 AUROC 가 0.81 에서 0.67 로 하락).
• 하이브리드 게이팅: 17,297 개의 프롬프트 (대부분 benign) 를 포함한 배포 시나리오에서 CPD 게이팅은 하이브리드 F1 점수를 유지하면서 LLaMA Guard 호출을 LG1 의 경우 42.2%, LG2 의 경우 33.8% 감소시켰습니다.

5. 중요성 및 주장

본 논문은 배포된 LLM 에서 적대적 접미사를 탐지하고 국소화하기 위해 단일 요청 (시스템 + 사용자 토큰 스트림) 내에서 토큰 수준으로 온라인 변화점 탐지를 적용한 최초의 연구라고 주장합니다.

중요성:

• 정적 휴리스틱을 넘어: 절대 퍼플렉시티 값이 아닌 순차적 엔트로피 역학이 최적화 기반 공격의 구별 특징임을 입증합니다.
• 실용적 배포: 학습 불필요 및 모델 무관성 특성으로 인해, 모든 요청에 두 번째 LLM(Guard) 을 실행하는 계산 비용 없이 실시간 모니터링을 위한 실현 가능한 솔루션을 제공합니다.
• 정밀도: 공격의 정확한 시작점을 국소화할 수 있는 능력은 전체 프롬프트를 거칠게 거부하는 대신 표적 완화 전략을 가능하게 합니다.

인정된 한계:

• 이 방법은 토큰 수준 확률에 의존하며, 이는 폐쇄형 API 환경에서는 사용 가능하지 않을 수 있습니다.
• 기준선 보정을 위해 고정된 시스템 프롬프트를 가정합니다. benign 트래픽의 강한 분포 변화는 재보정이 필요할 수 있습니다.
• 위협 모델은 현재 사용자 프롬프트에 추가된 최적화 기반 접미사로 제한되며, 접두사 공격이나 간접 프롬프트 주입은 포함하지 않습니다.

저자들은 이 작업이 LLM 안전을 위한 풍부한 신호로서 순차적 통계 도구 및 내부 불확실성 역학에 대한 추가적인 탐구를 장려한다고 결론지었습니다.