기술 요약: 중간 레이어의 엔트로피 역학을 통한 탈옥(Jailbreak) 탐지

1. 문제 정의

탈옥 공격은 정렬(alignment) 노력에도 불구하고 정책 위반 응답을 유도하기 위해 대규모 언어 모델(LLM)의 안전 장치를 우회합니다. 기존의 방어 기제는 프롬프트 수준(필터), 출력 수준(응답 검사), 또는 지도 학습 기반 분류기를 통해 작동하지만, 해로운 의도가 내부 인코딩되는 방식에 대해서는 여전히 이해가 부족합니다. 특히, 적대적 의도가 모델의 잠재 공간(latent space) 내에서 어떻게 표현되는지, 이 신호가 토큰 위치에 따라 어떻게 진화하는지, 그리고 트랜스포머 아키텍처의 어느 깊이에서 유해한 입력과 가장 명확하게 구별되는지는 불분명합니다.

정적 집계 통계(예: 평균 퍼플렉서티 또는 엔트로피)에 의존하는 기존 방법들은 탈옥 시도를 특징짓는 토큰 간의 미묘하고 국소적인 상호작용과 모델의 내부 상태 사이의 관계를 포착하는 데 종종 실패합니다. 본 논문은 탈옥 동작이 단순히 전체적인 불확실성 수준의 변화가 아니라, 프롬프트가 전개됨에 따라 예측 엔트로피가 진화하는 방식에서 발생하는 **구조적 역학(structured dynamics)**을 유발한다고 주장합니다.

2. 방법론

저자들은 동결된(frozen) LLM의 중간 레이어 내에서 토큰 수준의 예측 엔트로피 궤적을 분석하는 훈련이 필요 없는(training-free) 프레워크를 제안합니다. 이 접근 방식은 다음 구성 요소들에 의존합니다.

2.1 중간 레이어 엔트로피 추출 (Logit Lens)

최종 출력을 기다리는 대신, 이 방법은 특정 레이어 $\ell$에서의 중간 은닉 상태($h_t^{(\ell)}$)를 모델의 최종 언임베딩 행렬($W_U$)을 사용하여 직접 어휘 공간으로 투영합니다. 이 "로짓 렌즈(logit lens)" 기술은 각 중간 단계에서 다음 토큰에 대한 확률 분포 $p^{(\ell)}(\cdot | x_{<t})$를 생성합니다.
그 후 섀넌 엔트로피(Shannon entropy) $H_t^{(\ell)}$를 각 토큰 위치 $t$와 프로브 레이어에 대해 계산하여, 엔트로피 궤적 $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$를 생성합니다.

2.2 특징 구축

프레임워크는 이러한 궤적에서 파생된 두 가지 계열의 특징을 구분합니다.

• 정적(Level) 특징: 평균, 최대값, 표준 편차, 최소값과 같이 프롬프트 전반의 불확실성 크기를 요약하는 집계 통계입니다.
• 동적(Trend) 특징: 토큰 위치에 따른 불확실성의 방향성 진화를 포착하는 지표입니다. 주요 특징은 다음과 같습니다:
  • Kendall's $\tau$: 엔트로피 값과 토큰 위치 사이의 순위 상관관계.
  • Spearman's $\rho$: 순위 변환된 엔트로피와 토큰 위치 사이의 피어슨 상관관계.
  • 단조성(Monotonicity): 연속된 토큰 쌍에서 엔트로피가 특정 "유해한" 방향($d$)으로 이동하는 비율로, 이는 모델별로 경험적으로 결정됩니다 (예: Llama/Qwen의 경우 하향, Gemma의 경우 상향).

2.3 평가 프로토콜

본 연구는 동결된 모델에 대해 단 한 번의 순방향 패스(forward pass)를 사용하여 이러한 특징들을 평가합니다. 탐지 성능은 모델의 자연스러운 유해 방향에 대한 **방향성 AUROC(directional Area Under the ROC Curve)**를 통해 측정됩니다. 평가는 세 가지 오픈 소스 모델(Llama-3.1-8B, Qwen3-8B, Gemma-7b)과 여러 적대적 벤치마크(AdvBench, HarmBench, StrongREJECT)를 유익한 데이터셋(UltraChat, WildJailbreak, JailbreakBench)에 대해 수행되었습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 훈련이 필요 없는 분석: 분류기를 미세 조정하거나 생성된 출력을 분석할 필요 없이, 중간 레이어의 활성화 값을 사용하여 탈옥 신호를 탐지하는 방법을 도입했습니다.
2. 동적 vs 정적 신호: 판별력은 정적 엔트로피 집계 통계보다는 주로 동적 궤적 특징(단조성, 순위 기반 추세)에 있다는 것을 입증했습니다.
3. 깊이 의존적 국소화: 탈옥 신호가 중간 레이어(네트워크 깊이의 약 50~85%)에 집중되어 있으며, 최종 레이어에서는 현저히 저하된다는 점을 확인했습니다. 이는 유해한 의도가 출력 특화 프로세싱에 의해 변형되기 전, 네트워크 중간 단계의 의미론적 표현에 인코딩됨을 시사합니다.

4. 실험 결과

4.1 동적 특징이 정적 집계보다 우수함

모든 모델에서 동적 추세 특징은 정적 특징(평균, 최대 엔트로피)이 높은 분산과 낮은 교차 모델 일반화 성능을 보인 것과 달리, 탈옥 프롬프트를 유익한 프롬프트로부터 일관되게 분리해 냈습니다.

• 단조성은 Llama(0.941)와 Qwen(0.941)에서 가장 높은 평균 AUROC를 달 기록했습니다.
• Kendall's $\tau$와 Spearman's $\rho$는 절대적인 엔트로피 척도와 무관하게 엔트로피 진화의 구조가 전이 가능한 신호임을 나타내며, 아키텍처 전반에 걸쳐 일관된 분리 성능(평균 AUROC $\approx$ 0.78–0.80)을 보여주었습니다.

4.2 중간 레이어에서의 신호 집중

판별 신호는 깊이에 따라 균일하지 않습니다.

• 중간 피크: 단조성과 Kendall's $\tau$ 같은 특징들은 중간 레이어(예: Llama의 경우 32개 레이어 중 22번째, Qwen의 경우 36개 레이어 중 25번째)에서 정점에 도달했습니다.
• 최종 레이어에서의 저하: 성능은 최종 레이어에서 급격히 떨어졌습니다. Gemma의 경우, Kendall's $\tau$는 중간 레이어의 0.796에서 최종 레이어의 0.458로 감소했습니다. 이는 최종 레이어가 이전 표현에 존재하는 적대적 구조를 능동적으로 억제하거나 재구성함을 시사합니다.
• 정적 특징과의 대조: 정적 특징(예: 평균 엔로피)은 이와 반대되는 경향을 보이며 종종 최종 레이어에서 가장 좋은 성능을 보였는데, 이는 이들이 동적 추세와는 다른 계산적 특성을 포착함을 확인시켜 줍니다.

4.3 일반화 및 적대적 제어

• 교차 모델 일관성: 순위 기반 특징들은 훈련 파이프라인과 레이어 수의 차이에도 불구하고 Llama, Qwen, Gemma 전반에 걸쳐 잘 일반화되었습니다.
• Adversarial Control (JailbreakBench Benign): 유익한 세트가 유해한 요청의 구조를 모방하도록 의도적으로 제작된 "JailbreakBench benign" 프롬프트로 구성되었을 때, AUROC가 붕괴되었습니다 (~0.35로 하락). 이는 해당 신호가 의미론적 유해성이 아닌 구조적 프롬프트 구성을 탐지한다는 것을 나타냅니다. 즉, 유익한 입력이 탈옥과 구조적으로 유사해지면 내부 역학은 구별 불가능해집니다.

5. 의의 및 주장

본 논문은 정렬된 LLM에서의 탈옥 동작이 구조화된 중간 불확실성 역학에 반영된다고 주장합니다. 구체적으로:

• 해석 가능성: 본 연구는 유해한 의도가 어디에서(중간 레이어) 그리고 어떻게(단조로운 엔트로피 추세) 인코딩되는지를 밝혀내어, 모델 내부를 들여다보는 진단적 렌즈를 제공합니다.
• 아키텍처 일관성: 이 신호는 추가 훈련 없이도 다양한 모델 제품군(Llama, Qwen, Gemma)에서 지속되는 중간 네트워크 표현의 창발적 속성입니다.
• 한계 및 범위: 저자들은 이 방법을 완성된 배포용 탐지기가 아닌 진단적 특성화로 겸허히 규정합니다. 이 방법은 중간 활성화 값에 대한 화이트박스 접근 권한이 필요하며, 유익한 프롬프트의 분포에 따라 효과가 달라질 수 있음을 인정합니다. 만약 유익한 프롬프트가 탈옥과 구조적으로 유사하다면 신호는 저하됩니다. 또한, 이 방법은 로짓 렌즈 투영에 의존하며, 이는 표현 불일치로 인한 왜곡을 초래할 수 있습니다.

결론적으로, 본 연구는 중간 레이어의 토큰 수준 예측 엔트로피 진화를 모니터링하는 것이 전통적인 퍼플렉서티 기반 탐지와 구별되는, 탈옥 시도와 관련된 구조적 패턴을 식별하기 위한 견고하고 훈련이 필요 없는 신호를 제공한다는 것을 입증합니다.