Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models

"대형 언어 모델의 런타임 오작동 감지를 위한 계층별 수렴 지문" 논문에 대한 상세한 기술 요약입니다.

1. 문제 정의

프로덕션 환경에 배포된 대형 언어 모델 (LLM) 은 표준적인 깨끗한 데이터 검증으로는 종종 탐지하지 못하는 세 가지 고유한 런타임 위협에 직면합니다:

1. 학습 단계 백도어: 특정 트리거가 존재할 때까지 잠복하다가 모델이 공격자가 선택한 행동을 출력하도록 만드는 악의적인 파인튜닝 (예: LoRA 를 통한).
2. 저울브레이크: 안전 정렬을 우회하는 적대적 프롬프트 (예: "DAN" 역할극, 경사 최적화 접미사).
3. 프롬프트 인젝션: 이메일, 코드 스니펫과 같은 사용자 콘텐츠에 내장된 지시사항으로, 시스템의 의도된 작업을 덮어씁니다.

기존 방어책의 한계:
현재의 런타임 방어책은 종종 특정 위협에 국한되어 있거나, 신뢰할 수 있는 '깨끗한' 참조 모델이 필요하거나, 트리거 토큰에 대한 지식을 요구하거나, 모델의 가중치를 수정 (파인튜닝/가지치기) 해야 합니다. 이러한 가정들은 클라우드 또는 엣지 환경에 배포된 불투명한 제 3 자 아티팩트에서는 거의 성립하지 않습니다. 따라서 재학습이나 외부 모델 없이 작동하는 튜닝이 필요 없고, 위협에 구애받지 않으며, 화이트박스인 모니터가 필요합니다.

2. 방법론: 계층별 수렴 지문 (LCF)

저자들은 트랜스포머 레이어 간의 은닉 상태 궤적을 '건강 신호'로 간주하는 런타임 모니터인 LCF를 제안합니다. 핵심 직관은 깨끗한 추론 중에는 은닉 상태가 매끄럽게 진화하지만, 오작동을 유발하는 입력은 이러한 레이어 간 차이에서 비정상적인 '점프'를 일으킨다는 것입니다.

주요 구성 요소:

1. 표현 속도 ($\delta_\ell$):
   LCF 는 원시 활성화 상태를 모니터링하는 대신 인접 레이어의 은닉 상태 간 차이를 계산합니다:
   $$\delta_\ell = h_{\ell+1} - h_\ell$$
   이는 표현의 성숙화 '속도'를 포착합니다.

2. 레이어별 이상 점수 산출 (대각 마할라노비스):
   각 레이어 $\ell$에 대해 LCF 는 $\delta_\ell$에 대해 마할라노비스 거리를 계산합니다. 중요한 점은 대각 공분산 행렬을 사용하여 깨끗한 처리는 안정적이지만 오작동은 큰 변화를 일으키는 저분산 차원을 증폭시킨다는 것입니다:
   $$s_\ell = \left\| \frac{\delta_\ell - \mu_\ell}{\sigma_\ell} \right\|^2$$
   여기서 $\mu_\ell$과 $\sigma_\ell$은 소수의 깨끗한 보정 데이터셋에서 추정됩니다.

3. 전 레이어 집계 (Ledoit–Wolf 축소):
   이상 위치는 아키텍처와 위협 유형에 따라 다르므로, LCF 는 모든 $L$개 레이어에 걸쳐 점수를 집계합니다. 이는 "소수 샘플, 고차원" 문제 ($n=200$개 샘플, $L \approx 30\text{--}50$개 레이어) 를 정규화된 정밀도 행렬 $P$를 추정하기 위해 Ledoit–Wolf 축소를 적용함으로써 해결합니다.
   $$D = \sqrt{(z - \bar{z})^\top P (z - \bar{z})}$$
   여기서 $z$는 z-점수화된 레이어 점수의 벡터입니다. 이는 네트워크 전반에 걸친 상관된 편차를 포착합니다.

4. 보정 및 임계값 설정:

   • 입력: 배포 분포에서 가져온 소수의 깨끗한 데이터셋 (200 개 예시).
   • 임계값 ($\tau$): 특정 거짓 양성률 (FPR, 예: 10%) 을 목표로 하기 위해 Leave-One-Out (LOO) 보정을 통해 결정됩니다.
   • 결정: $D > \tau$인 경우, 시스템은 어떤 토큰이 생성되기 전에 거부 (안전한 폴백 반환) 합니다. 그렇지 않으면 출력은 수정 없이 통과됩니다.

3. 주요 기여

1. 통합 위협 탐지: LCF 는 트리거 지식, 참조 모델, 또는 가중치 편집 없이 단일 위협-무관 점수를 사용하여 백도어, 저울브레이크, 프롬프트 인젝션을 탐지하는 최초의 런타임 모니터입니다.
2. 3 대역 깊이 계층화: 논문은 실험적으로 서로 다른 위협이 서로 다른 깊이에서 이상에 집중함을 확인했습니다:
   • 저울브레이크: 초기 레이어 (초기 토큰 처리 방해).
   • 프롬프트 인젝션: 중간 레이어 (의도된 컨텍스트와 경쟁).
   • 백도어: 후기 레이어 (아키텍처별, 모델이 출력을 확정하는 지점).
   • 의의: 이는 단일 전 레이어 집계가 필요한 이유를 설명합니다. 단일 레이어는 보편적인 커버리지를 제공하지 않기 때문입니다.
3. 효율성: LCF 는 0.1% 미만의 추론 오버헤드로 작동하며, 프리필 단계 (단계 0) 만 검사하고 추가 순전파 또는 보조 모델이 필요 없습니다.

4. 실험 결과

이 방법은 56 개의 백도어 조합, 3 가지 저울브레이크 기술, 프롬프트 인젝션 벤치마크 (BIPIA) 에 걸쳐 4 가지 아키텍처 (Llama-3-8B, Qwen2.5-7B, Gemma-2-9B, Qwen2.5-14B) 에서 평가되었습니다.

• 백도어 방어:
  • Qwen2.5-7B(0.9%) 와 Gemma-2(0.7%) 에서 평균 공격 성공률 (ASR) 을 1% 미만으로 감소시켰습니다.
  • 더 큰 Qwen2.5-14B 에서 1.3% 의 ASR 을 달성했습니다.
  • 참조 모델이 필요한 CleanGen 이나 가중치 편집이 필요한 CROW 와 같은 베이스라인을 능가했습니다.
• 저울브레이크 탐지:
  • 92–100% 의 DAN 스타일 저울브레이크를 탐지했습니다.
  • 62–100% 의 GCG 및 부드러운 역할극 공격을 탐지했습니다.
  • 감독된 은닉 상태 탐지기 (LLMScan) 와 거의 동등한 성능을 달성했으나 65–113 배 낮은 계산 비용 (단일 프리필 대 65 회 이상의 순전파) 으로 달성했습니다.
• 프롬프트 인젝션:
  • 모든 모델과 도메인에서 텍스트 페이로드 인젝션의 100% 를 플래그했습니다.
  • 코드 페이로드 인젝션을 높은 정확도로 탐지했습니다 (모델 크기에 따라 확장; Qwen2.5-14B 에서 100%).
• 강건성:
  • 적응형 공격 (공격자가 LCF 점수를 최소화하는 경우) 하에서도 LCF 는 중간 수준의 정규화 수준에서 강건하게 유지되었으며, 단일 레이어 변형은 쉽게 회피되었습니다.

5. 의의 및 영향

• 범용 안전 계층: LCF 는 비현실적인 깨끗한 참조 모델이나 알려진 트리거에 의존하지 않는 클라우드 서비스 및 온디바이스 LLM 을 위한 실용적인 '플러그 앤 플레이' 안전 메커니즘을 제공합니다.
• 운영 가능성: 무시할 수 있는 오버헤드와 재학습 없이 작동함으로써 기존 방어책이 너무 느리거나 리소스 집약적인 배포 병목 현상을 해결합니다.
• 이론적 통찰: "3 대역 깊이 계층화"의 발견은 다양한 유형의 적대적 입력이 트랜스포머의 내부 계산 그래프를 어떻게 교란시키는지에 대한 새로운 관점을 제공하며, 서로 다른 위협 계열이 서로 다른 계산 단계를 관여한다는 것을 시사합니다.
• 한계: 이 방법은 현재 은닉 상태에 대한 화이트박스 접근이 필요합니다. 또한 유한 샘플 분산으로 인해 목표 10% 보다 높은 거짓 양성률 (12–22%) 을 보이며, 평균의 '이동'은 탐지하지만 분산 (분산 변화) 은 탐지하지 않으므로 평균 궤적을 이동시키지 않는 환각 유형의 오류는 놓칠 수 있습니다.

결론적으로, LCF 는 최소한의 계산 비용으로 광범위한 오작동을 탐지하기 위해 계층별 수렴의 기하학적 특성을 활용함으로써 LLM 을 위한 견고하고 런타임-무관한 안전을 향한 중요한 진전을 나타냅니다.