Segment-Level Coherence for Robust Harmful Intent Probing in LLMs

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 안전성 보장, 특히 화학, 생물, 방사능, 핵 (CBRN) 과 같은 고위험 분야에서 적응형 탈옥 (Adaptive Jailbreaking) 공격에 대응하는 것은 중요한 과제입니다. 기존 연구에서는 실시간 모니터링을 위해 스트리밍 프로브 (Streaming Probes) 를 사용하여 생성 중인 토큰의 내부 상태를 분석합니다.

그러나 기존 방법론에는 다음과 같은 근본적인 한계가 존재합니다:

• 단일 토큰 의존성: 기존 스트리밍 프로브는 종종 소수의 높은 점수를 받은 토큰 (예: 민감한 CBRN 용어) 에 과도하게 의존합니다.
• 거짓 양성 (False Positives) 문제: 전문적인 맥락에서 benign(유해하지 않은) 논의가 발생할 때, 해당 분야 전문 용어가 포함되면 기존 프로브는 이를 유해한 의도로 오인하여 높은 거짓 양성률을 보입니다.
• 집계 방식의 결함: Softmax 나 Hardmax 와 같은 기존 집계 방식은 가장 높은 점수의 활성화 신호를 강조하여, 전체 문맥이 안전하더라도 특정 키워드 하나만으로 잘못된 결정을 내리게 만듭니다.

2. 제안된 방법론 (Methodology)

저자들은 토큰 수준의 신호가 아닌 의도 (Intent) 수준의 증거를 집계하기 위해 두 가지 핵심 기법을 도입한 새로운 스트리밍 프로빙 목적 함수를 제안합니다. 이를 SC-TopK라고 명명했습니다.

A. Top-K 지지 윈도우 풀링 (Top-K Supportive-Window Pooling)

• 개념: 단일 윈도우의 높은 점수에 의존하는 대신, 예측을 지지하는 여러 개의 윈도우 (K 개) 가 공동으로 증거를 제공해야만 유해하다고 판단하도록 합니다.
• 작동 원리: 슬라이딩 윈도우를 통해 계산된 로짓 (logit) 중 상위 K 개를 선택하여 평균을 냅니다.
• 효과: 이는 고립된 키워드 스파이크 (spike) 에 대한 민감도를 낮추고, 문맥적으로 지지되는 분산된 증거에 학습을 편향시킵니다.

B. 세그먼트 분산 정규화 (Segment Variance Regularization, SegVar)

• 개념: 선택된 증거 윈도우들 간의 로짓 크기 분산을 패널티로 부과하여, 불연속적이고 급격한 활성화 패턴을 억제합니다.
• 적용: 이 정규화는 유해하지 않은 (Benign) 교환에만 적용됩니다. 유해한 교환은 여러 개의 분리된 영역에 증거가 분산될 수 있으므로 정규화를 적용하면 오히려 성능이 저하될 수 있기 때문입니다.
• 효과: 인접한 토큰들 간의 일관성을 장려하여, 고립된 키워드 의존성을 줄이고 더 안정적이고 매끄러운 증거 집계를 유도합니다.

C. 내부 표현 (Internal Representations) 탐지

• 기존 연구에서 주로 사용되던 잔여 스트림 (Residual Stream) 대신, Attention 또는 MLP 활성화 출력을 프로브의 입력으로 사용하는 것이 더 강력하고 안정적인 신호를 제공한다는 것을 발견했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

주요 기여

1. 새로운 집계 전략: 토큰 수준의 최대값 (Max) 기반 집계에서 Top-K 지지 윈도우와 세그먼트 일관성 정규화를 결합하여, 키워드 기반의 실패 모드를 해결했습니다.
2. 실시간 탐지 최적화: 고정된 1% 거짓 양성률 (FPR) 에서 진짜 양성률 (TPR) 을 35.55% 향상시켰습니다.
3. 강건성 입증:
   • 기저 모델 (Base Model) 에서 학습된 프로브는 모델이 문자 수준의 암호화 (Character-level ciphers) 를 통해 유해 의도를 은폐하더라도, 재학습 없이도 "플러그 - 앤 - 플레이" 방식으로 유해 의도를 탐지할 수 있음을 보였습니다 (AUROC > 98.85%).
   • Attention 및 MLP 활성화가 잔여 스트림보다 우수한 성능을 보임을 규명했습니다.

실험 결과

• 성능 향상: 기존 강력한 스트리밍 베이스라인 (SWiM 등) 대비, Bio-도메인 및 Chemical-도메인에서 AUROC 와 Log-space AUROC 에서 상당한 개선을 보였습니다. 특히 기존 베이스라인이 이미 높은 성능 (AUROC 97.40%) 을 보일 때도 잔여 오차 마진 (error margin) 을 31.2% 줄였습니다.
• 경량화: 전체 파라미터를 파인튜닝하는 분류기 (Classifier) 대비, 단일 선형 레이어만 사용하는 프로브는 파라미터 수를 344 배 줄이면서도 동등하거나 더 나은 성능을 달성했습니다.
• 암호화 공격 방어: ASCII 변환, 피보나치 순열, 폴리비우스 격자 등 5 가지 다양한 암호화 기법을 적용한 공격에서도 프로브가 효과적으로 작동함을 확인했습니다.

4. 의의 (Significance)

이 연구는 LLM 안전성 모니터링 분야에서 단일 키워드 탐지의 한계를 극복하고 맥락적 일관성 (Contextual Coherence) 을 강조하는 새로운 패러다임을 제시합니다.

• 실용적 가치: 고위험 CBRN 분야와 같은 전문 영역에서 전문가들의 합법적인 논의와 유해한 의도를 명확히 구분할 수 있어, 실제 배포 환경에서의 거짓 양성률을 획기적으로 낮출 수 있습니다.
• 적응형 위협 대응: 모델이 유해한 내용을 은폐하기 위해 암호화나 변형을 시도하더라도, 내부 표현의 구조적 신호를 포착하는 프로브의 능력을 입증하여, 재학습 없이도 지속적인 안전 감시가 가능함을 보여줍니다.
• 효율성: 별도의 대형 분류기 모델을 실행할 필요 없이, 기존 모델의 내부 활성화만 모니터링하여 실시간으로 안전을 보장할 수 있는 경량 솔루션을 제공합니다.

결론적으로, 이 논문은 세그먼트 수준의 증거 집계를 통해 LLM 의 유해 의도 탐지 정확도와 견고성을 동시에 향상시키는 효과적인 인덕티브 바이어스 (Inductive Bias) 를 제시했습니다.