기술 요약: 배포된 안전 분류기를 위한 온라인 시프트 탐지 및 컨포멀 적응

문제 정의

안전 분류기(Safety classifiers)는 대규모 언어 모델(LLM)과 사용자 사이의 핵심적인 방어 계층 역할을 하지만, 미래의 입력 분포가 캘리브레이션 분포와 유사할 것이라는 정체성(stationarity) 가정을 전제로 작동한다. 이 가정은 적대적 적응(adversarial adaptation), 유기적 언어 표류(organic linguistic drift), 다국어 코드 스위칭(multilingual code-switching), 그리고 조합적 공격(compositional attacks)으로 인해 무너진다. 주요 실패 모드는 "침묵형(silent)"이다. 즉, 실시간으로 정답 레이블(ground-truth labels)을 사용할 수 없는 상황에서, 분류기의 정확도가 크게 저하(예: 95%에서 80%로)되더라도 에러 신호를 생성하지 못할 수 있다. 오프라인 평가를 통해 문제를 감지했을 때는 이미 시스템이 며칠 또는 몇 주 동안 신뢰할 수 없는 결정을 내린 후일 수 있다.

본 논문은 두 가지 핵심 과제를 다룬다:

1. 탐지(Detection): 다양한 시프트 유형과 분류기 아키텍처 전반에 걸쳐 제어된 허위 경보율(false alarm rates)을 유지하며 온라인상에서 분포 시프트를 탐지하는 방법.
2. 적응(Adaptation): 새로운 레이블 데이터 없이도, 가중 컨포멀 예측(weighted conformal prediction)을 사용하여 시프트 탐지 후 커버리지 보장(coverage guarantees)을 회복하는 방법.

방법론

시스템 아키텍처

제안된 시스템은 분류기 출력인 입력 텍스트($x_t$), 불안전 클래스 확률($s_t$), 그리고 펜얼티미트 레이어(penultimate-layer) 표현($r_t$)을 관찰하는 온라인 모니터이다. 이는 두 가지 주요 구성 요소로 이루어진다:

1. 시프트 탐지기(Shift Detector): 입력 분포가 변할 때 알람을 트리거하는 슬라이딩 윈도우 탐지기.
2. 컨포멀 절제 계층(Conformal Abstention Layer): 알람 발생 시 목표 에러율($\epsilon = 0.1$)을 보존하기 위해 결정 임계값을 조정하는 다운스트림 계층.

탐지 메커니즘

시스템은 두 가지 탐지 채널을 평가한다:

• 콜모고로프-스미르노프(KS) 탐지기: 분류기 점수의 주변 분포(marginal distribution)를 추적한다. 최근 점수들의 슬라이딩 윈도우를 유지하며, 캘리브레이션 중에 설정된 고정된 참조 누적 분포 함수(CDF)에 대해 일표본 KS 통계량을 계산한다.
• 최대 평균 편차(MMD) 탐지기: 가우시안 커널과 슬라이딩 윈도우 임베딩 벡터를 사용하여 분류기 임베딩의 기하학적 구조를 추적한다.

캘리브레이션 및 알람 로직:
모니터링 호라이즌 동안 허위 경보율(FAR)을 제어하기 위해, 시스템은 널 시뮬레이션(null simulation)을 통한 경험적 캘리브레이션을 사용한다. 슬라이딩 윈도우에 대해 지나치게 보수적일 수 있는 이론적 경계(Horoffding 등)에만 의존하는 대신, 시스템은 50개의 네거티브 컨트롤 스트림(인 분포 데이터만 포함)을 실행하여 관측된 최대 통계량의 97 백분위수를 알람 임계값으로 결정한다.

컨포멀 적응

시프트가 감지되면, 시스템은 가중 컨포멀 예측(weighted conformal prediction) 계층을 활성화한다.

• 밀도 비율 추정(Density Ratio Estimation): 분류기 임베딩에 대한 로지스틱 회귀를 사용하여 소스(calibration)와 타겟(shifted) 분포 사이의 밀도 비율 $w_i = p_{target}(x_i) / p_{source}(x_i)$를 추정한다.
• 가중 분위수(Weighted Quantile): 컨포멀 임계값을 비정상성 점수(nonconformity scores)의 가중 분위수로 재계산한다.
• 안정성: 안정성을 보장하기 위해 가중치를 $[1/C, C]$ (여기서 $C=10$)로 클리핑한다.

실험 설계

저자들은 사전 등록된 요인 설계(factorial evaluation)를 수행하였다:

• 분류기 (4개): DeBERTa-v3-large, Text-Moderation (DeBERTa-v3-base), Llama Guard 3, ShieldGemma.
• 시프트 조건 (5개): Paraphrase, Code-switch, Compositional, Temporal (실제 temporal jailbreaks), Adversarial suffix (GCG-optimized).
• 파라미터: 20개의 무작위 시드, 2개의 윈도우 크기 (100, 200), 총 800개의 실험 셀.

주요 결과

1. 탐지 성능 (RQ1)

• 전반적 효능: 시스템은 86.6%의 유효 탐지율(693/800 셀)을 달성했으며, 평균 탐지 지연 시간(mean detection latency)은 39.5 스텝(윈도우 크기 100 기준)이었다. 경험적 허위 경보율은 분류기에 따라 2%에서 10% 사이였다.
• 교차 상호작용(Crossover Interaction): 분류기 아키텍처와 시프트 유형 사이에 유의미한 상호작용 효과가 관찰되었다:
  • 인코더 (DeBERTa, Text-Moderation): 자연스러운 시프트(paraphrase, compositional)를 빠르게 탐지(24–35 스텝)했으나, 적대적 접미사(adversarial suffixes)에는 취약했다(최대 36.6 스텝).
  • 디코더 (Llama Guard, ShieldGemma): 적대적 접미사를 빠르게 탐지(26–28 스텝)했으나, paraphrase에는 느렸다(64–97 스텝).
• 그라운드 트루스 레짐(Ground-Truth Regimes): 탐지는 세 가지 레짐에서 유지되었다: 합성 온셋(synthetic onset), 실제 temporal jailbreaks (20개 셀에서 85% 탐지), 그리고 적대적 성공 시나리오.
  • 적대적 성공 사례: GCG 접미사가 DeBERTa의 분류를 성공적으로 뒤집은 특정 레짐에서, 해당 시프트는 DeBERTa에 의해 탐지 불가능했다(점수가 안전 영역으로 이동하여 참조 분포와 구별되지 않음). 그러나 동일한 입력이 더 위험하게 보이는 비대상 분류기(Llama Guard)에서는 탐지되었다. 이는 교차 분류기 이상 탐지가 적대적 회피를 위한 "카나리(canary)" 역할을 할 수 있음을 시사한다.

2. 컨포멀 적응 (RQ2)

• 밀도 비율 붕괴(Density-Ratio Collapse): 치명적인 실패 모드가 확인되었다. 4개의 분류기 중 3개(Text-Moderation, Llama Guard, ShieldGemma)에서 고차원 임베딩 공간 내의 로지스틱 회귀가 **완벽한 선형 분리성(perfect linear separability)**을 달성했다. 이로 인해 모든 중요도 가중치가 클리핑 하한값($1/C = 0.1$)으로 강제되었고, 결과적으로 유효 샘플 크기(ESS)가 약 300으로 떨어져(실질적인 재가중치 효과 없음) 커버리지 회복이 미미했다($\le +0.10$).
• DeBERTa 예외: DeBERTa만이 의미 있는 회복을 달성한 유일한 분류기였으며, 그 효과는 시프트 유형에 따라 달랐다:
  • Paraphrase: ESS=46, 회복량=+39 pp.
  • Temporal: ESS=88, 회복량=+16 pp.
  • Adversarial Suffix: ESS=206, 회복량=+2 pp (붕괴에 근접).
• 차원 축소 구제책: 임베딩을 밀도 비율 추정 전에 32차원으로 줄이기 위해 PCA를 적용하자 완벽한 분리성이 깨졌다. 이를 통해 생성형 모델의 커버리지가 복구되었다: Llama Guard는 temporal 시프트에서 +33 pp를, ShieldGemma는 +21 pp를 회복했다.

3. 분산 분해 (RQ3)

탐지 지연에 대한 이원 분산 분석(two-way ANOVA) 결과, 단일 요인이 지배적이지 않았다:

• 분류기 (Classifier): $\eta^2 = 0.243$
• 시프트 유형 (Shift Type): $\eta^2 = 0.237$
• 상호작용 (Classifier $\times$ Shift): $\eta^2 = 0.185$
• 잔차 (Residual): $\eta^2 = 0.335$
  모든 요인은 통계적으로 유의미했다 ($p < 0.001$). 이는 탐지 난이도가 분류기와 시프트 유형의 특정 결합에 의해 결정됨을 나타내며, 분류기별 모니터링 프로필이 필요함을 시사한다.

의의 및 주장

본 논문은 다양한 시프트 조건 하에서의 LLM 안전 분류기에 대한 타겟팅된 경험적 연구를 제공하며, 일반적인 모니터링 프레임워크가 놓치는 실패 모드를 밝혀냈다고 주장한다. 주요 기여는 다음과 같다:

1. 밀도 비율 붕락의 진단: 본 논문은 고차원 임베딩에서 로지스틱 회귀가 완벽한 분리성을 달성하여 데이터 기반 재가중화를 무력화하는 생성형 안전 분류기 임베딩의 특정 실패 모드를 식별했다. 차원 축소(PCA)가 이러한 아티팩트에 대한 필수적인 진단이자 구제책임을 입증했다.
2. 아키텍처 $\times$ 시프트 상호작용: 탐지 지연은 분류기나 시프트 자체의 속성이 아니라, 둘 사이의 상호작용에 의해 결정된다는 점을 밝혀냈다. 인코더와 디코더는 자연스러운 시프트와 적대적 시프트에 대해 서로 반대되는 민감도를 보이며, 이는 보편적인 모니터링 설정이라는 개념에 도전한다.
3. 교차 분류기 이상 탐지: 대상 분류기에 대한 성공적인 적대적 공격은 해당 분류기에는 충분한 분포 신호를 생성하지 못할 수 있지만, 아키텍처가 다른 분류기에는 이상 징후로 나타날 수 있음을 보여주었다. 이는 교차 분류기 점수 변화를 통한 탐지를 가능하게 한다.
4. 운영상의 트레이드오프: KS(슬라이딩 윈도우)와 신뢰 구간(Confidence Sequence, growing window) 탐지기의 비교는 배포 시의 트레이드오프를 강조한다: KS는 강한 신호에 대해 빠른 탐지를 제공하는 반면, CS는 약하고 혼합이 적은 시프트(예: 30% 오염 시 KS는 43% 탐지 vs CS는 97% 탐지)에 대해 우수한 탐지 성능을 제공한다.

저자들은 분류기 선택이나 시프트 유형 단독으로는 탐지 난이도를 결정할 수 없다고 결론짓는다. 효과적인 모니터링을 위해서는 특정 시프트 상호작용을 고려한 분류기별 프로필이 필요하며, 컨포멀 적응 전략은 고차원 임베딩의 차원 유도 분리성 아티팩트를 반드시 고려해야 한다.