기술 요약: CANARY – 언어 모델의 미세 조정 오염에 대한 제로 라벨 탐지

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)이 **미세 조정 오염(fine-tuning contamination)**에 대해 갖는 치명적인 취약성을 다룬다. 공격자는 미세 조정 데이터셋의 아주 적은 부분(최소 1%)만을 오염시켜 잠재적인 유해 행동을 심을 수 있다. 이러한 오염은 모델의 은닉 상태(hidden states)에 "기하학적 지문(geometric fingerprint)"을 생성하며, 이는 표준 출력 레벨 방어 기제(레드팀, 키워드 분류기, 또는 생성 스윕 등)가 감지할 수 없는 상태로 잠복해 있다가 오염율이 약 7.5%를 초과할 때 비로소 드러난다.

기존의 방어 기제들은 다음과 같은 두 가지 주요 이유로 실패한다:

• 출력 레벨 방법론: 유해한 행동이 생성된 텍스트로 나타나야 하는데, 낮은 오염율(1~5%)에서는 이러한 현상이 발생하지 않는다.
• 가중치 공간 방법론: 가중치 차이의 특이값 분해(SVD)나 태스크 벡터(task vectors)와 같은 기술들은 의미론적 사전 지식(semantic prior) 없이 고차원적이고 노이즈가 많은 파라미터 차이에 작용하므로, 라벨 데이터 없이는 낮은 오염율에서 신뢰하기 어렵다.

핵심 과제는 유해한 텍스트를 생성하지 않고도, 배포 전에 이 숨겨진 변화를 제로 라벨 데이터를 사용하여 탐지하는 것이다.

2. 방법론: CANARY

저자들은 은닉 상태의 기하학 구조로부터 직접 오염을 탐지하는 제로 라벨 체크포인트 감사 도구인 CANARY(Contamination Auditor via Neural Activation Representation Yield)를 소개한다.

핵심 메커즘

CANARY는 소량의 라벨이 없는 도메인 관련 프롬프트를 사용하여 후보 미세 조정 체크포인트($\theta_{tuned}$)를 원래의 베이스 체크포인트($\theta_{base}$)와 비교하여 작동한다. 과정은 프롬프트당 두 번의 순방향 패스(forward pass)를 포함한다:

1. 은닉 상태 차이(Hidden-State Difference): 두 모델에 대해 중간 레이어 $L$에서의 마지막 토큰 은닉 상태($h$)를 추출하고 차이 벡터를 계산한다: $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$.
2. 희소 오토인코더(SAE) 투영: 베이스 모델의 활성화 함수를 통해 학습된 SAE를 통해 $\Delta h$를 투영한다. SAE는 은닉 상태를 희소하고 해석 가능한 특징 방향으로 분해한다.
3. 노이즈 필터링: 이 방법은 밀도가 높고 활성화가 강한 스타일 및 포맷팅 아티팩트(예: 구두점, 레지스터)에 해당하는 SAE 차원인 "노이즈 특징(noise features)"을 식별한다. 이러한 특징들은 베이스에서 튜닝된 모델로의 변화 과정에서 일반적으로 억제된다. CANARY는 이 노이즈 특징들을 마스킹(0으로 처리)하여 **의미론적 드리프트(semantic drift)**를 격리한다.
4. 스코어링: CANARY 점수 $S(x)$는 필터링된 차이 벡터의 제곱 L2 노름이다: $S(x) = \|\hat{\Delta h}(x)\|^2$. 평균 점수가 양호한 미세 조정의 기준치를 크게 상회하면 해당 체크포인트를 플래그(flag) 처리한다.

주요 차이점

• 라벨 불필요: 라벨이 있는 대조 쌍(유해 vs 무해)을 요구하는 기존의 프로빙이나 스티어링 연구(예: Burns et al., 2023; Zou et al., 2023)와 달리, CANARY는 라벨이 없는 예시를 필요로 하지 않는다.
• SAE 필터링된 LDA: 본 논문은 로짓을 직접 조작하는 대신 SAE로 필터링된 은닉 상태 차이를 주입함으로써 로그 디프 증폭(Logit Diff Amplification, LDA)을 확장한다. 이는 차이를 증폭할 때 발생하는 불일치성(높은 퍼플렉시티) 문제를 방지하여, 검증을 위한 잠재적 유해 행동의 일관된 생성을 가능하게 한다.

3. 주요 기여

본 논문은 CANARY 프레임워크가 가능하게 하는 네 가지 뚜렷한 능력을 설명한다:

1. 탐지(Detect): 네 가지 모델 아키텍처에서 1% 오염 시 AUROC = 1.000을 달리는 제로 라벨, 2-패스 감사 도구이다. 이는 어떤 출력 레벨 방법보다 7.5배 더 빨리 오염을 탐지한다.
2. 검증(Verify): SAE 필터링된 은닉 레이어 LDA를 통해 표준 생성보다 5배 높은 비율로 잠재적 유해성을 드러내는 동시에 일관된 출력(Perplexity $\approx$ 58 vs. 표준 LDA의 1.8M)을 유지하여, 사후 행동 확인을 가능하게 한다.
3. 우선순위 지정(Prioritize): 유해성의 **97%**를 상위 프롬프트 4분위수에 집중시키는 점수 기반 레드팀 우선순위 지정 도구로, 무작위 샘플링 대비 **4.2배의 리프트(lift)**를 제공한다.
4. 치료(Remediate): 압축된 SAE 특징 서브스페이스를 타겟팅하는 추론 시점의 특징 억제 메커즘이다. 몇 가지 오염 특정 특징을 억제함으로써 퍼플렉시티 저하 없이 유해율을 70%에서 10%로 줄여, 탐지-수정 루프를 효과적으로 완결한다.

4. 실험 결과

저자들은 Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B에 걸친 네 가지 모델 쌍을 대상으로 SFT 및 RLHF 패러다임을 평가했다.

• 탐지 성능: CANARY는 1% 오염에서 AUROC = 1.000 (95% CI [0.997, 1.000]), Cohen's $d$ = 3.28을 달면했다. 테스트된 모든 오염율(1% ~ 20%)에서 완벽한 탐지 성능을 유지했다.
• 특이성(Specificity): 시스템은 유해성에 특화되어 있다. 동일한 비율의 양호한 페르소나 데이터나 무작위 노이즈로 미세 조정한 경우 AUROC $\approx$ 0.5를 기록하여, 신호가 일반적인 분포 변화가 아닌 의미론적 유해성에 의해 구동됨을 확인했다.
• 강건성(Robustness):
  • 스타일 매칭 및 그래디언트 노이즈: 양호한 스타일을 모방하거나 그래디언트 노이즈를 추가하는 공격은 탐지를 회피하지 못했다 (AUROC $\ge$ 0.95 유지).
  • LoRA 제약: 저계수 어댑터(Rank-4)는 AUROC를 ~0.83까지 낮추었다. 저자들은 이것이 은닉 상태 델타 크기를 구조적으로 제한하는 저계수 제약에 의해 예측된 결과라고 언급했다.
• 교차 아키텍처: 방법론은 세 가지 아키텍처 패밀리에 걸쳐 일반화되었으나, 클린 베이스라인의 분산(예: SmolLM2는 분산이 높아 AUROC가 약간 낮아짐)에 따라 성능이 다소 변동되었다.
• 치료: 추론 시점의 수술(surgery)은 모델의 유창성에 영향을 주지 않으면서 유해성을 70%에서 10%로 감소시켰다.

5. 의의 및 주장

본 논문은 CANARY를 은닉 상태만을 사용하여 공급망 오염을 탐지, 검증, 우선순위 지정 및 치료하는 최초의 제로 라벨 프레임워크로 규정한다.

• 근본적 한계: 저자들은 탐지 격차(1% 탐지 vs 7.5% 탐지)가 현재의 출력 기반 도구의 한계가 아니라 표현 기하학(representation geometry)의 근본적인 속성이라고 주장한다. 이들은 다양한 아키텍처와 공격 유형에 대해 성능을 정량적으로 예측하는 폐쇄형 탐지 한계 공식($r^* \propto \sigma/c$)을 제공한다.
• 거버넌스 파이프라인: 이 연구는 탐지에 사용된 것과 동일한 SAE 특징 기저(basis)가 검증을 위한 증폭, 레드팀을 위한 우선순위 지정, 그리고 치료를 위한 억제라는 후속 조치를 가능하게 하는 완전한 거버넌스 파이프라인을 구축한다고 주장한다.
• 배포 컨텍스트: 저자들은 증폭 구성 요소(SAE 필터링된 LDA)가 안전 연구자와 모델 제공자를 위한 진단 도구이지, 사용자 대상 제품이 아님을 강조한다. 이 방식이 현재의 적응형 공격에 대해 강건하며, 미세 조정 API가 보편화됨에 따라 공급망 안전 감사를 위한 실질적인 토대를 제공한다고 주장한다.

결론적으로, LoRA 제약 미세 조정이 부분적인 회피 벡터를 제시할 수 있으나, 이는 지속적인 유해성을 심는 능력을 제한하는 자가 파괴적인 전략이며, 탐지 한계 공식은 향러의 저계수 회피 문제를 해결하기 위한 분석적 로드맵을 제공한다.