Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

1. 문제 정의 (Problem)

현대 AI 시스템, 특히 오픈 가중치 (open-weight) 대규모 언어 모델 (LLM) 의 확산은 투명성을 높였지만, 훈련 데이터에 대한 접근 부재로 인한 새로운 보안 위협을 야기하고 있습니다.

• 데이터 접근의 한계: 기존 해석 가능성 (Interpretability) 방법론 (활성화 기반) 은 훈련 데이터와 분포가 유사한 데이터셋을 필요로 하거나 가정합니다.
• OOD(Out-of-Distribution) 위협: 백도어 (Backdoor) 나 악성 정보 주입과 같은 새로운 위협은 훈련 데이터에 포함되지 않은 특정 트리거 (Trigger) 에 의해 발동되므로, 기존 데이터 기반 감지 방법으로는 탐지하기 어렵습니다.
• 핵심 질문: "훈련 분포에 접근하지 않고도 오픈 가중치 모델의 내부 동작과 위험을 이해할 수 있는가?"

2. 방법론 (Methodology: WeightWatch)

저자들은 활성화 (Activations) 가 아닌 모델 가중치 (Weights) 자체를 분석하는 새로운 접근법인 WeightWatch를 제안합니다. 이 방법은 훈련 데이터 없이도 미세 조정 (Fine-tuning) 과정에서 도입된 행동을 해석하고 모니터링할 수 있습니다.

핵심 아이디어

• 가중치 차이의 구조화: 미세 조정된 모델 ($M_{post}$) 과 베이스 모델 ($M_{base}$) 의 가중치 차이 ($\Delta W = W_{post} - W_{base}$) 는 무작위 노이즈가 아니라, 미세 조정 과정에서 학습된 새로운 행동 (Capabilities) 을 인코딩하는 구조화된 정보를 담고 있습니다.
• 특이값 분해 (SVD) 활용: $\Delta W$의 특이값 분해 (SVD) 를 수행하여 가장 큰 특이값에 해당하는 왼쪽 특이 벡터 (Left Singular Vectors, $u_i$) 를 추출합니다. 이 벡터들은 미세 조정으로 인해 새로 추가된 행동의 주요 방향을 나타냅니다. 이를 "행동 벡터 (Behavioral Vectors)"라고 명명합니다.

작동 원리

1. 행동 벡터 추출: 각 레이어의 어텐션 출력 투영 행렬 ($O_{proj}$) 과 MLP 다운 투영 행렬 ($W_{down}$) 에 대해 $\Delta W$의 SVD 를 수행하고, 상위 $k$개의 특이 벡터를 추출합니다.
2. 모니터링 (Monitoring):
   • 추론 시, 입력 토큰의 잠재 표현 (Latent Activation) 과 추출된 행동 벡터 간의 코사인 유사도 (Cosine Similarity) 를 계산합니다.
   • 정상적인 데이터 (Calibration set) 를 통해 각 방향의 "정상 범위"를 설정합니다.
   • 새로운 입력에서 유사도가 이 범위를 벗어나면, 해당 입력이 미세 조정으로 인한 이상 행동 (예: 백도어 트리거, 망각된 지식) 을 활성화했다고 판단하여 플래그를 올립니다.
3. 제어 (Steering):
   • 이상 행동이 감지된 경우, 해당 행동 벡터 방향으로의 활성화 성분을 제거 (Orthogonalization) 하여 모델이 정상적인 동작으로 되돌아가도록 유도할 수 있습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 백도어 탐지 및 완화 (Backdoor Detection)

• 성능: 다양한 백도어 공격 시나리오 (LoRA, Full-Parameter Fine-tuning, Poisoned PPO 등) 에서 93%~100% 의 탐지율을 달성했습니다.
• 정확도: 정상 데이터에 대한 거짓 양성률 (FPR) 은 1% 미만으로 유지되었습니다.
• 비교: 기존 최첨단 블랙박스 백도어 탐지 방법 (BEAT) 이나 활성화 기반 방법 (PCA, SAE) 은 소량의 백도어 데이터가 필요하거나 탐지율이 낮았으나, WeightWatch 는 데이터 없이도 탁월한 성능을 보였습니다.

B. 망각 (Unlearning) 검증 및 복구

• 검증: 모델이 특정 주제 (해리 포터, 생물학적 위험 지식 등) 를 "잊으라고" 미세 조정된 경우, 해당 주제에 대한 추론을 36.21%~95.42% 의 정확도로 탐지했습니다.
• 복구 (Recovery): 망각된 지식을 다시 불러오는 "Steering" 기법을 적용했습니다.
  • Zephyr-RMU: 망각된 생물/사이버 보안 지식을 76.92% (WMDP-Bio) 까지 복구했습니다.
  • Circuit Breaker: 안전 장치를 우회하여 유해한 질문에 응답하도록 유도하는 데 성공했습니다 (HarmBench 공격 성공률 9.6% → 82.08%). 이는 망각 기법이 단순히 정보를 숨기는 것일 뿐 완전히 삭제되지 않았음을 시사합니다.

C. 오픈 소스 모델의 실증적 감사 (In-the-Wild Auditing)

• 대상: OLMo 7B, Qwen 2.5 7B, Llama 3.1 8B 등 인기 있는 오픈 가중치 모델에 적용했습니다.
• 발견: 훈련 데이터 없이 모델의 미세 조정 우선순위를 자동으로 발견했습니다.
  • Qwen: 이모지 사용, 중국어 이념적 콘텐츠, Midjourney 프롬프트 생성에 대한 높은 경향성 발견.
  • Llama: 수학적 문제 해결 및 단계별 추론 (Step-by-step reasoning) 능력 강화.
  • OLMo: 상대적으로 이러한 특정 행동 패턴이 적음.
• 검증: 발견된 행동 패턴 (예: Qwen 의 이모지 사용 증가) 을 실제 추론 테스트를 통해 실험적으로 확인했습니다.

4. 의의 및 중요성 (Significance)

1. 데이터 무관성 (Data-Free): 훈련 데이터나 캘리브레이션 데이터에 대한 접근 없이도 모델의 내부 상태를 해석할 수 있어, 실제 환경 (In-the-wild) 에서의 보안 감사에 혁신적인 가능성을 제시합니다.
2. 새로운 위협 대응: OOD(Out-of-Distribution) 인 백도어나 새로운 형태의 악성 행동을 탐지할 수 있는 강력한 도구입니다.
3. 모델 투명성 및 안전성: 오픈 소스 모델의 미세 조정 과정에서 어떤 지식이 추가되거나 삭제되었는지, 그리고 어떤 편향이 존재하는지를 파악하여 AI 안전 생태계를 구축하는 데 기여합니다.
4. 이중 사용 (Dual-use) 고려: 이 기술은 방어 (감시) 에 사용될 수 있지만, 안전 장치를 우회하는 데 악용될 수도 있음을 인정하며, 이에 대한 지속적인 연구와 윤리적 사용의 중요성을 강조합니다.

결론

WeightWatch 는 모델의 가중치 차이를 분석함으로써, 기존 활성화 기반 방법론의 데이터 의존성 한계를 극복했습니다. 이 방법은 백도어 탐지, 망각 검증, 그리고 오픈 소스 모델의 행동 감사 등 다양한 시나리오에서 높은 정확도와 낮은 오검출률을 보여주며, 데이터 없이도 LLM 의 안전성과 투명성을 보장할 수 있는 새로운 패러다임을 제시합니다.