CLIP-Inspector: OOD Trigger Inversion을 통한 프롬프트 튜닝된 CLIP 모델의 백도어 탐지 기술 요약

이 논문은 머신러닝 서비스 (MLaaS) 환경에서 프롬프트 튜닝 (Prompt Tuning) 방식으로 적응된 CLIP (Contrastive Language-Image Pre-training) 모델에 대한 새로운 수준의 백도어 공격 위협과 이를 탐지 및 제거하는 방법론인 **CLIP-Inspector (CI)**를 제안합니다.

1. 문제 정의 (Problem)

• 배경: 조직들은 제한된 데이터와 컴퓨팅 자원 때문에 CLIP 같은 비전 - 언어 모델 (VLM) 을 처음부터 학습하는 대신, MLaaS 제공업체에 프롬프트 튜닝 (예: CoCoOp) 을 의뢰합니다.
• 위협 모델: 악의적인 제공업체는 정직한 프로토콜을 따르는 척하며 고품질 모델을 제공하지만, 내부적으로 백도어를 심어둘 수 있습니다.
  • 공격 방식: BadCLIP 등 기존 공격은 이미지 인코더를 변경하지 않고, **메타 네트워크 (Meta-net)**를 조작하여 특정 트리거 (Trigger) 가 포함된 입력을 공격자가 원하는 클래스로 분류되도록 만듭니다.
  • 한계: 기존 백도어 탐지 방법들은 주로 인코더의 오염이나 희소성 (Sparse) 있는 패치형 트리거를 가정합니다. 그러나 프롬프트 튜닝 백도어는 인코더는 깨끗하고 메타 네트워크만 조작되며, 트리거가 인간에게 보이지 않는 (Imperceptible) 전체 이미지 노이즈 형태일 수 있어 기존 방법으로는 탐지가 불가능합니다.
• 핵심 질문: 배포 전 "제공된 모델이 백도어가 심어져 있는가?"를 검증할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology: CLIP-Inspector)

CLIP-Inspector 는 라벨이 없는 OOD (Out-of-Distribution) 이미지 풀과 백박스 (White-box) 접근 권한만 있으면 작동하는 모델 레벨 탐지 도구입니다.

핵심 원리

1. OOD 트리거 역전환 (OOD Trigger Inversion):
   • 각 후보 클래스 $c$에 대해, 모델이 OOD 이미지들을 해당 클래스로 잘못 분류하도록 만드는 **가상의 트리거 ($\delta_c$)**를 재구성합니다.
   • 이는 $\ell_\infty$ 노름 제약 하에 (시각적으로 보이지 않도록), 목표 클래스의 로짓 (Logit) 을 최대화하고 가장 강력한 경쟁 클래스의 로짓을 억제하는 **마진 기반 손실 함수 (Margin-based Objective)**를 통해 경사 하강법으로 최적화합니다.
2. 이상 점수 (Anomaly Score) 계산:
   • 재구성된 트리거가 실제 공격 트리거와 유사한지 판단하기 위해 두 가지 지표를 측정합니다.
     • 공격 성공률 (ASR): 재구성된 트리거가 OOD 이미지를 목표 클래스로 분류시키는 비율.
     • 최적화 손실 (Optimization Loss): 트리거를 찾는 데 걸리는 손실 값 (백도어가 있는 클래스는 손실이 매우 낮게 수렴함).
   • 백도어 클래스는 높은 ASR과 낮은 손실을 동시에 보입니다.
   • 이 두 지표를 정규화하여 클래스별 이상 점수를 산출하고, 점수가 임계값을 넘는 모델은 백도어가 있다고 판단합니다.
3. 후처리 정화 (Post-hoc Repair):
   • 탐지된 백도어 클래스에 대한 재구성된 트리거를 사용하여, 라벨이 있는 정제된 데이터 (Clean Data) 와 함께 모델을 미세 조정 (Fine-tuning) 하면 백도어 효과를 제거하면서도 정상 정확도를 유지할 수 있음을 증명합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: 인코더는 untouched(변경 없음) 이고 메타 네트워크만 조작되는 프롬프트 튜닝 환경에서의 백도어 공격을 체계적으로 분석했습니다.
2. CLIP-Inspector 개발: 라벨 없는 OOD 데이터만 사용하여 클래스별 트리거를 재구성하고, 이를 통해 모델이 백도어인지 여부와 표적 클래스를 동시에 식별하는 검출기를 제안했습니다.
3. 광범위한 실험 및 검증: 10 개의 데이터셋과 4 가지 공격 유형 (BadCLIP, Blended, SIBA, WaNet) 에서 기존 방법 (Neural Cleanse, Pixel Backdoor) 보다 월등히 높은 성능을 보였습니다.
4. 정화 가능성 입증: 재구성된 트리거를 활용하여 모델의 백도어 공격 성공률 (ASR) 을 10% 미만으로 낮추면서도 정상 정확도 (ACC) 를 유지하는 정화 기법을 제시했습니다.

4. 실험 결과 (Results)

• 탐지 성능:
  • 정확도: 50 개의 모델 중 47 개 (94%) 를 정확히 탐지했습니다.
  • AUROC: CLIP-Inspector 는 0.973의 AUROC 를 기록한 반면, 기존 방법인 Neural Cleanse (0.495) 와 Pixel Backdoor (0.687) 은 무작위 추측 수준이나 그보다 낮은 성능을 보였습니다.
  • 오류: 거짓 양성 (False Positive) 이 거의 없으며, 표적 클래스 식별 F1 점수가 평균 0.92 로 매우 높습니다.
• 효율성:
  • 클래스당 **1 에포크 (약 32 단계)**의 최적화만으로 탐지가 가능하며, 1,000 개의 OOD 이미지만으로 충분합니다.
  • 기존 방법들이 6~8 시간이 소요되는 반면, CI 는 A100 GPU 에서 50 개 클래스 스캔을 1 시간 미만에 완료합니다.
• 정화 효과:
  • 재구성된 트리거를 이용한 미세 조정 후, 모든 공격 유형에서 ASR 이 **<10%**로 감소했습니다 (예: BadCLIP 98.48% → 7.61%).
• 일반화: 메타 네트워크가 없는 인코더 레벨 백도어도 동일한 메커니즘으로 탐지 가능함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 보안 솔루션: MLaaS 환경에서 모델 배포 전, 제 3 자 보안 감사를 통해 백도어 여부를 신속하게 검증하고 필요시 정화할 수 있는 실용적인 워크플로우를 제시합니다.
• 기술적 통찰: 프롬프트 튜닝 백도어가 이미지 임베딩의 미세한 변화가 메타 네트워크를 통해 텍스트 임베딩의 큰 변화로 증폭되는 메커니즘을 규명하고, 이를 역이용하여 트리거를 재구성하는 새로운 접근법을 제시했습니다.
• 미래 연구 방향: 미세한 클래스 경계를 가진 데이터셋 (Fine-grained datasets) 에서의 성능 향상과 거짓 양성 제로화 (Zero False Positives) 를 향후 과제로 제시했습니다.

요약하자면, CLIP-Inspector는 프롬프트 튜닝된 CLIP 모델의 고유한 취약점을 해결하기 위해 고안된 고효율, 고정확도 백도어 탐지 및 제거 도구로, AI 공급망 보안 (AI Supply Chain Security) 에 중요한 기여를 합니다.