Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

1. 문제 정의 (Problem Statement)

• 배경: CLIP 과 같은 비전 - 언어 모델은 웹에서 수집된 대규모 데이터로 학습되어 검색, 제로샷 분류 등 다양한 작업에 활용됩니다. 그러나 이러한 모델은 학습 데이터에 악성 트리거 (Trigger) 를 주입하는 백도어 공격에 매우 취약합니다.
• 현황 및 한계:
  • 기존 백도어 제거 기법 (CleanCLIP, RoCLIP 등) 은 주로 강력한 데이터 증강 (Strong Data Augmentation) (예: AutoAugment, 색상 변경, 컷아웃 등) 을 사용하여 모델이 학습한 위조된 상관관계를 깨뜨리는 방식을 취합니다.
  • 핵심 문제: 이러한 증강 기반 기법들은 무작위 노이즈 (Random Noise) 기반의 트리거에는 효과적이지만, 구조화된 트리거 (Structured Triggers) (예: 줄무늬, 삼각형, 텍스트 오버레이 등) 에 대해서는 효과가 떨어집니다. 구조화된 패턴은 증강 연산과 무관하게 이미지 내에 유지되기 때문입니다.
  • 또한, 기존 방법들은 공격자가 사용한 트리거의 종류를 어느 정도 알고 있어야 하거나, 모델 처음부터 다시 학습 (Training from scratch) 해야 하는 비현실적인 가정을 전제로 하는 경우가 많습니다.

2. 제안 방법: PAR (Perturb and Recover)

저자들은 강력한 증강에 의존하지 않고, **미세 조정 (Fine-tuning)**을 통해 백도어를 제거하는 간단하지만 효과적인 메커니즘인 PAR를 제안합니다.

• 핵심 아이디어:

  1. Perturb (교란): 독이 든 모델 (Poisoned Model) 의 임베딩을 원래 상태와 충분히 멀어지도록 강제로 교란시킵니다. 이는 모델이 학습한 "트리거와 목표 클래스 간의 위조된 상관관계"를 잊게 (Unlearn) 만듭니다.
  2. Recover (복구): 교란 과정에서 모델의 일반 성능 (Clean Performance) 이 떨어지지 않도록, 깨끗한 데이터 (Clean Data) 를 사용하여 표준 CLIP 손실 함수 (Contrastive Loss) 를 최소화합니다.

• 손실 함수 (Loss Function):
  PAR 의 목적 함수는 다음과 같이 구성됩니다:
  $$\mathcal{L}_{\text{PAR}} = \mathcal{L}_{\text{CLIP}} - \mathcal{L}_{\text{PERT}}$$

  • $\mathcal{L}_{\text{CLIP}}$: 깨끗한 데이터에 대한 표준 CLIP 손실 (성능 유지).
  • $\mathcal{L}_{\text{PERT}}$: 현재 모델의 임베딩과 원래 독이 든 모델의 임베딩 간의 $\ell_2$ 거리 (또는 코사인 유사도) 를 기반으로 한 항. 이 항이 임계값 ($\tau$) 을 넘을 때까지 모델이 독이 든 상태와 멀어지도록 유도합니다.

• 특징:

  • 트리거 무관성: 특정 트리거의 형태 (노이즈, 줄무늬 등) 를 알 필요가 없으며, 모델의 임베딩 공간 자체를 교란시켜 모든 유형의 백도어를 제거할 수 있습니다.
  • 가벼운 증강: 복잡한 증강 대신 가우시안 노이즈와 작은 패치 CutOut 만을 사용하여 이미지 객체의 본질을 해치지 않습니다.
  • 합성 데이터 활용: 실제 깨끗한 데이터 확보가 어렵거나 비용이 들 경우, 텍스트 - 이미지 생성 모델 (Text-to-Image) 로 생성된 **합성 데이터 (Synthetic Data)**만으로도 효과적인 정제가 가능함을 보여줍니다.

3. 주요 기여 (Key Contributions)

1. 기존 기법의 취약점 규명: CleanCLIP 과 RoCLIP 과 같은 증강 기반 방어 기법이 줄무늬 (Stripes), 삼각형, 텍스트와 같은 구조화된 트리거를 가진 백도어 공격 (BadNet, Blended 변형) 에 대해 쉽게 우회됨을 증명했습니다.
2. PAR 기법 제안: 강력한 증강 없이, 모델 임베딩을 교란하고 복구하는 단순한 미세 조정 기법을 제안하여 다양한 아키텍처 (ResNet50, ViT-B/L) 와 공격 유형에서 높은 제거율을 달성했습니다.
3. 합성 데이터의 유효성 입증: 실제 데이터 없이 합성 데이터 (SynthCLIP) 만을 사용하여도 백도어를 효과적으로 제거할 수 있음을 실험을 통해 입증했습니다. 이는 데이터 프라이버시 및 비용 문제를 해결할 수 있는 실용적인 대안이 됩니다.

4. 실험 결과 (Results)

• 성능 비교:
  • ASR (공격 성공률) 감소: PAR 는 CleanCLIP 및 RoCLIP 대비 모든 공격 시나리오에서 ASR 을 현저히 낮췄습니다. 특히 Blended-Stripes 공격에서는 CleanCLIP 의 ASR 이 62.3% 였으나, PAR 는 0.1% 로 낮췄습니다.
  • Clean Accuracy (정상 성능) 유지: 백도어를 제거하면서도 ImageNet 제로샷 분류 정확도나 COCO 검색 성능은 기존 모델 수준을 거의 유지했습니다. (CleanCLIP 은 구조화된 트리거에서 성능이 급격히 떨어지는 경향이 있었습니다.)
• 다양한 환경에서의 검증:
  • 아키텍처: ResNet50, ViT-B/32, ViT-L/14, SigLip 등 다양한 모델에서 유효성이 입증되었습니다.
  • 데이터 소스: 실제 데이터 (CC3M) 와 합성 데이터 (SynthCLIP) 모두에서 우수한 결과를 보였습니다.
  • 적응형 공격 (Adaptive Attack): PAR 로 정제된 모델을 다시 공격 (Re-poison) 하더라도, PAR 는 이를 완벽하게 정제하여 원래의 백도어 모델로 회귀하지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 중요성: 대규모 기초 모델 (Foundation Models) 을 처음부터 다시 학습하는 것은 비용이 너무 많이 들기 때문에, 기존에 학습된 모델을 정제하는 것이 필수적입니다. PAR 는 이러한 상황에서 비용 효율적이고 강력한 방어 메커니즘을 제공합니다.
• 보안 패러다임 전환: 기존에 "트리거를 제거하기 위해 증강을 사용한다"는 접근법의 한계를 지적하고, **"모델의 임베딩 공간 자체를 재조정한다"**는 새로운 관점을 제시했습니다.
• 데이터 접근성: 합성 데이터만으로도 정제가 가능하다는 점은, 민감한 데이터를 다룰 수 없거나 깨끗한 데이터셋을 확보하기 어려운 환경에서도 CLIP 모델의 안전성을 보장할 수 있음을 의미합니다.

결론적으로, 이 논문은 CLIP 모델의 백도어 취약성을 새로운 구조화된 공격으로 규명하고, 이를 해결하기 위한 효율적이고 범용적인 정제 기법 (PAR) 을 제시함으로써 다중 모달 모델의 안전한 배포에 중요한 기여를 했습니다.