ATAC: Augmentation-Based Test-Time Adversarial Correction for CLIP

1. 문제 제기 (Problem)

• CLIP 의 취약성: CLIP 과 같은 시맨틱 - 언어 모델 (VLM) 은 제로샷 (zero-shot) 이미지 - 텍스트 매칭에서 탁월한 성과를 보이지만, 이미지에 가해지는 작은 적대적 교란 (adversarial perturbations) 에 대해 매우 취약합니다.
• 기존 방법의 한계:
  • 학습 시간 (Training-time) 방법: 적대적 학습 (Adversarial Training) 은 강력하지만, 대규모 기초 모델 (Foundation Models) 에 적용하기에는 비용이 너무 많이 들고, 제로샷 일반화 능력을 저하시킬 수 있습니다.
  • 입력 공간 정제 (Input-space purification): 입력 이미지를 정제하거나 무작위 평활화를 적용하는 방식은 공격 효과를 줄일 수 있지만, 깨끗한 데이터 (clean data) 의 정확도와 트레이드오프가 발생하며 적응형 공격 (adaptive attacks) 에 취약합니다.
  • 기존 테스트 시간 (Test-time) 방어: 프롬프트 조정 (Prompt-side adaptation) 이나 입력 최적화 (Image-side counterattacks) 방식이 존재하지만, 계산 비용이 높거나 과적합된 가정에 의존하여 제한된 견고성 (robustness) 만 제공합니다.

2. 방법론 (Methodology: ATAC)

저자들은 **증강 기반 테스트 시간 적대적 교정 (Augmentation-Based Test-time Adversarial Correction, ATAC)**을 제안합니다. 이 방법은 재학습 없이 CLIP 의 임베딩 공간 (embedding space) 에서 직접 작동합니다.

• 핵심 아이디어:
  • 적대적 공격은 CLIP 의 제로샷 예측을 뒤집을 수 있지만, CLIP 의 임베딩 공간은 일반적인 이미지 증강 (회전, 뒤집기, 색상 교란 등) 에 상대적으로 안정적입니다.
  • 관찰: 적대적으로 교란된 샘플은 증강을 가했을 때 **일관된 방향성 (directionally consistent)**을 가진 임베딩 드리프트 (drift) 를 생성하는 반면, 깨끗한 샘플은 무작위적으로 흩어지는 드리프트를 보입니다.
• 작동 원리:
  1. 증강 및 드리프트 계산: 입력 이미지 $x$에 대해 $n$개의 증강 뷰를 생성하고, CLIP 인코더를 통해 임베딩 $f_{x_i}$를 추출합니다. 원본 임베딩 $f_x$와 증강된 임베딩 간의 차이 (드리프트 벡터 $d_i = f_x - f_{x_i}$) 를 계산합니다.
  2. 의미 회복 방향 추정: 모든 드리프트 벡터의 평균 $\bar{d}$를 계산하여 적대적 공격으로 인한 의미적 왜곡을 되돌릴 **의미 회복 방향 (semantic recovery direction)**으로 추정합니다.
  3. 코시 일관성 게이트 (Cosine Consistency Gate): 드리프트 벡터들이 평균 벡터와 얼마나 일관된 방향을 가지는지 코시 유사도 ($\tau$) 로 측정합니다.
     • $\tau$가 임계값 ($\tau^*$) 보다 높으면 (적대적 샘플로 간주): 원본 임베딩을 $\bar{d}$ 방향으로 $\alpha$만큼 보정합니다 ($f^* = f_x + \alpha \bar{d}$).
     • $\tau$가 낮으면 (깨끗한 샘플로 간주): 보정을 수행하지 않고 원본 임베딩을 유지합니다.
• 특징: 학습이 필요 없으며 (training-free), 추론 시 추가적인 증강 뷰 생성과 벡터 연산만 수행하므로 계산 오버헤드가 매우 낮습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임: CLIP 의 특징 공간 (feature space) 에서 직접 시각적 임베딩을 교정하는 최초의 테스트 시간 적대적 방어 방법 (ATAC) 을 제안했습니다.
2. 압도적인 성능: 13 개의 분류 벤치마크에서 기존 최첨단 (SOTA) 방법들 (적대적 파인튜닝 및 기존 테스트 시간 방어) 보다 평균 약 50% 이상 높은 견고성 (robustness) 을 달성했습니다.
3. 공격 메커니즘에 대한 통찰: 무방향성 (untargeted) 그라디언트 기반 공격이 지닌 근본적인 결함 (정답 레이블에 과도하게 의존하여 임베딩 공간에서 일관된 드리프트를 생성함) 을 발견하고 이를 활용하여 보정 방향을 추정함을 증명했습니다.
4. 적응형 공격에 대한 견고성: 적응형 공격 (Adaptive Attacks) 에 대해서도 다른 테스트 시간 방어법들보다 유의미한 견고성을 유지하며, 공격자에게 더 높은 계산 비용을 요구함을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: CIFAR-10, CIFAR-100, STL-10 등 13 개 데이터셋에서 PGD 공격 ($\epsilon=4/255$) 하에 ATAC 는 **평균 80.94% 의 견고 정확도 (Robust Accuracy)**를 기록했습니다. 이는 기존 SOTA 인 R-TPT(33.05%) 나 TTC(19.74%) 보다 훨씬 높은 수치입니다.
• 계산 효율성: ATAC 는 TTC 나 R-TPT 에 비해 추론 시간이 매우 짧습니다 (예: 1000 이미지 기준 ATAC 약 18 초 vs R-TPT 약 916 초).
• 정확도 - 견고성 트레이드오프: ATAC 는 깨끗한 데이터의 정확도를 약간 희생하지만 (약 2.37% 감소), 얻어지는 견고성 향상폭이 압도적입니다. 흥미롭게도 일부 경우 ATAC 의 견고 정확도가 CLIP 의 깨끗한 데이터 정확도보다 높게 나오기도 했습니다.
• 극단적 시나리오 분석:
  • 레이블 의존도가 높은 공격 (큰 $\epsilon$) 에서는 ATAC 의 성능이 극대화됩니다.
  • 레이블 의존도가 낮거나 제거된 공격 (Early-stopped, Unsupervised, Targeted) 에서는 성능이 감소하지만, 여전히 기존 방어법들보다 우수한 성능을 유지합니다.
• 적응형 공격 테스트: 공격자가 ATAC 의 모든 메커니즘을 알고 공격하는 'Lure' 및 'Avoid' 적응형 공격에서도 ATAC 는 TTC 보다 훨씬 높은 견고성을 유지했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 효과성의 균형: ATAC 는 고비용의 재학습 없이, 간단한 증강과 벡터 연산만으로 CLIP 의 취약성을 획기적으로 개선하는 효율적인 솔루션을 제시합니다.
• 새로운 방어 패러다임: 이미지 공간 (pixel space) 이나 프롬프트 공간이 아닌, 임베딩 공간 (embedding space) 에서 직접 의미적 보정을 수행하는 새로운 접근법의 유효성을 입증했습니다.
• 실용성: 계산 오버헤드가 낮고 적응형 공격에도 견고하여, 실제 안전 및 보안이 중요한 애플리케이션에서 CLIP 을 배포할 때 필수적인 방어 기법으로 자리 잡을 수 있음을 시사합니다.

이 논문은 CLIP 의 적대적 취약성을 해결하기 위해 증강의 특성을 역이용한 지능적이고 효율적인 테스트 시간 방어 전략을 제시함으로써, 향후 VLM 보안 연구의 중요한 방향성을 제시합니다.