Semantic-aware Adversarial Fine-tuning for CLIP

논문 제목: Semantic-aware Adversarial Fine-tuning for CLIP (CLIP 를 위한 의미 인식적 적대적 미세 조정)

1. 문제 정의 (Problem Statement)

기존의 CLIP(Contrastive Language-Image Pre-training) 모델은 제로샷 (zero-shot) 분류 작업에서 뛰어난 성능을 보이지만, 적대적 예제 (Adversarial Examples, AEs) 에 취약하다는 문제가 있습니다. 이를 해결하기 위해 적대적 훈련 (Adversarial Training, AT) 을 통해 이미지 인코더를 미세 조정하는 연구들이 진행되어 왔으나, 다음과 같은 근본적인 한계가 존재합니다.

• 단일 템플릿의 한계: 기존 방법들은 단일 손으로 작성된 텍스트 템플릿 (예: "A photo of a {label}") 과 이미지 간의 코사인 유사도를 최소화하여 AEs 를 생성합니다.
• 의미적 불완전성: 최근 연구에 따르면, 단일 템플릿과 이미지 간의 유사도만으로는 이미지 - 텍스트 정렬을 충분히 측정할 수 없습니다.
• 적대적 예제의 실패: 단일 템플릿을 기반으로 생성된 AEs 는 해당 템플릿에는 효과적일 수 있지만, 더 풍부하고 다양한 의미적 설명 (예: "A furry mammal that barks" vs "A photo of a dog") 이 사용될 때는 CLIP 을 속이지 못합니다. 즉, 생성된 AEs 가 의미적으로 풍부하지 않아, 미세 조정된 이미지 인코더가 다양한 텍스트 표현에 대해 견고하지 (robust) 않게 됩니다.

2. 제안 방법: SAFT (Semantic-aware Adversarial Fine-tuning)

저자들은 이러한 문제를 해결하기 위해 의미 인식적 적대적 미세 조정 (SAFT) 프레임워크를 제안합니다. SAFT 는 CLIP 의 이미지 인코더를 미세 조정할 때, 단일 템플릿 대신 **의미가 풍부한 텍스트 설명의 앙상블 (ensemble)**을 활용하여 더 일반화 가능한 AEs 를 생성하고 이를 학습에 사용합니다.

주요 구성 요소:

1. 할루시네이션 인식 설명 생성 (Hallucination-aware Description Generation):

   • 기초 모델 (Foundation Model, 예: LLM 또는 MLLM) 을 사용하여 각 클래스 라벨에 대해 다양한 속성, 맥락, 동의어를 포함하는 텍스트 설명들을 생성합니다.
   • 할루시네이션 필터링: 기초 모델이 생성한 설명 중 사실과 다르거나 의미적으로 관련 없는 내용 (할루시네이션, 예: "개는 날개가 있는 신화적 생물이다") 을 제거하기 위해, 생성된 설명과 실제 클래스 라벨 간의 코사인 유사도를 계산합니다.
   • 유사도가 높은 상위 K 개 (Top-K) 의 설명만 선별하여 정제된 설명 집합을 구성합니다.

2. 의미 앙상블 적대적 공격 (Semantic-ensemble Adversarial Attack):

   • 기존 방식이 단일 텍스트 임베딩을 대상으로 하는 것과 달리, SAFT 는 정제된 여러 텍스트 설명들의 평균 임베딩과 이미지 임베딩 간의 불일치를 최대화하는 방향으로 AEs 를 생성합니다.
   • 이는 단일 문구에 과적합되지 않고, 다양한 언어적 변형에 대해 견고한 적대적 예제를 생성하게 합니다.

3. 학습 목표 (Learning Objective):

   • 생성된 의미 인식적 AEs 를 사용하여 CLIP 이미지 인코더를 미세 조정합니다.
   • 목적은 시각적 교란 (perturbation) 에뿐만 아니라, 다양한 텍스트 표현 (linguistic variations) 에도 불변인 (invariant) 임베딩 공간을 학습하는 것입니다.

3. 주요 기여 (Key Contributions)

1. 문제 발견: 단일 손으로 작성된 템플릿 기반의 CLIP 점수 (Cosine Similarity) 를 최소화하는 AEs 가, 더 풍부하고 의미 있는 유사도 지표 (예: CuPL, WCA) 하에서는 효과를 잃을 수 있음을 최초로 발견하고 이를 정량화했습니다.
2. 새로운 프레임워크 제안 (SAFT): 기초 모델을 활용하여 생성된 다양한 텍스트 설명의 앙상블을 기반으로 AEs 를 생성하고, 이를 통해 CLIP 을 미세 조정하는 새로운 방법론을 제시했습니다. 또한, LLM 의 할루시네이션을 방지하기 위한 의미 필터링 전략을 도입했습니다.
3. 성능 입증: 16 개의 벤치마크 데이터셋 (1 개 인도메인, 15 개 제로샷) 에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 보였으며, 특히 제로샷 적대적 견고성과 정확도 간의 트레이드오프를 크게 개선했습니다.

4. 실험 결과 (Results)

• 데이터셋: Tiny-ImageNet(소스), CIFAR-10/100, Food101, ImageNet-1K 등 총 16 개 데이터셋.
• 성능 향상:
  • 제로샷 견고성: 기존 SOTA 방법 (TGA-ZSR 등) 대비 평균 3.85% 이상의 제로샷 적대적 정확도 (Robust Accuracy) 향상을 달성했습니다.
  • 정확도 - 견고성 트레이드오프: FARE 와 같은 방법은 높은 순수 정확도 (Clean Accuracy) 를 보이지만 견고성이 낮거나, 그 반대의 경우가 많았습니다. SAFT 는 높은 견고성을 유지하면서도 15 개 제로샷 데이터셋에서 두 번째로 높은 평균 순수 정확도 (55.27%~56.01%) 를 기록하여 균형을 잘 잡았습니다.
  • 확장성: CLIP-L/14 와 같은 대규모 모델과 ImageNet-1K 와 같은 대규모 데이터셋에서도 성능이 향상됨을 확인했습니다.
• 일반화 능력:
  • 보이지 않는 템플릿: 훈련 시 사용되지 않은 13 가지 다양한 텍스트 템플릿 (예: "a sketch of a {label}", "a cartoon {label}") 에서도 기존 방법보다 뛰어난 견고성을 보여주었습니다.
  • 다른 작업: 이미지 - 텍스트 검색 (Image-Text Retrieval) 작업에서도 성능 향상을 확인했습니다.
  • 아웃 - 오브 - 도메인: TU-Berlin 스케치 데이터셋과 ImageNet-R(예술적 변형) 과 같은 도메인 외 데이터셋에서도 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 CLIP 의 적대적 견고성을 높이기 위해 단순한 텍스트 템플릿이 아닌, 의미적으로 풍부한 텍스트 설명의 다양성이 필수적임을 증명했습니다. SAFT 는 기초 모델의 생성 능력을 활용하면서도 할루시네이션을 제어하여, 시각적 교란과 언어적 변형 모두에 강건한 표현을 학습하게 합니다. 이는 향후 대규모 멀티모달 모델 (VLM) 의 안전한 배포와 적대적 방어 기법 개발에 중요한 통찰을 제공하며, 텍스트 기반의 풍부한 지도 신호 (supervision) 를 적대적 훈련에 통합하는 새로운 방향을 제시합니다.