Calibrating Uncertainty for Zero-Shot Adversarial CLIP

기술 요약: 제로샷 적대적 CLIP을 위한 불확실성 교정 (Calibrating Uncertainty for Zero-Shot Adversarial CLIP)

1. 문제 정의

대조적 언어-이미지 사전 학습(Contrastive Language-Image Pretraining, CLIP)은 공유된 임베딩 공간을 활용하여 특정 작업에 대한 별도의 학습 없이 이미지 특징을 텍스트 프롬프트와 매칭함으로써 제로샷 인식을 위한 기초 모델로서 입지를 굳혔습니다. 그러나 CLIP은 미세한 픽셀 수준의 섭동(perturbation)이 확신에 찬 오분류를 유발하는 적대적 공격(adversarial attacks)에 매우 취약합니다.

제로샷 적대적 강건성(Zero-Shot Adversarial Robustness, ZSAR)에 관한 기존 연구는 주로 적대적 이미지 특징을 정답 텍스트 프로토타입(단일 앵커 정렬)에 정렬하여 정확도를 높이는 데 집중해 왔습니다. 저자들은 간과되었던 중요한 신뢰성 격차를 식별했습니다: CLIP에서의 적대적 섭동은 정확도를 저하시킬 뿐만 아니라, 예측 불확실성을 체계적으로 억제한다는 점입니다.

입력이 훈련 분포에서 벗어나거나 어려워질수록 불확실성이 증가해야 한다는 기대와 달리, 표준 CLIP 모델은 적대적 예시에 대해 '과잉 확신(over-confidence)'을 보이는 경 경향이 있습니다. 이는 모델이 잘못된 예측에 대해 부당하게 높은 확신을 갖게 되는 심각한 미교정(miscalibration) 현상으로 이어집니다. 예측 로짓(logits)만을 정렬하거나 단일 클래스 판별에 집중하는 기존 방식들은 클래스 간의 상대적 의미론적 기하 구조나 예측 증거의 크기를 보존하지 못하며, 결과적으로 강건한 오픈 보캐블러리(open-vocabulary) 인식을 위해 필수적인 근본적인 불확실성 구조를 간과하게 됩니다.

2. 방법론

저자들은 적대적 강건성을 유지하면서 교정된 불확실성을 복원하도록 설계된 프레임워크인 **불확실성 교정 적대적 미세 조정(Uncertainty-Calibrated Adversarial Fine-Tuning, UCAT)**을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

A. CLIP 로짓의 디리클레 재정식화 (Dirichlet Reformulation of CLIP Logits)
저자들은 CLIP의 표준 제로샷 로짓을 디리클레 분포(Dirichlet distribution)의 집중 매개변수($\alpha$)로 재매개변수화합니다.

• 매핑: 주어진 CLIP 로짓 $\ell$에 대해, 집중 매개변수는 $\alpha_k(x) = \exp(h(\ell_k))$로 정의됩니다. 여기서 $h(\ell) = (\tau \ell + 1) / \tau'$이며, $\tau$는 학습 가능한 온도(temperature)이고 $\tau'$는 교정 계수입니다.
• 이론적 근거: 이 재정식화는 $\alpha_k \ge 1$을 보장하여 디리클레 증거(evidence)의 유효 조건을 충족합니다. 결정적으로, $\tau' = \tau$일 때 생성된 디리클레 분포의 기댓값은 CLIP의 원래 소프트맥스(softmax) 예측 규칙을 정확히 회복하므로, 이 방법이 임의적인 수정이 아닌 충실한 확률적 해석임을 보장합니다.
• 불확실성 분해: 이 매개변수화는 샘플링 없이도 예측 불확실성을 두 가지 성분으로 명확히 분해할 수 있게 합니다.
  • 알레아토리 불확실성 (Aleatoric Uncertainty, AU): 디리클레 분포의 엔트로피를 통해 데이터 자체의 모호성(예: "늑대"와 "개" 사이의 의미적 중첩)을 포착합니다.
  • 에피스테믹 불확실성 (Epistemic Uncertainty, EU): 불충분한 증거 또는 분포 변화로 인한 불확실성을 포착하며, 총 증거 강도($\alpha_0 = \sum \alpha_k$)에 반비례합니다.

B. 분포 정렬 목적 함수 (Distributional Alignment Objective)
UCAT은 적대적 특징을 단일 텍스트 프로토타입에 고정하는 대신, 적대적 샘플($x_a$)의 전체 예측 분포를 대응하는 깨끗한 샘플($x$)의 분포와 정렬합니다.

• 손실 함수: 목적 함수는 표준 텍스트 가이드 교차 엔트로피 손실($L_{ce}$)과 디리클레 분포 간의 역(reverse) 쿨백-라이블러(KL) 발산을 정의하는 정규화 항($L_{ucr}$)의 결합으로 구성됩니다.
  $$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$$
• 근거: 저자들은 역(reverse) KL 방향을 선택했는데, 이는 "모드 탐색(mode-seeking)" 특성을 갖기 때문입니다. 증거를 평탄하게 만들 수 있는 순방향(forward) KL과 달리, 역 KL은 상대적 클래스 구조(클래스 간 의미론)와 절대적 증거 강도를 모두 보존합니다. 이는 깨끗한 샘플의 증거가 낮을 때(높은 불확실성) 적대적 샘플이 높은 증거를 갖도록 강제되지 않도록 함으로써, 모델이 부당하게 확신에 찬 오류로 붕괴되는 것을 방지합니다.

C. 훈련 파이프라인 (Training Pipeline)
이 프레임워크는 텍스트 인코더는 동결한 채 이미지 인코더를 미세 조정합니다. 깨끗한 쌍과 적대적 쌍($\ell_\infty$-PGD를 통해 생성됨)이 함께 처리되어 결합 손실 $L = L_{ce} + \lambda L_{ucr}$을 계산하며, 여기서 $\lambda$는 판별적 감독과 불확실성 교정 사이의 균형을 맞춥니다.

3. 주요 기여

1. 디리클레 기반 정식화: CLIP 로짓을 디리클레 증거로 해석하여 불확실성을 알레아토리 및 에피스테믹 성분으로 효율적으로 분해할 수 있는 이론적 근거가 확실한 폐쇄형(closed-form) 방법을 제공합니다.
2. UCAT 프레임워크: 전체 디리클레 분포를 정규화하는 새로운 적대적 미세 조정 방법입니다. 이 접근법은 클래스 간 의미 관계를 보존하는 동시에 증거 강도를 교정하여, 적대적 입력이 과잉 확신을 유도하는 미교정 문제를 해결합니다.
3. 광범위한 실증적 검증: 16개의 단일 레이블 벤치마크와 멀티 레이블 MS-COCO 데이터셋을 통해 검증되었습니다. 이 방법은 불확실성 교정(불확실성의 기대 순서인 clean < adversarial를 복원)에서 상당한 개선을 보여주는 동시에 경쟁력 있는 적대적 강건성과 깨끗한 정확도를 유지함을 입증했습니다.

4. 실험 결과

• 불확실성 교정: 실험 결과, 일반적인 CLIP은 적대적 입력에 대해 깨끗한 입력보다 낮은 예측 불확실성을 보였습니다(미교정의 징후). UCAT은 입력의 난이도가 높아짐에 따라 불확실성이 증가하는 일관된 순서를 복원하여, 분포의 변화를 충실히 반영합니다.
• 강건성: 16개의 단일 레이블 데이터셋(CIFAR-10/100, ImageNet 및 미세 조정 데이터셋 포함)에서 UCAT은 다양한 공격(PGD, CW, AutoAttack) 하에서 깨끗한 정확도와 적대적 정확도의 조화 평균 측면에서 최고 수준 또는 차순위의 성능을 달را합니다.
• 멀티 레이블 강건성: MS-COCO 데이터셋에서 UCAT은 CW 공격 하에서 최상의 top-3 정밀도(precision), 재현율(recall) 및 F1-스코어를 달성하였으며, 이는 상대적 의미 순서 보존이 중요한 모호한 멀티 레이블 설정에서의 우수한 안정성을 나타냅니다.
• 일반화: 이 방법은 다양한 CLIP 백본(B/16, B/32) 및 다른 대조적 VLM(SLIP) 전반에 걸쳐 효과적으로 일반화되며, 이는 해당 접근 방식이 특정 아키텍처에 국한되지 않음을 시사합니다.
• 절제 연구 (Ablation Studies): 저자들은 역 KL 방향과 디리클레 정식화(단순 소프트맥스 정렬 대비)가 성능에 결정적임을 확인했습니다. 또한 이 방법은 다양한 정규화 강도($\lambda$)와 교정 계수($\tau'$)에 대해 견고하게 유지됩니다.

5. 의의 및 주장

본 논문은 강건성이 단순히 정확도에 관한 것이 아니라 교정된 불확실성에 관한 것임을 보여줌으로써 시각-언어 모델의 중요한 신뢰성 격차를 메운다고 주장합니다. 적대적 공격이 CLIP의 불확실성을 억제한다는 점을 밝힘으로써, 저자들은 로짓 정렬에만 집중하는 기존 방식이 불충분하다고 주장합니다.

이 연구의 의의는 다음과 같습니다:

• 이론적 통찰: 대조 학습 로짓과 증거적 딥러닝(디리클레 분포) 사이의 원칙적인 매핑을 제공하여, 오픈 보캐블러리 환경에서 불확실성을 모델링하는 새로운 관점을 제시합니다.
• 실용적 신뢰성: 모델이 공격을 받을 때 과잉 확신하지 않도록 보장하는 방법을 제공하며, 이는 안전이 중요한 환경이나 오픈 월드 시나리오에서 VLM을 배포하는 데 필수적입니다.
• 확장성: 처음부터 다시 훈련하거나 복잡한 아키텍처 변경 없이 미세 조정을 통해 불확실성 교정이 가능함을 입증하여, 기존 파운데이션 모델에 적용 가능함을 보여줍니다.

저자들은 실제 환경 배포와 관련하여, 이 접근 방식이 적대적 섭동 하에서의 모델 동작 이해를 개선하지만, 실제 적용 시에는 철저한 위험 평가와 추가적인 안전 장치가 필요하다는 점을 언급하며 신중한 태도를 유지합니다. 이 연구는 대조 학습 프레임워크를 위한 불확실성 모델링 및 강건성 평가의 방법론적 진보로 자리매김하고 있습니다.