SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

기술 요약: SS-TPT

문제 정의
비전-언어 모델(VLM), 특히 CLIP은 강력한 제로샷 인식 능력을 보여주지만, 적대적 섭동(adversarial perturbations)과 분포 변화(distribution shifts)에 매우 취약하다. 최근의 테스트 시간 적응(TTA) 방어 기법들은 여러 증강된 뷰(augmented views)를 활용하여 강건성을 개선하려고 시도하지만, 이는 치명적인 비효율성을 초래한다: 즉, 강건성과 처리량(throughput) 사이의 심각한 트레이드오프이다. R-TPT와 같은 기존 방식은 적응을 안정화하기 위해 많은 수의 증강 뷰(예: 63개)를 필요로 하며, 이로 인해 추론 속도가 일반 CLIP보다 거의 4배 느려진다. 반대로, 속도를 높이기 위해 뷰의 수를 줄이면 강건성이 크게 저하되는데, 이는 기존 방식들이 모든 뷰를 동일하게 신뢰할 수 있는 것으로 간나서 오염되거나 이상치(outlier)인 뷰가 적응 과정을 지배하게 만들기 때문이다. 핵심 과제는 계산 효율성을 희생하거나 과도한 시각적 다양성을 요구하지 않으면서도 높은 적대적 강건성을 달erm하는 것이다.

방법론: SS-TPT
저자들은 각 증강 뷰의 품질을 평가하여 모델의 적응과 추론을 가이드하는 프레임워크인 **SS-TPT(Stability and Suitability-guided Test-time Prompt Tuning)**를 제안한다. SS-TPT는 뷰의 양에 의존하는 대신, 모든 뷰 $x_i$에 대해 두 가지 상호 보완적인 점수를 계산한다:

1. 안정성 점수 ($S_{stab}$): 약한 확률적 증강(예: 아핀 변환, 컬러 지터, 블러, 노이즈) 하에서 뷰의 예측 분포가 얼마나 불변하는지를 측정한다. 이는 원래 뷰의 예측과 그 약하게 증강된 변형 사이의 젠슨-섀넌 발산(Jensen-Shannon divergence)의 역수로 정의된다. 높은 안정성은 해당 뷰의 예측이 미세한 섭동에 대해 견고함을 나타낸다.
2. 적합성 점수 ($S_{suit}$): 다른 뷰들과 비교하여 특징 공간(feature space) 내에서 해당 뷰가 갖는 밀도를 측정한다. 이는 한 뷰의 정규화된 특징 벡터와 다른 모든 뷰들의 특징 벡터 사이의 평균 코사인 유도 거리의 역수로 계산된다. 높은 적합성은 해당 뷰가 다른 뷰들의 조밀한 클러스터 내에 위치함을 나타내며, 이는 해당 뷰가 이상치가 아님을 시사한다.

이 점수들은 정규화된 후 하이퍼파라미터 $\alpha$를 통해 단일 안정성-적합성(SS) 점수 ($Z_i$)로 결합된다. 이 점수는 소프트맥스 함수를 사용하여 SS 가중치 ($w_i$)로 변환된다.

이 프레임워크는 두 가지 별도의 단계에서 이 가중치를 활용한다:

• 적응 (SS-가이드 일관성 손실): 테스트 시간 프롬프트 튜닝 중에, 모델은 점 단위 엔트로피 최소화와 일관성 항을 결합한 손실 함수를 최소화한다. 모든 뷰에 대해 일관성을 강제하거나(품질 무시), 혹은 오염된 뷰를 피하기 위해 일관성을 완전히 제거하는 기존 방식들과 달리, SS-TPT는 오직 **신뢰할 수 있는 참조값(trustworthy references)**에 대해서만 정렬을 강제한다. 구체적으로, 각 뷰는 SS 점수에 의해 결정된 가중치를 가진 다른 뷰들의 'leave-one-out' 가중 평균에 정렬된다. 이는 오염된 뷰가 적응 과정을 잘못된 방향으로 이끄는 것을 방지한다.
• 추론 (SS-가중치 예측): 최종 예측을 위해, 모델은 SS 가중치를 사용하여 모든 뷰의 예측을 집계한다. 이는 저품질(오염되거나 이상치인) 뷰의 영향을 억제하는 동시에 신뢰할 수 있는 뷰의 영향력을 증폭시킨다.

주요 기여

1. SS-TPT 프레임워크: 안정성 및 적합성 점수를 통해 뷰의 품질을 명시적으로 정량화함으로써, 제한된 수의 증강 뷰로도 강건한 적응을 가능하게 하는 테스트 시간 방어 기법을 도입하였다.
2. 이중 메커니즘 설계: 적응 단계에서 신뢰할 수 있는 참조값과 정렬하는 SS-가이드 일관성 손실과, 추론 단계에서 이상치를 억제하는 SS-가중치 예측 메커니즘을 설계하였다.
3. 우수한 강건성-효율성 트레이드오프: 뷰의 양보다 품질에 집중함으로써, 모델이 훨씬 적은 수의 뷰(예: 63개 대신 15개)만으로도 더 높은 강건성을 달성하면서도 기존 최첨단 방식들보다 강건성과 처리량 모두에서 뛰어난 성능을 보임을 입증하였다.

실험 결과
10개의 미세 조정(fine-grained) 데이터셋, ImageNet, 그리고 네 가지 분포 변화 변형(ImageNet-A, V2, R, S)에 대해 다양한 공격 시나리오(PGD, CW, AutoAttack, White-box) 하에서 광범위한 실험을 수행하였다.

• 강건성: SS-TPT는 최첨단 적대적 강건성을 달성했다. 10개의 미세 조정 데이터셋에서 평균 강건성 **46.8%**를 기록하여, 이전 최고 성능인 R-TPT를 6.4 퍼센트 포인트 앞질렀다. ImageNet에서는 **48.6%**의 강건 정확도를 달성하여 R-TPT보다 5.4 포인트 높은 성능을 보였다.
• 클린 정확도: 이 방법은 높은 클린 정확도(미세 조정 데이터셋에서 55.1%)를 유지하였으며, 모든 적응 방식 중 원래의 CLIP 성능에 가장 근접했다.
• 효效率: SS-TPT는 추론 시간을 크게 단축했다. 15개의 증강 뷰만을 사용하여 이미지를 약 0.74초 만에 처리했는데, 이는 63개의 뷰를 사용하여 1.67초가 걸리는 R-TPT보다 거의 두 배 빠른 속도이면서도 더 높은 강건성(Caltech101에서 R-TPT-63v의 79.8% 대비 81.0%)을 달성했다.
• 저-뷰 환경(Low-View Regime): 도전적인 단일 뷰 설정(1개의 증강 뷰)에서도 SS-TPT는 평균 **25.8%**의 강건성을 유지하며 R-TPT보다 15.7 포인트 높은 성능을 보여, 제한된 시각적 증거로부터 의미 있는 정보를 추출하는 능력을 입증했다.
• 절제 연구(Ablation Studies): 분석 결과 안정성과 적합성 모두 필수적인 구성 요소임을 확인하였으며, SS-가이드 일관성과 SS-가중치 예측의 결합이 최상의 시너지를 낸다는 것을 확인했다. 또한 이 방법은 프롬프트 템플릿의 변화에도 견고함을 입증했다.

의의 및 주장
본 논문은 SS-TPT가 노이즈를 평균화하기 위해 방대한 수의 뷰에 의존해야 하는 현재 TTA 방어 기법의 근본적인 한계를 해결한다고 주장한다. 이러한 의존성은 계산상의 병목 현상을 만든다. 뷰의 품질을 평가하고 가중치를 부여하는 메커니즘을 도입함으로써, SS-TPT는 강건성과 증강 뷰의 양을 분리한다. 저자들은 이 접근 방식이 입력값이 노이즈가 있거나 조작될 수 있고 계산 자원이 제한적인 실제 환경에서 신뢰할 수 있는 VLM을 배포하기 위한 "실용적이고 일반적인" 솔루션을 제공한다고 단언한다. 본 연구는 뷰 품질 평가가 테스트 시간 적응에서 신뢰할 수 있는 뷰와 오염된 뷰를 구분하는 효과적인 지표로서, 이전에 충분히 활용되지 않았던 중요한 요소임을 강조한다.