기술 요약: USE – 테스트 시점 프롬프트 튜닝을 위한 통합 자기 앙상블 프레임워크

1. 문제 정의

CLIP과 같은 시각-언어 모델(VLM)은 제로샷 설정에서 강력한 일반화 능력을 보여주었으나, 다운스트림 태스크에서의 분포 변화(distribution shifts)에는 취약한 모습을 보입니다. 테스트 시점 적응(Test-Time Adaptation, TTA)은 레이블이 없는 테스트 샘플을 활용하여 해결책을 제시하지만, 기존 방법들은 종종 최적화 단계와 추론 단계 사이의 불일치 문제를 겪습니다.

구체적으로, 선구적인 TPT(Test-Time Prompt Tuning) 방식은 증강된 뷰(augmented views)들의 평균 예측값에 대한 주변 엔트로피(marginal entropy)를 최소화함으로써 텍스트 프롬프트를 최적화합니다. 그러나 TPT 및 그 변형들은 최종 추론 시에는 "약한" 증강(원본 이미지)에 의존하는 반면, 최적화 단계에서는 "강한" 증강들의 평균을 활용합니다. 이러한 불일치는 의사 레이블(pseudo-labels)을 사용하는 최적화 단계와 최종 예측 전략 사이의 미스얼라이먼트(misalignment)를 생성합니다. 또한, 기존 접근 방식들은 원본 이미지가 제로샷 분류에서 특정 증강 뷰보다 더 신뢰할 수 있다는 증거에도 불구하고, 의사 레이블을 구성할 때 원본 테스트 이미지를 경시하거나 제외하는 경향이 있습니다.

2. 방법론

본 논문은 최적화 단계와 추론 단계를 일관된 자기 앙상블 전략을 통해 통합하는 USE (Unified Self-Ensembling) 프레임워크를 제안합니다.

2.1 TPT를 자기 학습(Self-Training)으로 재해석

저자들은 먼저 TPT의 목적 함수를 재해석합니다. 보조 분포 $q$(평균 예측의 stop-gradient 버전)를 도입함으로써, 주변 엔트로피 최소화 목적 함수는 역 교차 엔트로피(Reverse Cross-Entropy, RCE) 항과 KL 발산(KL divergence) 항으로 분해됩니다. $q$가 고정되었을 때 KL 항은 최적화되지 않으므로, 목적 함수는 실질적으로 RCE를 최소화하는 것으로 축소됩니다. 이는 TPT가 선택된 저엔트로피 증강 뷰들의 예측을 평균 내어 생성된 의사 레이블로부터 암묵적으로 학습하고 있음을 드러냅니다.

2.2 자기 앙상블 (Self-Ensembling, SE) 전략

의사 레이블의 품질을 개선하기 위해, 저자들은 약한 증강(원본 테스트 이미지)이 독특한 가치를 지니며 버려져서는 안 된다는 경험적 분석을 바탕으로 자기 앙상블 (SE) 전략을 도입합니다.

SE 전략은 약한 증강($p_w$)과 강한 증강($p_s$) 모두로부터의 예측을 동적으로 결합합니다. 이는 테스트 이미지의 기여도를 적응적으로 조절하기 위해 엔트로피 기반 가중치 계수 $\beta$를 사용합니다:

1. 랭킹(Ranking): 약한 증강의 상대적 자기 엔트로피 순위 $\delta$를 강한 증강 집합에 대해 계산합니다.
2. 가중치 부여(Weighting): 선형 함수를 사용하여 $\delta$를 가중치 $\beta$로 재조정합니다(0.3에서 0.7 사이로 제한). 만약 약한 증강이 대부분의 강한 증강보다 낮은 엔트로피(높은 확신도)를 가진다면, 더 높은 가중치를 받습니다.
3. 의사 레이블 구성: 최종 의사 레이블 $q(x)$는 다음과 같이 계산됩니다:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 통합 프레임워크 (USE)

USE는 TTA의 두 단계를 일관성 있게 연결합니다:

• 최적화 단계: 텍스트 프롬프트는 SE 전략을 통해 생성된 타겟 의사 레이블 $q(x)$를 사용하여 RCE 손실을 통해 최적화됩니다.
• 추론 단계: TPT가 약한 증강에 대해서만 예측하는 것과 달리, USE는 동일한 SE 전략을 적용하여 최종 예측 $\hat{p}(x)$를 생성합니다. 이를 통해 의사 레이블 추정과 최종 추론의 목적을 통일합니다.

또한, 저자들은 계산 비용을 줄이기 위한 스킵(skip) 기술을 도입합니다. 약한 증강으로부터의 예측이 선택된 강한 증강들과 동일하다면, 해당 예측이 신뢰할 수 있다고 판단하여 최적화 단계를 건너뜁니다.

특히, SE 전략은 최적화가 필요 없는 최적화 프리(optimization-free) TTA 방법으로서 독립적으로 기능할 수 있습니다.

3. 주요 기여

• TPT의 재해석: 본 논문은 TPT가 stop-gradient 타겟에 대한 역 교차 엔트로피 손실로서 주변 엔트로피 목적 함수를 프레이밍함으로써, TPT가 암묵적으로 자기 생성 의사 레이블로부터 학습한다는 것을 밝혀냈습니다.
• 자기 앙상블 (SE): 더 신뢰할 수 있는 의사 레이블을 생성하기 위해 약한 증강과 강한 증강에 적응적 가중치를 부여하는 단순하고 효과적인 전략입니다. 이는 독립적인 최적화 프리 TTA 방법으로도 기능합니다.
• 통합 프레임워크 (USE): SE 전략을 두 단계 모두에 적용함으로써 의사 레이블 생성 목적과 최종 추론 목적을 정렬하여 일관성을 보장하는 TTA 프레임워크입니다.
• 플러그 앤 플레이(Plug-and-Play) 능력: SE는 상당한 계산 오버헤드 없이 기존 TTA 방법들을 일관되게 향상시킬 수 있는 경량 모듈임을 입증했습니다.

4. 실험 결과

저자들은 ViT-B/16 및 ResNet-50 백본을 사용하여 ImageNet, 그 OOD(Out-of-Distribution) 변형들(ImageNet-A, V2, R, Sketch), 그리고 10개의 세밀한(fine-grained) 데이터셋(예: DTD, Flowers102, EuroSAT)에 대해 USE와 SE를 평가했습니다.

• 성능:
  • 최적화 프리(Optimization-Free): SE는 최적화 프리 방법들 중 최고 또는 차석의 결과를 달야냈으며, CLIP, MTA, ZERO를 능가했습니다. ResNet-50 백본에서 SE는 OOD 데이터셋에 대해 평균 47.80%의 정확도를 달성하여 많은 최적화 기반 방법들을 앞질렀습니다.
  • 최적화 기반(Optimization-Based): USE는 TPT, C-TPT, R-TPT, STS와 같은 베이스라인들을 일관되게 능가했습니다. ViT-B/16을 사용한 세밀한 데이터셋에서 USE는 평균 정확도를 64.84%(TPT)에서 65.35%로 향상시켰습니다.
  • 강건성(Robustness): 더 강력한 프롬프트 초기화인 CoOp으로 초기화했을 때, SE와 USE 모두 최상위 성능을 유지하며 다양한 사전 훈련 구성에 대한 강건성을 입증했습니다.
• 통합: SE를 기존 방법들(TPT, C-TPT, R-TPT, STS)에 플러그인 모듈로 통합하는 것은 일관된 정확도 상승을 가져왔습니다. 예를 들어, C-TPT에 SE를 추가하면 IN&O 정확도가 61.09%에서 64.27%로 증가했습니다.
• 효율성:
  • SE는 매우 효율적이며, 샘플당 0.059초의 시간과 1.06 GB의 메모리를 필요로 하는데, 이는 CLIP의 64회 포워드 패스와 유사한 수준이지만 정확도는 더 높습니다.
  • 스킵 기술을 활용하는 USE는 평균 테스트 시간을 이미지당 0.144초로 단축했습니다. 60% 이상의 테스트 샘플이 정확도 저하 없이 스킵되었습니다.

5. 의의 및 주장

본 논문은 USE의 주요 의의가 최적화 목적과 추론 목적의 통합에 있다고 주장합니다. 적응에 사용되는 의사 레이블이 최종 추론과 동일한 전략을 사용하여 구성되도록 함으로써, USE는 TTA 방법들에서 흔히 발견되는 성능 격차를 제거합니다.

저자들은 다음을 강조합니다:

1. 일관성이 핵심이다: 성능 향상은 주로 두 단계 모두에서 SE 전략이 제공하는 일관성에 기인합니다.
2. 단순성과 효과성: SE 전략은 복잡한 훈련 목적이나 추가 파라미터를 요구하지 않는 단순한 엔트로피 기반 가중치 메커니즘이지만, 실질적인 성능 향상을 이끌어냅니다.
3. 다양성: 이 프레임워크는 독립적인 최적화 프리 방법이자 일관된 향상을 제공하는 최적화 기반 방법의 강화 도구로서 모두 효과적으로 작동하는 다재다능함을 갖추고 있습니다.

결론적으로, 본 논문은 여러 증강을 생성함에 따라 발생하는 계산 오버헤드(에피소딕 TTA의 공통적 특징)가 발생하지만, 스킵 기술의 사용과 높은 정확도 이득을 고려할 때 USE가 VLM의 분포 변화에 대한 강건성을 개선하기 위한 실용적이고 효과적인 접근 방식임을 밝히고 있습니다.