Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning

1. 문제 정의 (Problem Statement)

배경:
비전 - 언어 모델 (VLM) 은 공유된 의미 공간에서 이미지와 텍스트를 정렬하여 제로샷 (zero-shot) 성능을 달성했습니다. 최근 연구들은 학습 가능한 프롬프트 (Prompt Tuning) 를 도입하여 성능을 향상시켰으나, 훈련 데이터 분포에 과적합되는 경향이 있어 보지 못한 도메인 (unseen domains) 에서는 일반화 성능이 떨어집니다. 이를 해결하기 위해 테스트 시간 프롬프트 튜닝 (Test-Time Prompt Tuning, TPT) 이 제안되었습니다. TPT 는 라벨이 없는 테스트 데이터에서 증강된 뷰 (augmented views) 를 생성하고, 예측 엔트로피를 최소화하여 프롬프트를 실시간으로 업데이트합니다.

핵심 문제:
기존 TPT 방법론은 신뢰할 수 없는 뷰 (noisy/uninformative views) 에 취약합니다.

1. 엔트로피 기반 필터링의 한계: 표준 엔트로피 기반 필터링은 모델의 내부 신뢰도 점수에 의존합니다. 그러나 분포 이동 (distribution shift) 상황에서는 모델이 관련 없는 배경이나 잘못된 컷 (crop) 에 대해 과도하게 높은 신뢰도 (high confidence) 를 부여하는 경우가 많습니다 (잘못된 예측을 강화함).
2. 의미론적 부재: 엔트로피는 coarse 한 초기 프롬프트 (예: "a photo of a [CLASS]") 를 기반으로 계산되므로, 미세한 속성 (fine-grained attributes) 을 구별하거나 혼란스러운 컷 내에서 객체의 정체성을 검증하는 데 한계가 있습니다.
3. 시각적 유사성의 한계: 기존 접근법 중 하나인 원본 이미지와의 코사인 유사도를 추가하는 방법 (DiffTPT 등) 은 확산 모델 (diffusion) 기반 증강에서는 효과적이지만, 효율적인 표준 증강 (standard augmentations) 에서는 뷰의 다양성을 떨어뜨리고 일반화 능력을 약화시킵니다.

따라서, 어떤 뷰가 유익한지 (informative) 를 판단하는 robust 한 뷰 선택 메커니즘이 TPT 의 성능 향상을 위해 필수적입니다.

---

2. 제안 방법론 (Methodology)

저자들은 이중 모달리티 앵커 가이드 필터링 (Dual-Modality Anchor-Guided Filtering) 프레임워크를 제안합니다. 이는 의미론적 증거 (semantic evidence) 에 기반하여 뷰를 선택하고, 이를 프롬프트 업데이트의 안정된 감독 신호로 활용합니다.

2.1. 이중 앵커 (Dual Anchors) 구성

1. 텍스트 앵커 (Text Anchor):
   • 생성: 대규모 언어 모델 (LLM) 을 활용하여 각 클래스에 대한 속성이 풍부한 텍스트 설명 (attribute-rich descriptions) 을 생성합니다 (예: "개는 부드러운 털과 처진 귀를 가짐").
   • 정렬 가중치 집계 (Alignment-Weighted Aggregation): 생성된 여러 설명 중 실제 이미지 뷰와 의미론적으로 가장 잘 맞는 설명을 선별하기 위해, 이미지 특징과 텍스트 설명 간의 정렬 점수 (alignment score) 를 계산합니다. 이를 바탕으로 설명들을 가중 평균하여 하나의 텍스트 앵커를 형성합니다. 이는 coarse 한 프롬프트의 한계를 극복하고 세밀한 클래스 의미를 포착합니다.
2. 이미지 앵커 (Image Anchor):
   • 적응적 프로토타입: 테스트 시간 동안 선택된 뷰들의 특징을 누적 평균하여 클래스별 프로토타입 뱅크 (Prototype Bank) 를 유지합니다.
   • 동적 업데이트: 현재 테스트 샘플의 분포를 반영하도록 이미지 앵커를 실시간으로 업데이트하며, 이는 텍스트 의미론을 보완하는 시각적 통계 정보를 제공합니다.

2.2. 이중 모달리티 가이드 뷰 선택 (Dual-Modality Guided View Selection)

각 증강 뷰에 대해 두 가지 앵커를 기반으로 정렬 (Alignment) 과 신뢰도 (Confidence) 를 결합한 점수를 계산합니다.

• 점수 계산: $S = \alpha \cdot \text{Alignment} + \beta \cdot \text{Confidence}$
  • 정렬 점수: 뷰가 텍스트 앵커나 이미지 앵커와 얼마나 잘 정렬되는지 (코사인 유사도).
  • 신뢰도 점수: 예측 엔트로피를 기반으로 한 불확실성 측정.
• 필터링: 텍스트 앵커와 이미지 앵커를 통해 각각 상위 뷰를 선별한 후, 두 집합의 합집합 (Union) 을 최종 선택된 뷰 세트로 사용합니다. 이를 통해 의미론적으로 일관되고 시각적으로 신뢰할 수 있는 뷰만 프롬프트 업데이트에 활용됩니다.

2.3. 적응형 앙상블 및 프롬프트 업데이트 (Adaptive Ensemble & Update)

단순히 선택된 뷰의 엔트로피를 최소화하는 대신, 신뢰도 가중 앙상블 (Confidence-Aware Ensemble) 을 통해 안정된 타겟 분포를 생성합니다.

• 다중 소스 예측: 원본 프롬프트, 텍스트 앵커, 이미지 앵커 세 가지 소스에서 예측 확률 분포를 생성합니다.
• 가중치 부여: 각 소스의 최대 확률 (confidence) 에 비례하여 가중치를 부여하고, 이를 가중 평균하여 최종 앙상블 벡터를 만듭니다. 이는 단일 소스의 오류를 보정하고 robust 한 합의를 형성합니다.
• 손실 함수: 생성된 sharpened 타겟 분포와 원본 프롬프트 예측 간의 KL 발산 (KL Divergence) 을 최소화하여 프롬프트를 업데이트합니다. 이는 모델이 과신된 잘못된 예측으로 수렴하는 것을 방지합니다.

---

3. 주요 기여 (Key Contributions)

1. 엔트로피 기반 필터링의 한계 극복: 이중 모달리티 앵커 (텍스트 + 이미지) 를 도입하여 뷰 선택 과정을 의미론적 근거에 기반하게 만들었으며, 정렬과 신뢰도를 동시에 평가하여 신뢰할 수 없는 뷰를 효과적으로 제거합니다.
2. 세밀한 의미론적 앵커 구축: LLM 기반의 속성 풍부 설명을 활용하여 coarse 한 프롬프트를 대체하고, 텍스트 앵커와 적응형 이미지 앵커를 통해 클래스의 미세한 특성과 테스트 분포의 시각적 특징을 모두 포착합니다.
3. 안정적인 감독 신호 제공: 앵커들을 보조 예측 헤드로 활용하여 신뢰도 가중 앙상블을 구성함으로써, 증강 뷰에서 안정적이고 의미론적으로 grounded 된 타겟 분포를 생성합니다.
4. 범용성과 효율성: 확산 모델 (diffusion) 과 같은 고비용 증강 없이도 표준 증강을 사용하여 SOTA 성능을 달성하며, 기존 프롬프트 튜닝 파이프라인에 경량 모듈로 쉽게 통합 가능합니다.

---

4. 실험 결과 (Results)

15 개의 다양한 벤치마크 데이터셋 (ImageNet 변형 및 10 개 다운스트림 데이터셋) 에서 광범위한 실험을 수행했습니다.

• 도메인 일반화 (Domain Generalization):
  • ImageNet-A, R, V2, Sketch 등 4 개의 OOD 데이터셋을 포함한 평균 정확도에서 기존 TPT 방법론 (TPT, DiffTPT, DynaPrompt 등) 보다 평균 3.68% 이상 향상된 성능을 보였습니다.
  • 특히 OOD 평균 정확도에서 64.12% 를 기록하여 기존 최강 기법 (DynaPrompt) 보다 3.31% 더 높은 성능을 달성했습니다.
  • CoOp 및 MaPLe 와 같은 기존 프롬프트 학습 방법과 결합했을 때에도 추가적인 성능 향상을 보여주었습니다.
• 교차 데이터셋 (Cross-Dataset) 성능:
  • Flower102, DTD, Pets 등 10 개 데이터셋에서 평균 정확도 68.81% 를 기록하여, 기존 TPT 방법론은 물론 학습된 프롬프트 방법론 (CoPrompt 등) 보다도 우수한 성능을 보였습니다.
• 효율성:
  • DiffTPT 와 같은 확산 모델 기반 방법론은 0.6 초 이상의 지연 시간을 보이지만, 제안된 방법은 0.2 초 (기존 TPT 와 동일) 의 테스트 시간으로 가장 높은 정확도를 달성하여 효율성이 뛰어납니다.
• 애블레이션 연구 (Ablation Study):
  • 텍스트 앵커와 이미지 앵커 모두 뷰 선택과 앙상블 단계에서 성능 향상에 기여함을 확인했습니다.
  • 단순 유사도 기반 선택보다 제안된 앵커 기반 선택이 OOD 성능을 크게 향상시킵니다.
  • 엔트로피 최소화 대신 KL 발산 손실과 신뢰도 가중 앙상블을 사용했을 때 가장 안정적인 성능을 보였습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 테스트 시간 적응 (Test-Time Adaptation) 분야에서 뷰 선택 (View Selection) 의 중요성을 재조명하고, 이를 해결하기 위한 새로운 패러다임을 제시합니다.

• 신뢰할 수 없는 자동화 해결: 분포 이동 상황에서 모델의 내부 신뢰도 (엔트로피) 만으로는 신뢰할 수 없음을 지적하고, 외부 지식 (LLM 생성 텍스트) 과 데이터 기반 시각적 증거 (이미지 앵커) 를 결합하여 robust 한 적응을 가능하게 했습니다.
• 실용적 가치: 고비용의 확산 모델 없이도 표준 증강을 활용하여 SOTA 성능을 달성함으로써, 실제 배포 환경 (제한된 컴퓨팅 자원, 실시간 처리 필요) 에서 적용 가능한 솔루션을 제공합니다.
• 미래 방향: 앵커 가이드 필터링은 프롬프트 튜닝뿐만 아니라 다른 적응 작업에서도 신뢰할 수 있는 감독 신호를 제공하는 기초 기술로 확장 가능성이 큽니다.

결론적으로, 본 연구는 의미론적 일관성과 시각적 일관성을 동시에 확보하는 이중 앵커 메커니즘을 통해 테스트 시간 프롬프트 튜닝의 성능과 안정성을 획기적으로 개선한 획기적인 작업입니다.