Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

기술 요약: 소량 데이터 기반 OOD 탐지에서의 모달리티 갭 완화

문제 정의
비전-언어 모델(VLM), 특히 CLIP은 OOD(Out-of-Distribution, 분포 외) 탐지 분야에서 두드러진 주목을 받고 있다. 그러나 텍스트 프로토타입에만 의존하는 기존 방식(예: MCM)은 "모달리티 갭(modality gap)" 문제에 직면한다. 이는 이미지 임베딩과 텍스트 임베딩이 임베딩 공간 내에서 서로 다른 영역을 점유하는 현상을 의미한다. 이러한 분리는 OOD 이미지가 의미론적 관련성이 아닌 공간적 근접성으로 인해 ID(In-Distribution, 분포 내) 텍스트 프로토타입과 높은 유사성을 보이게 만들어, 높은 허위 양성률(FPR)을 초래한다. 소량 데이터 튜닝 방법들이 존재하기는 하지만, 이들은 주로 부정적 텍스트 프롬프트를 학습하는 데 집중할 뿐, 이미지와 텍스트 모달리티 간의 근본적인 불일치를 명시적으로 해결하지는 못한다.

방법론: SUPREME
저자들은 모달리티 갭을 완화하기 위해 SUPREME(CLIP을 이용한 OOD 탐지를 위한 소량 데이터 튜닝 프레임워크)을 제안한다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어진다:

1. 멀티 모달 프로토타입 (이론적 및 경험적 토대):
   본 논문은 추가 학습 없이도 ID 이미지 프로토타입을 ID 텍스트 프로토타입과 함께 통합하는 것이 OOD 탐지를 개선한다는 점을 먼저 입증한다. 각 클래스에 대한 이미지 임베딩을 평균화함으로써, 저자들은 **멀티 모달 프로토타입 점수($S_{MMP}$)**를 정의한다. 이론적 분석(정리 1)과 경험적 결과는 이러한 이중 프로토타입 접근 방식이 ID와 OOD 샘플 사이의 점수 분리도를 높여, 모달리티 갭의 부정적인 영향을 효과적으로 감소시킨다는 것을 보여준다.

2. 편향된 프롬프트 생성 (Biased Prompt Generation, BPG):
   소량 데이터 튜닝 과정에서의 일반화 성능을 더욱 향상시키기 위해, SUPREME은 BPG를 도입한다. 학습 가능한 컨텍스트와 이미지 임베딩에만 조건화되는 기존 방법들과 달리, BPG는 다음 세 가지 구성 요소를 바탕으로 텍스트 프로토타입을 조건화한다:

• 학습 가능한 컨텍스트 토큰.
• 매핑된 이미지 임베딩 ($m(I)$).
• 가우시안 기반 추정 이미지 도메인 편향 ($\mathcal{N}(\mu, \Sigma)$).
  이 편향은 ID 이미지 임베딩의 분포로부터 추정된다. 프롬프트 생성에 이 편향을 포함함으로써, 이 방법은 제한된 소량 데이터에 대한 과적합을 방지하고 텍스트 프로토타입을 실제 ID 이미지 분포에 더 가깝게 정렬하여 이미지-텍스트 융합을 강화한다.

3. 이미지-텍스트 일관성 (Image-Text Consistency, ITC):
   모달리티 갭을 직접적으로 최소화하기 위해, SUPREME은 두 개의 학습 가능한 매핑인 이미지-투-텍스트 매핑($f_{img-txt}$)과 텍스트-투-이미지 매핑($f_{txt-img}$)을 사용한다. 이들은 CLIP 백본을 고정한 상태에서 두 가지 손실 함수를 통해 최적화된다:

• 상호 모달리티 손실 ($\ell_{inter}$): 매핑된 임베딩과 원래의 대응 임베딩 사이의 거리를 최소화한다 (예: $f_{img-txt}(I)$가 텍스트 프로토타입과 정렬되도록 함).
• 모달리티 내 손실 ($\ell_{intra}$): 정보 손실을 방지하기 위해 매핑된 임베딩으로부터 원래의 임베딩을 재구성한다 (예: $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. 일반화된 멀티 모달 프로토타입 점수 ($S_{GMP}$):
   멀티 모달 연구 결과를 바탕으로, 저자들은 새로운 OOD 스코어링 함수인 $S_{GMP}$를 제안한다. 이 점수는 단일 모달 및 교차 모달 유사성을 모두 활용한다. 이는 다음 항목들 간의 최대 유사도 평균을 계산한다:

• 원래의 이미지 임베딩 ($I$)과 텍스트/이미지 프로토타입 간의 유사도.
• 매핑된 이미지 임베딩 ($I' = f_{img-txt}(I)$)과 텍스트/이미지 프로토타입 간의 유사도.
  이러한 통합은 원래의 표현과 정렬된 표현 모두가 최종 결정에 기여하도록 하여 견고성을 높인다.

주요 기여

• 모달리티 갭 분석: 본 논문은 모달리티 갭이 VLM 기반 OOD 탐지에 부정적인 영향을 미치며, 이미지 프로토타입을 통합하는 것이 학습 없이도 이 효과를 완화한다는 이론적 및 경험적 증거를 제공한다.
• SUPREME 프레임워크: BPG(도메인 편향을 통한 일반화 개선)와 ITC(일관성 손실을 통한 모달리티 갭 감소)를 포함하는 새로운 소량 데이터 튜닝 방법을 제시한다.
• 새로운 스코어링 지표: 멀티 모달 프로토타입과 교차 모달 유사성을 활용하여 ID와 OOD 분포 간의 분리도를 개선하는 $S_{GMP}$를 도입한다.
• 최첨단 성능: 기존의 제로샷 및 소량 데이터 OOD 탐지 방법들을 지속적으로 능가하는 광범위한 실험 결과를 보여준다.

실험 결과
저자들은 ImageNet-1k 및 ImageNet-100을 ID 데이터셋으로, 네 가지 다양한 OOD 데이터셋(iNaturalist, SUN, Places, Texture) 및 OpenOOD 벤치마크를 대상으로 SUPREME을 평가하였다.

• ImageNet-1k: SUPREME은 평균 FPR95 20.70% 및 AUROC **95.38%**를 달성하여, 강력한 베이스라인인 NegPrompt(23.01% FPR95)와 LoCoOp(28.66% FPR95)을 능가했다.
• ImageNet-100: 이 방법은 평균 FPR95 8.47% 및 AUROC **98.08%**를 기록하며, CoOp 및 CoCoOp을 크게 앞질렀다.
• Hard OOD (ImageNet-10/20): SUPREMEN은 의미론적 중첩이 높은 시나리오에서도 강건함을 입증하며, 양방향 모두에서 가장 낮은 FPR95(4.10% 및 3.60%)를 달성했다.
• 절제 연구 (Ablation Studies): BPG 또는 ITC를 제거하면 성능이 크게 저하되어(예: FPR95가 약 28%까지 상승), 두 모듈의 필요성을 확인시켜 주었다. 또한 $S_{MCM}$ 대신 $S_{GMP}$를 사용하는 것이 측정 가능한 개선을 가져왔다.
• ID 정확도: SUPREME은 ImageNet-1k에서 71.8%의 Top-1 정확도를 유지하며, 다른 OOD 중심 방법들보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 SUPREME이 현재 VLM 기반 OOD 탐정의 핵심적 한계인 모달리티 갭을 해결한다고 주장한다. 텍스트 전용 프로토타입을 넘어 이미지와 텍스트 공간을 정렬하는 메커즘(BPG 및 ITC를 통해)을 도입함으로써, 이 방법은 허위 양성을 크게 줄인다. 저자들은 이 접근 방식이 훈련 중에 OOD 데이터에 접근할 필요 없이, 오직 소량의 ID 데이터(클래스당 16 샷)만을 사용하여 신뢰성을 개선한다는 점을 강조한다. 이 연구는 모달리티 간의 관계를 명시적으로 모델링하는 것이 실제 배포 환경에서 견고한 OOD 탐지를 위해 필수적임을 시사한다.