기술 요약: 사전 훈련된 비전 - 언어 모델을 활용한 사후(out-of-distribution) 이상 탐지에서 모달리티 간격 존중

문제 제기

이상 탐지 (Out-of-distribution, OOD) 는 테스트 샘플이 훈련 중에 보지 못한 알려지지 않은 클래스에 속할 수 있는 오픈 월드 환경에서 머신러닝 모델의 신뢰성을 보장하는 데 필수적입니다. 최근 사전 훈련된 비전 - 언어 모델 (VLM), 특히 CLIP 의 발전으로 인-분포 (in-distribution, ID) 훈련 데이터에 접근하지 않고도 제로샷 OOD 탐지가 가능해졌으나, 기존 접근법들은 특정 패러다임에 의존합니다: 클래스 이름의 텍스트 임베딩을 클래스 프로토타입으로 간주하는 것입니다.

본 논문은 이러한 "텍스트를 프로토타입으로"라는 패러다임의 타당성에 의문을 제기합니다. 기존 방법들은 텍스트 표현이 최적의 시각적 클래스 프로토타입과 잘 정렬되어 있다는 것을 암묵적으로 가정합니다. 그러나 최근 증거들은 CLIP 기반 모델에서 텍스트와 비전 표현 사이에 지속적인 "모달리티 간격 (modality gap)"이 존재하여 서로 구별된다는 것을 시사합니다. 저자들은 오프 - 더 - 쉘 (off-the-shelf) 텍스트 프로토타입은 일반적으로 최적의 시각적 프로토타입과 정렬되지 않으며, 프롬프트 엔지니어링이나 네거티브 라벨 마이닝만으로 해결할 수 없는 고유한 구조적 간격을 생성한다고 주장합니다. 이러한 정렬 불일치는 비최적의 OOD 탐지 성능으로 이어집니다.

방법론

ID 훈련 데이터가 없는 사후 (post-hoc) 제약 조건 하에서 모달리티 간격을 해결하기 위해, 본 논문은 시각적 특징 공간 내에서 클래스 프로토타입을 직접 학습하고 업데이트하는 온라인 의사-지도 (pseudo-supervised) 프레임워크를 제안합니다.

1. 모달리티 간격의 이론적 특성화

저자들은 먼저 이상화된 지도 학습 공식 하에서 이론적 분석을 제공합니다. 최적의 시각적 클래스 프로토타입에 대한 폐쇄형 표현식을 유도하여, 이러한 프로토타입이 시각적 특징 공간의 범위 (span) 내에 완전히 위치해야 함을 증명합니다. 반면, 텍스트에서 유래된 프로토타입은 종종 이 시각적 부분 공간에 직교하는 성분을 포함합니다.

• 정리 1: 최적의 시각적 프로토타입은 시각적 특징들의 선형 결합임을 확립합니다.
• 정리 2: 텍스트 임베딩이 시각적 특징 부분 공간 외부의 성분을 포함할 때마다, 텍스트 프로토타입과 최적의 시각적 프로토타입 사이의 거리에 대해 소멸하지 않는 하한을 증명합니다. 이는 모달리티 간격을 구조적 한계로 공식화합니다.

2. 온라인 의사-지도 학습 프레임워크

제로샷 설정에서는 정답 레이블을 사용할 수 없으므로, 이 방법은 사전 훈련된 CLIP 모델의 강력한 제로샷 전이 능력을 활용하여 소프트 의사-레이블을 생성합니다.

• 의사-지도 목적 함수: 프레임워크는 하드 정답 레이블을 대신하여 사전 훈련된 VLM 의 소프트 예측을 사용하여 의사-지도 손실 함수를 구성합니다.
• 온라인 최적화: 레이블이 없는 테스트 시간 데이터 스트림을 사용하여 시각적 프로토타입을 점진적으로 업데이트하는 온라인 최적화 절차가 개발되었습니다. 이는 데이터가 도착하는 대로 처리함으로써 사후 제약을 존중합니다.
• 프로토타입 업데이트 전략:
  • ID 레이블 공간은 $L$개의 OOD 의사-클래스 (플레이스홀더) 를 포함하도록 확장됩니다.
  • 기존 OOD 점수 (예: NegLabel 에서 유래) 를 기반으로 한 하드 임계값 규칙이 들어오는 테스트 샘플을 "양성" (ID 일 가능성 높음) 또는 "음성" (OOD 일 가능성 높음) 으로 분류합니다.
  • ID 클래스 프로토타입은 샘플이 ID 로 분류될 때만 업데이트되며, OOD 의사-클래스 프로토타입은 샘플이 OOD 로 분류될 때 업데이트됩니다.
  • 불확실한 점수를 가진 샘플은 무시됩니다.
• 수렴 보장: 정리 3 은 제안된 온라인 최적화 절차의 수렴에 대한 이론적 보장을 제공하며, 누적 후회 (cumulative regret) 를 $O(\sqrt{N})$으로 제한합니다.

3. OOD 점수화

테스트 이미지에 대한 최종 OOD 점수는 원래 텍스트 임베딩에 의존하는 대신, 소프트맥스 기반 유사도 측정을 사용하여 이미지의 시각적 특징을 업데이트된 시각적 프로토타입 (ID 및 OOD 의사-클래스 모두) 과 비교하여 계산됩니다.

주요 기여

1. 이론적 통찰: 본 논문은 CLIP 기반 사후 OOD 탐지에서의 "텍스트를 프로토타입으로"라는 가정이 내재된 모달리티 간격으로 인해 근본적으로 결함이 있음을 이론적으로 입증합니다. 시각적 보정 없이는 텍스트 임베딩이 최적의 시각적 프로토타입을 완벽하게 표현할 수 없음을 증명합니다.
2. 새로운 프레임워크: 레이블이 없는 테스트 스트림과 소프트 VLM 예측을 활용하여 시각적 특징 공간에서 직접 클래스 프로토타입을 학습하는 온라인 의사-지도 프레임워크를 도입함으로써 모달리티 간격을 효과적으로 연결합니다.
3. 이론적 보장: 저자들은 온라인 최적화 알고리즘에 대한 엄격한 수렴 보장을 제공합니다.
4. 최고 수준의 성능: 이 방법은 ImageNet-1K, OpenOOD, CIFAR 데이터셋을 포함한 다양한 OOD 탐지 벤치마크에서 새로운 최고 성능을 달성하여 AdaNeg 및 NegLabel 과 같은 강력한 베이스라인을 능가합니다.

실험 결과

광범위한 실험은 제안된 방법의 유효성을 검증합니다:

• ImageNet-1K: 이 방법은 AUROC 97.75% 및 FPR95 **12.79%**를 달성하여 이전 최고 성능 (AdaNeg) 을 유의미한 차이로 능가합니다 (예: AUROC +1.09%, FPR95 -6.13%).
• OpenOOD 벤치마크: Near-OOD 및 Far-OOD 데이터셋 모두에서 일관된 개선이 관찰되어 다양한 유형의 분포 변화에 대한 강건성을 입증합니다.
• CIFAR 벤치마크: 이 방법은 CIFAR-10 및 CIFAR-100 설정에서 일관된 향상을 보입니다.
• 절대 실험 (Ablation Studies): 이 방법은 하이퍼파라미터 선택에 강건하며, 다양한 시각적 인코더 아키텍처 (ResNet-50, ViT-B/32, ViT-L/14) 에서 효과적이고 더 큰 입력 해상도로 확장 가능합니다.
• 도메인 일반화: 이 방법은 ID 데이터가 도메인 변화 (예: ImageNet-A, ImageNet-R, ImageNet-S) 를 겪을 때도 우수한 성능을 유지합니다.

중요성과 주장

본 논문은 제로샷 OOD 탐지의 현재 패러다임에서 구조적 한계를 식별하고 해결하는 데 그 주요 중요성이 있다고 주장합니다. 정적 프로토타입으로서의 텍스트 임베딩에 의존하는 것을 벗어나 테스트 시간 데이터에서 동적이고 보정된 시각적 프로토타입을 학습함으로써, 이 방법은 더 이론적으로 근거가 있고 경험적으로 효과적인 솔루션을 제공합니다.

저자들은 그들의 접근 방식이 단순한 엔지니어링 조정이 아니라 VLM 기반 OOD 탐지를 위한 프로토타입 구성 방식의 근본적인 전환이라고 강조합니다. 그들은 모달리티 간격이 네거티브 라벨 마이닝 전략과 무관한 구조적 문제이며, 그들의 프레임워크는 ID 데이터에 대한 재훈련 없이 다양한 벤치마크에서 일관된 성능 향상을 이끌어내는 이 간격을 완화하는 원칙적인 방법을 제공한다고 주장합니다.