Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

기술 요약: 편향 제거 부정적 마이닝이 사전 훈련된 비전 - 언어 모델을 통한 분포 외 검출을 개선함

문제 제기
분포 외 (OOD) 검출은 테스트 데이터가 보이지 않는 클래스를 포함할 수 있는 오픈 월드 시나리오에서 머신러닝 모델의 신뢰성을 보장하는 데 필수적입니다. 사전 훈련된 비전 - 언어 모델 (VLM) 인 CLIP 과 같은 모델들은 In-Distribution(ID) 라벨과 "부정적" 라벨 (ID 와 의미적으로 구별됨) 간의 의미적 친밀도를 활용하여 사후 OOD 검출에서 유망한 결과를 보여주었지만, 기존 접근법들은 중요한 이론적 한계에 직면해 있습니다. NegLabel 과 같은 현재 방법들은 WordNet 과 같은 레이블이 없는 "와일드 (wild)" 코퍼스 데이터에서 부정적 라벨을 채굴하기 위해 코사인 유사도와 같은 휴리스틱 규칙에 의존합니다. 저자들은 이러한 휴리스틱 규칙이 진정한 의미적 비유사성을 포착하기 위한 이론적 보장을 결여하고 있어 "부정적 채굴 편향"을 초래한다고 주장합니다. 이 편향은 채굴된 부정적 집합이 실제로 ID 클래스와 의미적으로 유사한 "거짓 부정 (false negatives)"으로 필연적으로 오염되기 때문에 발생하며, 이로 인해 비최적의 OOD 점수 함수가 도출됩니다. 다루어진 핵심 과제는 와일드 코퍼스에 대한 정답 유사성 정보나 추가적인 인간 피드백 없이 이 샘플링 편향을 완화하는 방법입니다.

방법론
제안된 방법인 편향 제거 부정적 채굴 (Debiased Negative Mining) 은 부정적 라벨의 샘플링 편향을 교정하기 위해 부정적 라벨의 실제 분포를 간접적으로 근사하는 이론적 프레임워크를 도입합니다. 이 접근법은 다음과 같은 단계에 기반합니다:

1. 분포 모델링: 저자들은 Huber 오염 모델을 사용하여 레이블이 없는 와일드 데이터 분포 ($Q_Y$) 를 진정한 양의 라벨 ($P^+_Y$) 과 진정한 부정적 라벨 ($P^-_Y$) 의 혼합으로 모델링합니다: $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$. 여기서 $\tau$는 하이퍼파라미터로 취급되는 사전 확률입니다.
2. 이론적 유도: 혼합 모델을 재배열하여 진정한 부정적 분포를 $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$로 표현합니다. 저자들은 이 관계에 기반하여 편향 없는 OOD 점수 함수를 유도합니다.
3. 점근적 근사: 계산적으로 비용이 많이 드는 추정을 피하기 위해, 이 방법은 지배 수렴 정리를 활용하여 부정적 라벨의 수가 무한대에 가까워질수록 점수 함수가 와일드 분포와 양의 분포의 기대값에 의존하는 형태로 수렴함을 보여줍니다.
4. 몬테카를로 중요도 샘플링: 최종 편향 제거 점수 함수는 몬테카를로 추정기로 구현됩니다. 이는 다음을 요구합니다:
   • 와일드 코퍼스 샘플링 ($u_i$): $\alpha$-최근접 이웃을 사용하여 국소 밀도에 기반하여 와일드 코퍼스에서 대표 샘플을 선택함으로써 $Q_Y$에 대한 기대값을 근사합니다.
   • 양의 라벨 합성 ($v_i$): 와일드 코퍼스에서 진정한 양의 라벨은 알 수 없으므로, 알려진 ID 라벨의 임베딩에 가우시안 노이즈를 추가하고 정규화하는 의미 보존 변환을 적용하여 양의 특징을 합성합니다.
   • 점수 계산: 최종 OOD 점수는 ID 라벨 친밀도와 와일드 코퍼스 기대값 및 합성된 양의 기대값 사이의 가중치 차이로 계산되어, 거짓 부정의 오염을 효과적으로 상쇄합니다.

주요 기여

• 이론적 프레임워크: 이 논문은 휴리스틱 채굴에 내재된 "거짓 부정" 문제를 해결하기 위해 정답 유사성 또는 비유사성 정보를 요구하지 않고 부정적 라벨의 샘플링 편향을 교정하는 새로운 이론적 프레임워크를 개발합니다.
• 실용적 구현: 저자들은 이 교정을 효율적인 중요도 샘플링 전략으로 구현하여, 추가적인 감독 없이 양의 예시 (ID 라벨) 와 레이블이 없는 와일드 데이터에 대한 접근성만으로도 작동하도록 합니다.
• 최고 수준의 성능: 광범위한 실험은 이 방법이 다양한 OOD 검출 벤치마크, 다양한 CLIP 아키텍처 (ViT-B/32, ViT-L/14, ResNet-50), 그리고 다양한 입력 해상도에서 새로운 최고 수준의 결과를 달성함을 보여줍니다.
• 강건성: 이 방법은 도메인 이동 시나리오 (예: ImageNet-A, ImageNet-R, ImageNetV2) 에서 강력한 일반화와 강건성을 보여주며, 기존 제로샷 방법들을 능가합니다.

실험 결과
이 방법은 ID 라벨이 있는 ImageNet-1K 벤치마크에서 평가되었으며, iNaturalist, SUN, Places365, Textures 를 포함한 OOD 데이터셋에 대해 테스트되었습니다.

• 성능: 제안된 방법은 평균 AUROC 94.52% 및 FPR95 **22.37%**를 달성하여, 이전 최고 제로샷 방법인 NegLabel(94.21% AUROC, 25.40% FPR95) 을 능가했습니다.
• 절차 분석: 이 방법은 다양한 시각 백본 (ViT-B/32, ViT-L/14, ResNet-50) 과 입력 해상도 (224x224 대 336x336) 에서 NegLabel 일관적으로 능가했습니다.
• 코퍼스 민감도: 이 방법은 다른 코퍼스 소스 (Common-20K 및 품사 태그) 로 테스트되었을 때 NegLabel 보다 우수한 성능을 보여주어 와일드 데이터 선택의 유연성을 나타냈습니다.
• 하이퍼파라미터: 이 방법은 사전 확률 $\tau$, 노이즈 강도 $\sigma$, 샘플링된 라벨 수 $L$을 포함한 광범위한 하이퍼파라미터 범위에서 안정적인 것으로 나타났습니다.

의의
이 논문은 부정적 라벨 채굴이 성공적인 휴리스틱이었음에도 불구하고, 해결되지 않은 거짓 부정의 문제로 인해 그 잠재력이 완전히 발휘되지 못했다고 주장합니다. 이 편향에 대한 이론적 교정을 제공함으로써, 이 연구는 VLM 의 OOD 검출 잠재력을 "해방"시킵니다. 저자들은 이 접근법이 와일드 코퍼스에 대한 추가적인 훈련 데이터나 인간 피드백 없이 이러한 이점을 달성함으로써 제로샷 OOD 검출을 위한 실용적이고 강건한 해결책이 된다고 강조합니다. 이 연구는 미래 방향이 사전 훈련된 멀티모달 대규모 언어 모델을 통합하는 것을 포함할 수 있음을 시사하지만, 현재의 기여는 기존 VLM 프레임워크 내에서 부정적 채굴 과정을 정교화하는 데 초점을 맞추고 있습니다.