From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift

기술 요약: 공변량 변화(Covariate Shift) 하에서의 강건한 Positive–Unlabeled 학습을 위한 로컬 기하학에서 글로벌 의사 라벨링(Pseudo-Labeling)으로의 전이

문제 정의
입력 분포 $P(X)$는 변하지만 조건부 라벨링 함수 $P(Y|X)$는 일정하게 유지되는 공변량 변화(covariate shift)를 탐지하는 것은 신뢰할 수 있는 비전 시스템을 배포하는 데 매우 중요합니다. 기존 연구는 주로 도메인 적응(domain adaptation)이나 일반화(generalization)에 집중되어 있으며, 이러한 변화를 명시적으로 '탐지'하는 것에 대한 연구는 미진한 상태입니다. 현재의 탐지 방법들은 주로 완전 지도 학습(fully supervised)에 의존하며, 이는 원래 분포(in-distribution)와 변화된 분포(shifted distribution) 모두에서 라벨링된 예시를 필요로 합니다. 이러한 요구 사항은 특히 부정적(negative, 변화된) 샘플을 확보하기 어렵거나 비용이 많이 드는 상황에서는 실무적으로 불가능할 수 있습니다.

나아가, 표준적인 Positive–Unlabeled (PU) 학습을 공변량 변화 탐지에 직접 적용하는 것은 문제가 많습니다. 고전적인 PU 방법론은 양의 분포(positive distribution)와 음의 분포(negative distribution) 사이의 충분한 분리 가능성을 가정하는 편향되지 않은 리스크 추정치(unbiased risk estimators)에 의존합니다. 그러나 공변량 변화 하에서는 인-도메인 데이터와 변화된 데이터가 특징 공간(feature space)에서 상당 부분 겹치는 경우가 많습니다. 이러한 중첩은 총 변동 거리(total variation distance)를 작게 만들고 내재적 베이즈 리스크(intrinsic Bayes risk)를 높여, 글로벌 리스크 추정을 불안정하게 만들고 노이즈에 민감하게 만듭니다.

방법론: S-PUNA
이러-한 과제를 해결하기 위해 저자들은 **S-PUNA (Spectral PU Neighborhood Annotation)**를 제안합니다. 이는 글로벌 감독 없이도 시각적 특징의 로컬 매니폴드 구조를 활용하여 변화된 데이터를 점진적으로 발견하는 기하학 기반 프레임워크입니다.

1. 로컬 매니폴드 확장 (Local Manifold Expansion):
   양의 라벨만을 전파하는 고전적인 k-NN-PU 방식과 달리, S-PUNA는 양의 앵커 세트와 음의 앵커 세트를 대칭적으로 구축합니다. 구체적으로 기하학적 미세함에 민감한 사전 학습된 Vision Transformer (ViT) 특징 공간(특히 6번째 블록)에서 시작하여, 양의 도메인으로부터의 거리 점수를 기반으로 의사 라벨링된 세트를 초기화합니다. 그 후, 현재의 양의 서포트(positive support)와는 통계적으로 일치하지 않지만 새롭게 형성되는 음의 매니폴드와는 일치하는 샘플들을 식별함으로써 이 세트들을 반복적으로 확장합니다.

2. 대칭적 전파 (Symmetric Propagation):
   각 반복 단계에서 알고리즘은 후보 샘플들이 현재의 양의 뱅크(positive bank)와 음의 뱅크(negative bank) 각각의 $k$-최근접 이웃들에게 갖는 평균 거리를 계산합니다. 스코어링 메커니즘을 통해 양의 세트를 확장할 후보(양의 샘플에 가까운 샘플)와 음의 세트를 확장할 후보(양의 샘플에서 멀지만 응집된 클러스터를 형성하는 샘플)를 순위화합니다. 이 반복적인 과정은 음의 매니폴드를 점진적으로 드러냄으로써 결정 경계(decision boundary)를 정교화합니다.

3. 스펙트럼 엔트로피 정지 기준 (Spectral Entropy Stopping Criterion):
   반복적인 의사 라벨링에서 발생하는 핵심적인 과제는 알고리즘이 인-도메인 샘플을 음의 세트에 잘못 포함시키는 "의미론적 드리프트(semantic drift)"입니다. S-Per-PUNA는 **스펙트럼 엔트로피(spectral entropy)**를 기반으로 한 새로운 정지 기준을 도입합니다. 이 방법은 발견된 음의 세트의 공분산 행렬의 고유값 분포를 모니터링하여, 그 내재적 차원성과 구조적 복잡성을 측정합니다.

   • 이론적 근거: 저자들은 음의 세트가 양의 샘플로 오염됨에 따라 스펙트럼 엔트로피가 엄격하게 감소한다는 것을 증명했습니다 (Lemma 1).
   • 메커니즘: 확장이 진행되는 동안 스펙트럼 엔트로피가 안정화되거나 감소하면, 즉 음의 매니폴드가 충분히 포착되었으나 중첩 영역을 침범하지 않았음을 나타낼 때 확장을 중단합니다.

4. 지식 증류 (Knowledge Distillation):
   반복적인 확장이 수렴하면, 비매개변수적(non-parametric) 이웃 구조가 파라미터 기반의 딥 뉴럴 네트워크(DNN) 분류기로 증류됩니다. 이 단계는 결정 경계를 매끄럽게 하여 PU 단계에서 발견된 로컬 기하학적 분리도를 보존하면서 분산을 줄여줍니다.

주요 기여

• 새로운 문제 정식화: 본 논문은 공변량 변화 탐지를 PU 학습의 관점에서 체계적으로 조사한 최초의 연구이며, 중첩이 존재하는 상황에서 왜 표준적인 PU 리스크 최소화가 실패하는지에 대한 이론적 통찰을 제공합니다.
• S-PUNA 프레임워크: 글로벌 리스크 추정 대신 로컬 매니폴드 확장을 통해 변화된 분포를 점진적으로 드러내는 기하학 인식형 의사 라벨링 프레임워크를 도입했습니다.
• 스펙트럼 엔트로피 기준: 조기 오염을 감지하고 의사 라벨링 드리프트를 방지하는 원칙적인 정지 메커니즘을 제시하며, 이는 스펙트럼 엔트로피와 혼합 오염(mixture contamination) 사이의 관계에 의해 이론적으로 뒷받침됩니다.
• 벤치마크 및 성능: 저자들은 새로운 공변량 변화 벤치마크를 구축하였으며, S-PUNA가 완전 지도 학습 방법의 성능에 놀라울 정도로 근접하며 PU 설정에서 최첨단(SOTA) 성능을 달ramble 함을 입증했습니다.

실험 결과
저자들은 "근접 변화(near shifts)"(예: ImageNet-V2, GenImage와 같은 미세한 분포 변화)와 "원거리 변화(far shifts)"(예: ImageNet-C, ImageNet-R와 같은 심각한 손상 또는 스타일화)를 모두 포함하는 ImageNet-1K, TinyImageNet, EuroSAT의 세 가지 주요 벤치마크에서 S-PUNA를 평가했습니다.

• 성능: S-PUNA는 고전적인 PU 베이스라인(예: Dist-PU, DC-PU, saPU, LaGAM)보다 일관되게 우수한 성능을 보였습니다. ImageNet-1K 근접 변화 시나리오에서 S-PUNA는 97.89% AUROC를 달성하여, 가장 강력한 베이스라인인 Dist-PU(84.48%)를 13% 이상 앞질렀으며, 95% 참 양성률(TPR)에서의 거짓 양성률(FPR95)을 35.05%에서 9.69%로 낮추었습니다.
• 지도 학습 방법과의 비교: 여러 설정에서 S-PUNA는 상한선 역할을 하는 완전 지도 학습 분류기의 성능에 근접했습니다. 예를 들어, ImageNet-C에서 S-PUNA는 98.51% AUROC를 기록하여 지도 학습 베이스라인에 거의 근접했습니다.
• 강건성: 이 방법은 다양한 변화 유형과 데이터셋 크기(TinyImageNet, EuroSAT)에 걸쳐 강력한 일반화 능력을 보여주었으며, 다른 PU 방법들이 근접 변화와 원거리 변화 사이에서 큰 성능 격차를 보일 때도 높은 안정성을 유지했습니다.
• 비지도 베이스라인: 본 논문은 또한 순수 비지도 OOD(Out-of-Distribution) 및 이상 탐지 방법(예: ReAct, PatchCore)이 근접 공변량 변화에서 종종 무작위 수준에 가까운 성능을 보이며 크게 고전하는 반면, S-PUNA는 약한 감독(weak supervision)을 효과적으로 활용하여 이를 극복함을 강조합니다.

의의 및 주장
본 논문은 신뢰할 수 있는 공변량 변화 탐지를 위해 엄격한 지도 신호가 필수 조건은 아니라고 주장합니다. 특징 표현의 내재적 기하학적 구조를 효과적으로 활용함으로써, 약한 감독 기반의 PU 학습이 매우 강건하고 최첨단인 성능을 달성할 수 있음을 보여줍니다. 이 연구는 중첩 상황에서의 글로벌 PU 리스크 추정의 이론적 한계와 실제적인 탐지 필요성 사이의 간극을 메우며, 라벨링된 변화 데이터가 없는 실제 환경에서 확장 가능한 솔루션을 제공합니다. 저자들은 자신들의 접근 방식이 기존의 비지도 탐지기들이 가장 어려워하는 영역인 "근접 변화(near-shift)" 레짐에서 특히 효과적임을 강조합니다.