TailedCore: Few-Shot Sampling for Unsupervised Long-Tail Noisy Anomaly Detection

기술 요약: TailedCore

문제 정의
본 논문은 비지도 이상 탐지에서 실용적이면서도 도전적인 시나리오를 다룹니다: 두 가지 동시적 복잡성을 겪는 다중 클래스 데이터셋에서 단일 모델을 학습하는 문제입니다. 첫째, 데이터셋은 "헤드" 클래스(다수 샘플) 는 데이터가 풍부하지만 "테일" 클래스(소수 샘플) 는 매우 적은 샘플 (예: 1 개, 4 개, 또는 20 개) 만을 갖는 롱테일 분포를 보입니다. 둘째, 학습 데이터는 노이즈가 포함되어 있어, "정상" 학습 세트에 결함 샘플 (이상치) 이 혼입되어 있습니다.

저자들은 기존 방법들에서 중요한 **"테일 대 노이즈 트레이드오프"**를 식별했습니다. 노이즈에 강인한 모델 (예: SoftPatch) 은 희귀 샘플을 필터링하여 테일 클래스 정보를 놓치는 경향이 있습니다. 반면, 테일 클래스 포착에 효과적인 모델 (예: 탐욕적 샘플링을 통한 PatchCore) 은 종종 노이즈를 유지하여 오염된 학습 데이터에서 헤드 클래스의 성능이 저하됩니다. 기존 문헌은 명시적인 클래스 레이블 없이 클래스 불균형과 픽셀 수준의 노이즈 오염을 동시에 처리하지 못합니다.

방법론
제안된 솔루션인 TailedCore는 테일 클래스 처리와 노이즈 처리를 분리하도록 설계된 메모리 기반 이상 탐지 모델입니다. 핵심 혁신은 2 단계 메모리 구축 과정에 있습니다:

1. 노이즈 구별: 모델은 SoftPatch 와 유사하게 이상치 점수 (Local Outlier Factor 기반) 를 사용하여 학습 세트에서 결함 패치를 필터링함으로써 기본 메모리 뱅크 ($M_{clean}$) 를 먼저 구축합니다. 이는 기본 메모리가 노이즈에서 자유롭도록 보장하지만, 테일 클래스 표현이 부족할 수 있습니다.
2. TailSampler (소수 샘플링): 누락된 테일 클래스 정보를 복구하기 위해 저자들은 TailSampler라는 새로운 소수 샘플러를 도입합니다.
   • 클래스 크기 예측: TailSampler 는 정답 레이블 없이 모든 학습 샘플의 "클래스 크기"(카디널리티) 를 추정합니다. 이는 임베딩 공간에서 클래스 간 및 클래스 내 유사성 분포가 반사적 대칭성을 보인다는 가설에 기반합니다.
   • 적응형 이웃: 각 샘플 임베딩에 대해 이웃을 정의하기 위한 적응형 각도가 계산됩니다. 클래스 크기는 단순한 카운팅이 아니라 이웃들의 이웃 크기 (즉, "이웃의 이웃" 접근법) 의 **최빈값 (mode)**을 취하여 추정됩니다. 이는 샘플이 작은 (테일) 클래스에 속하는지 큰 (헤드) 클래스에 속하는지에 대한 견고한 추정을 제공합니다.
   • 엘보우 감지: 시스템은 추정된 클래스 크기 분포에 엘보우 방법을 적용하여 "테일 클래스"에 대한 최대 크기 임계값 ($K_{max}$) 을 결정합니다.
   • 배타적 샘플링: 추정된 클래스 크기가 $\le K_{max}$인 샘플은 테일 클래스 인스턴스로 식별됩니다. 이들의 패치 특징은 배타적으로 샘플링되어 테일 메모리 뱅크 ($M_{tail}$) 를 형성합니다.
3. 메모리 증강: TailedCore 의 최종 메모리 뱅크는 노이즈가 제거된 기본 메모리와 테일 전용 메모리의 합집합입니다: $M_{TailedCore} = M_{clean} \cup M_{tail}$. 이를 통해 모델은 소수 클래스의 핵심 특징을 유지하면서도 노이즈에 강인해질 수 있습니다.

주요 기여

• 문제 공식화: 본 논문은 생산 라인의 다양한 속도와 결함이 있는 학습 데이터를 갖는 산업 응용 분야에서 일반적인 비지도 롱테일 노이즈 이상 탐지라는 특정 설정을 정의하고 벤치마크합니다.
• TailSampler: 클래스 레이블 없이 임베딩 유사성의 반사적 대칭성에 의존하여 소수 클래스 인스턴스를 배타적으로 집계하는 새로운 클래스 크기 예측기 및 소수 샘플러입니다.
• TailedCore 모델: 테일 클래스 증강과 노이즈 구별을 독립적으로 처리함으로써 테일 대 노이즈 트레이드오프를 성공적으로 극복하는 메모리 기반 탐지기입니다.
• 종합적 벤치마킹: 저자들은 Pareto 및 스텝형 테일 분포를 가진 수정된 MVTecAD 및 VisA 데이터셋에서 광범위한 실험을 제공하며, TailedCore 가 이미지 수준 분류 및 픽셀 수준 분할 모두에서 PatchCore, SoftPatch, HVQ, WinCLIP 및 AnomalyCLIP 과 같은 파운데이션 모델 기반 접근법을 포함한 최첨단 방법들보다 우수함을 입증합니다.

결과
실험 결과는 TailedCore 가 다양한 테일 분포 (Pareto, step-K=4, step-K=1) 와 노이즈 비율에 걸쳐 기존 베이스라인보다 일관되게 우수함을 보여줍니다.

• 성능: TailedCore 는 특히 헤드와 테일 성능을 균형 있게 조정하는 "전체 (all)" 카테고리에서 우수한 이미지 수준 및 픽셀 수준 AUROC 점수를 달성합니다. 예를 들어, step-K=1 인 MVTecAD 에서 TailedCore 는 이미지 수준 AUROC 가 94.44% 로, PatchCore(80.01%) 와 SoftPatch(75.40%) 를 크게 앞섭니다.
• 절대 실험 (Ablation Studies): 연구는 클래스 크기 예측기 (TailSampler) 가 결정적임을 확인합니다. 소수 샘플 증강을 제거하면 테일 클래스 성능이 급격히 저하됩니다. 또한 이 방법은 클래스 크기 추정에서 "다수결 (majority vote)" 메커니즘이 단순 평균화나 Top-1 선택보다 더 견고함을 보여줍니다.
• 강건성: 모델은 학습 세트의 노이즈 비율이 증가해도 높은 성능을 유지하는 반면, 다른 방법들은 크게 저하됩니다.

의의 및 주장
본 논문은 TailedCore 가 데이터가 불균형하고 오염된 실제 세계 이상 탐지 시나리오를 처리하는 데 있어 중요한 진전을 나타낸다고 주장합니다. 노이즈 강건성과 테일 클래스 민감성 사이의 내재적 트레이드오프를 해결함으로써, 이 작업은 다양한 생산 속도와 불완전한 데이터 수집을 관리해야 하는 기업들이 다양한 제품 라인을 다루는 산업 응용 분야에 견고한 기반을 제공합니다. 저자들은 그들의 접근 방식이 지도식 레이블이나 복잡한 프롬프트 엔지니어링을 요구하지 않으므로 비지도 설정에 대한 실용적인 해결책이라고 강조합니다. 코드와 데이터 생성 프로토콜은 해당 분야의 추가 연구를 촉진하기 위해 공개되었습니다.