Continual-MEGA: A Large-scale Benchmark for Generalizable Continual Anomaly Detection

기술 요약: Continual-MEGA: 일반화 가능한 지속적 이상 탐지를 위한 대규모 벤치마크

문제 정의

이상 탐지(AD)는 다양한 도메인의 품질 관리에서 매우 중요하지만, 기존 모델들은 역동적인 실제 배포 시나리오에서 어려움을 겪고 있습니다. 전통적인 접근 방식은 정적이고, 비지도 학습 기반이거나, 클래스별 설정인 경우가 많아, 새로운 객체 카테고리나 결함 유형이 등장하는 순차적으로 도착하는 태스크에 적응하는 데 실패합니다. 매번 새로운 태스크를 위해 모델을 처음부터 다시 학습시키는 것은 계산 비용이 많이 들며, 데이터 보관 정책 및 개인정보 보호 규정으로 인해 종종 불가능합니다. 더욱이, 이상 샘플의 극단적인 희소성 때문에 과거의 결함 패턴을 다시 수집하는 것이 어렵습니다. 이는 파괴적 망각(catastrophic forgetting)으로 이어집니다.

최근 지속 학습(CL)과 제로샷 학습(ZSL)의 발전이 잠재적인 해결책을 제시하고 있지만, 기존 평가 벤치마크(예: MVTec-AD, VisA)는 규모와 다양성 측면에서 한계가 있습니다. 이들은 지속적 적응(Continual Zero-Shot Learning, 또는 CZSL) 이후 미학습 클래스로 일반화하는 능력이나, 실제 산업 환경에서 발견되는 높은 변동성을 테스트하기에 불충분합니다. 지속적 AD 시스템의 일반화 능력과 적응력을 엄격하게 평가하기 위해 다양한 공개 데이터셋과 새로운 고변동성 데이터를 통합한 대규모 벤치마크가 부족한 실정입니다.

방법론

Continual-MEGA 벤치마크

저자들은 지속적 및 제로샷 능력을 평가하기 위해 설계된 대규모 벤치마크인 Continual-MEGA를 소개합니다. 이 벤치마크는 7개의 기존 공개 데이터셋(MVTec-AD, VisA, Real-IAD, VIADUCT, BTAD, MPDD)을 새롭게 큐레이션된 데이터셋인 ContinualAD와 통합합니다.

ContinualAD 데이터셋:

• 규모 및 다양성: 30개 클래스와 14,655개의 정상 이미지 및 15,827개의 이상 이미지를 포함합니다.
• 높-변동성: 클래스 내 이미지가 시각적으로 유사한 기존 데이터셋과 달리, ContinualAD는 현저히 높은 픽셀 수준의 변동성을 보입니다. 이는 10가지 서로 다른 장치(스마트폰부터 태블릿까지)를 사용하여 다양한 조건에서 객체를 캡처하고, 다양한 결함 유형(균열, 구멍, 부패, 스크래치 등)을 유도함으로써 달성되었습니다.
• 주석(Annotation): 이상 영역은 폴리곤 마스크를 사용하여 픽셀 수준에서 주석이 달렸습니다.

평가 시나리오:
본 벤치마크는 모델 성능의 다양한 측면을 테스트하기 위해 세 가지 별개의 시나리오를 정의합니다:

1. 시나리오 1 (표준 CL): 85개의 베이스 클래스에서 사전 학습을 수행한 후, 증분 방식(태스크당 5, 10 또는 30개 클래스 도입)으로 60개의 새로운 클래스에 대해 지속 학습을 수행합니다.
2. 시나리오 2 (CZSL): 58개의 베이스 클래스(MVTec-AD 및 VisA 제외)에서 사전 학습을 수행한 후, 60개의 새로운 클래스에 대해 지속 학습을 수행합니다. 제로샷 일반화는 홀드아웃(held-out)된 MVTec-AD 및 VisA 데이터셋에 대해 평가됩니다.
3. 시나리오 3 (ContinualAD의 효과성): 시나리오 2와 유사하지만, 새로운 데이터셋의 영향을 구체적으로 측정하기 위해 학습 스트림에서 ContinualAD 데이터셋을 제외합니다.

지표:
성능은 이미지 수준의 AUROC와 픽셀 수준의 평균 정밀도(AP)를 기반으로 한 평균 정확도(ACC)와, 이전 태스크에 대한 성능 저하를 정량화하는 망각 측정치(Forgetting Measure, FM)를 사용하여 측정됩니다.

제안된 베이스라인: ADCT

이 벤치마크를 해결하기 위해, 저자들은 CLIP(Contrastive Language-Image Pre-training) 프레임워크를 기반으로 구축된 베이스라인 방법인 **ADCT(Anomaly Detection across Continual Tasks)**를 제안합니다. 주요 구성 요소는 다음과 같습니다:

• 혼합 전문가(Mixture-of-Experts, MoE) 어댑터: CLIP 시각 인코더의 네 가지 특정 블록에 경량 MLP 어댑터를 삽로합니다. 각 태스크(및 베이스 세트)에 대해 별도의 어댑터가 학습됩니다. 추론 시에는 지식 보존을 위해 모든 어댑터의 평균($A_{avg}$)이 사용됩니다.
• 합성 특징 생성: 데이터 부족 문제를 극복하고 픽셀 수준의 국지화(localization)를 개선하기 위해, 시각적 특징을 어댑터에 통과시키기 전에 가우시안 노이즈를 추가하여 합성 이상 특징을 생성합니다. 이를 통해 모델은 광범한 실제 이상 데이터 없이도 다양한 이상 패턴을 학습할 수 있습니다.
• 텍스트 프롬프트: 일반화된 텍스트 프롬프트를 사용하여 정상 및 이상 상태에 대한 텍스트 특징을 추출함으로써 제로샷 능력을 용이하게 합니다.

주요 기여

1. Continual-MEGA 벤치마크: 기존 공개 데이터셋을 고변동성 ContinualAD 데이터셋과 결려 지속적 AD 연구를 위한 데이터의 양과 다양성을 크게 확장한 새로운 대규모 벤치마크를 도입했습니다.
2. 포괄적 평가: 다양한 최신 AD 방법들(VLM 기반, 지속 학습 특화, 정상 샘플 전용 접근법 포함)에 대한 광범-위한 평가를 통해, 특히 픽셀 수준의 결함 국지화 및 미학습 클래스에 대한 일반화 능력에서 상당한 개선 여지가 있음을 밝혀냈습니다.
3. ADCT 베이스라인: 경량 MoE 스타일의 어댑터와 특징 합성을 결합한 단순하면서도 효과적인 베이스라인 방법을 제안합니다. 이 접근 방식은 사전 학습된 CLIP에 대한 과도한 미세 조정보다는 최소한의 적응이 지속적 및 제로샷 설정 모두에서 견고한 성능을 낼 수 있음을 입증합니다.

결과

Continual-MEGA 벤치마크에 대한 광범위한 실험을 통해 세 가지 주요 결과를 얻었습니다:

1. 기존 방법의 한계: 현재의 AD 방법들은 제안된 대규모 지속적 설정 하에서 평가될 때, 특히 픽셀 수준의 국지화에서 상당한 성능 저하를 보입니다. MVTec-AD와 같은 표준 벤치마크에서 우수한 성능을 보이는 방법들도 Continual-MEGA의 다양한 조건에서는 일반화에 실패하는 경우가 많습니다.
2. ContinualAD의 효과성: 학습 스트림에 ContinualAD 데이터셋을 포함하는 것(시나리오 2 vs 시나리오 3)이 대부분의 방법에서 제로샷 일반화 성능을 크게 향상시킵니다. 반대로, 이를 제외하면 일반화 성능이 눈에 띄게 저하되어, 견고한 모델 학습을 위한 해당 데이터셋의 가치를 입증했습니다.
3. ADCT의 우수성: 제안된 ADCT 베이스라인은 모든 시나리오에서 다른 방법들보다 전반적으로 우수한 성능을 달 recapture합니다. 이 방법은 높은 정확도를 유지하면서 망각(FM)을 최소화합니다. 절제 연구(ablation study)는 어댑터, 합성 특징 생성, 그리고 혼합 전문가 추론 방식의 조합이 안정성과 가소성(plasticity) 사이의 균형을 맞추는 데 핵심적임을 확인시켜 줍니다. 특히, 합성 특징은 픽셀 수준 성능에 필수적이며, MoE 어댑터 전략은 파괴적 망각을 줄이는 데 핵심적임이 나타났습니다.

의의 및 주장

본 논문은 정적인 벤치마크 평가와 동적인 산업 현장 배포 사이의 간극을 해결함으로써, 지속적 AD 분야의 새로운 의제를 설정한다고 주장합니다. 저자들은 자신들의 작업이 완전히 새로운 클래스로 일반화하면서 동시에 새로운 태스크에 점진적으로 적응할 수 있는 모델의 실질적인 필요성을 강조한다고 주장합니다.

제안된 베이스라인(ADCT)의 의의는 경량 적응과 특징 합성의 결합이 일반화 가능한 지속적 프레임워크를 설계하는 유망한 방향임을 보여준 데 있습니다. 결과에 따르면, CLIP과 같은 사전 학습된 모델에 대한 과도한 적응이나 강한 가이드는 이전에 본 객체에 대한 과적합을 초래할 수 있는 반면, 사전 학습된 지식을 보존하면서 다양한 이상 특징을 합성하는 전략이 더 안정적이고 일반화 가능한 솔루션을 제공합니다.

저자들은 본 연구가 동적인 환경에서 딥러닝 모델을 재학습하는 데 따르는 계산 비용과 탄소 발자국을 줄임으로써 제조 지속 가능성에 기여하며, 개인 데이터나 감시에 관련된 윤리적 위험을 초래하지 않는다고 결론짓습니다.