SwinAD: Multi-stage feature reconstruction for unsupervised industrial anomaly detection

기술 요약: 다중 클래스 비지도 산업 이상 탐지를 위한 SwinAD

문제 정의
산업 이상 탐지(IAD)는 가능한 모든 결함 유형에 대한 철저한 주석(annotation) 없이도 결함 영역을 식별하고 국지화하는 것을 목표로 합니다. 최근의 비지도 학습 방법들이 강력한 성능을 달와냈으나, 대부분은 각 제품 카테고리마다 별도의 모델을 필요로 하는 단일 클래스 비지도 이상 탐지(SUAD)를 위해 설계되었습니다. 이러한 방식은 수많은 제품 유형을 보유한 산업 시스템으로 확장할 때 높은 계산 및 메모리 비용을 초래합니다. 따라서 여러 카테고리에 걸쳐 하나의 통합된 모델을 사용하는 다중 클래스 비지도 이상 탐지(MUAD)가 선호되지만, 여전히 해결해야 할 과제가 남아 있습니다. 서로 다른 클래스 간의 다양한 정상 패턴은 과도한 일반화(over-generalization)를 유발하여, 정상 영역과 이상 영역 사이의 판별 능력을 저하시킬 수 있습니다. 또한, 기존의 재구성 기반 방법들은 전역적인 판별을 위해 고수준의 의미론적 표현(semantic representations)을 우선시하는 경-향이 있어, 정밀한 픽셀 수준 국지화에 필요한 미세한 공간적 세부 정보를 억제할 수 있습니다.

방법론: SwinAD
저자들은 다중 클래스 비지도 이상 탐지를 위해 설계된 계층적 재구성 기반 프레임워크인 SwinAD를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 계층적 특징 추출 (Hierarchical Feature Extraction):
   SwinAD는 고정된(frozen) 사전 학습된 Swin Transformer V2를 이미지 인코더로 활용합니다. 전역적 의미에 집중하는 표준 Vision Transformer(ViT)를 사용하는 방법들과 달리, Swin Transformer의 계층적 구조는 국소적 질감(얕은 층)과 의미론적 구조(깊은 층)를 모두 포착하는 다중 스케일 특징($F_1$ ~ $F_4$)을 제공합니다. 견고성을 높이기 위해, 저자들은 최종 블록의 출력에만 의존하는 대신 세 번째 단계의 모든 블록에 걸쳐 특징을 집합(aggregate)합니다. 인코더는 대규모 데이터로부터 학습된 안정적이고 판별력 있는 표현을 보존하기 위해 학습 과정 동안 고정됩니다.

2. 특징 다양성 보존 재구성 (Feature Diversity-Preserving Reconstruction):
   단일 디코더가 모든 정상 패턴을 하나의 프로토타입으로 재구성하도록 학습되어 정상 데이터의 매니폴드 다양성을 포착하지 못하는 결정론적 특징 붕괴(deterministic feature collapse) 문제를 해결하기 위해, SwinAD는 이중 디코더 아키텍처를 채택합니다. 단일 재구성 브랜치 대신, 프레임워크는 두 개의 상보적인 재구성 가설($D_1$ 및 $D_2$)을 유지합니다.

   • 병목 모듈 (Bottleneck Modules): 인코더와 디코더 사이에 드롭아웃(dropout)이 포함된 단계별 병목 모듈이 삽yle됩니다. 드롭아웃은 사소한 항등 매핑(identity mapping)을 방지하여, 디코더가 단순히 인코더 특징을 복사하는 것이 아니라 정상 패턴의 견고한 재구성을 학습하도록 강제합니다.
   • 다양성 정규화 (Diversity Regularization): 두 재구성된 특징이 동일한 표현으로 붕괴되는 것을 명시적으로 방지하기 위해 코사인 기반 발산 손실(cosine-based divergence loss)이 도입됩니다. 이를 통해 모델은 정상 패턴의 더 넓은 매니폴드 구조를 보존하며, 보지 못한 정상적인 변동에 대한 일반화 능력을 향상시킵니다.

3. 다중 스케일 이상 맵 추정 (Multi-scale Anomaly Map Estimation):
   이상 탐지는 여러 스케일에 걸친 인코더 특징과 두 개의 재구성된 특징 사이의 불일치를 측정하는 것으로 공식화됩니다. 각 공간 위치에서의 이상 점수는 연결된(concatenated) 인코더 특징과 연결된 재구성 특징 사이의 코사인 거리를 사용하여 계산됩니다. 이러한 스케일별 이상 맵은 통일된 해상도로 크기가 조정되고, 가중치가 부여되어 집합되며, 최종 이상 맵을 생성하기 위해 가우시안 평활화(Gaussian smoothing)를 통해 정제됩니다.

주요 기여

• 계층적 인코딩 전략: MUAD 설정에 특화되어 국소적 질감 세부 정보와 전역적 의미 맥락 사이의 균형을 맞추는 다중 스케일 표현을 추출하기 위해 고정된 Swin Transformer V2 인코더를 사용합니다.
• 특징 다양성 보존 프레임워크: 결정론적 학습에 의한 특징 붕괴를 완화하는 이중 가설 재구성 메커니즘을 도입했습니다. 여러 재구성 가설을 유지함으로써, 이 방법은 정상 패턴의 다양성을 더 잘 보존하여 분포 변화에 대한 견고성을 높이고 이상한 국소 구조에 대한 판별력을 향상시킵니다.
• 포괄적인 평가: MVTec AD, VisA, Real-IAD라는 세 가지 널리 사용되는 MUAD 벤치마크에서 평가되었으며, 경쟁력 있는 이미지 수준 성능과 최신 방법론 대비 우수한 픽셀 수준 국지화 정확도를 입증했습니다.

실험 결과
MVTec AD, VisA, Real-IAD에서 수행된 실험은 SwinAD의 효과를 입증합니다:

• MVTec AD: SwinAD는 이미지 수준 AUROC 99.4%와 픽셀 수준 AP **74.4%**를 달성하였으며, 이는 낮은 입력 해상도(Dinomaly의 392×392 대비 256×256)에서도 가장 강력한 베이스라인인 Dinomaly보다 픽셀 수준 AP에서 5.1% 앞선 결과입니다.
• VisA: 이 방법은 픽셀 수준 AP **58.0%**와 F1-score **57.3%**를 달성하여, Dinomaly보다 각각 4.8%와 1.6% 개선되었습니다.
• Real-IAD: SwinAD는 비교된 방법들 중 가장 강력한 이미지 수준 성능(89.5% AUROC)과 최고의 픽셀 수준 AP(49.4%) 및 F1(52.0%)을 기록했습니다.
• 효율성: SwinAD는 고해解상도에서 Dinomaly에 비해 현저히 적은 파라미터(159.01M)와 FLOPs(54.32 G)를 요구하며, 단일 NVIDIA RTX A5000 GPU에서 약 20 FPS를 달성합니다.
• 절제 연구 (Ablation Studies): 실험 결과, 중간 인코더 단계(Stage 2 및 3)가 국지화를 위한 최적의 트레이드오프를 제공하며, 이중 디코더 다양성 전략이 특히 VisA 및 Real-IAD와 같은 복잡한 데이터셋에서 단일 디코더 베이스라인보다 일관되게 성능을 향상시킨다는 것을 확인했습니다.

의의 및 주장
본 논문은 계층적 Swin 특징과 다양한 다중 스케일 재구성을 결합함으로써 다중 클래스 비지도 이상 탐정을 위한 효과적이고 효율적인 솔루션을 제공한다고 주장합니다. 저자들은 기존 재구성 기반 방법들의 주요 한계가 불충분한 재구성 능력이 아니라, 결정론적 학습에 의한 과도한 표현 붕괴라고 주장합니다. 상보적인 재구성 가설을 통해 특징 다양성을 보존함으로써, SwinAD는 의미론적 견고함과 국지화 정밀도 사이의 더 나은 균형을 달성합니다. 결과는 이 접근 방식이 계산 효율성과 정밀한 픽셀 수준 국지화가 중요한 확장 가능한 산업 시스템에 특히 적합하며, 각 제품 카테고리마다 별도의 모델을 유지하는 것에 대한 실질적인 대안이 될 수 있음을 나타냅니다.