LADMIM: Logical Anomaly Detection with Masked Image Modeling in Discrete Latent Space

1. 문제 정의 (Problem)

기존의 비지도 이상 탐지 (Unsupervised Anomaly Detection, AD) 방법들은 주로 단일 객체가 포함된 이미지 내의 **국소적 패턴 (Local Patterns)**에 집중하여 결함을 탐지해 왔습니다. 이는 스크래치나 얼룩과 같은 **구조적 이상 (Structural Anomalies)**을 탐지하는 데 효과적이었습니다.

그러나 산업 현장에서는 여러 객체가 포함된 이미지에서 객체의 위치 불일치, 잘못된 조합, 누락 등 **전역적 패턴 (Global Patterns)**의 오류인 **논리적 이상 (Logical Anomalies)**을 탐지해야 하는 경우가 많습니다.

• 한계점: 기존 방법론 (재구성 기반, 메모리 뱅크 기반) 은 논리적 이상을 탐지하는 데 한계가 있습니다. 특히, 재구성 기반 방법은 'ID-Shortcut(입력 그대로 출력하는 현상)' 문제로 인해 정상 영역에서도 재구성 오차가 발생하거나, 정보 병목 (Information Bottleneck) 을 설정하기 위해 하이퍼파라미터 튜닝이 복잡해집니다. 또한, Masked Image Modeling (MIM) 기반 방법들은 마스킹된 영역의 픽셀 수준 예측 시 위치 불확실성 (Positional Uncertainty) 으로 인해 정상 영역에서도 예측 오차가 발생하여 성능이 저하되는 문제가 있었습니다.

2. 제안 방법론 (Methodology: LADMIM)

저자들은 **마스킹 이미지 모델링 (MIM)**과 **이산 표현 학습 (Discrete Representation Learning)**을 결합한 새로운 프레임워크 LADMIM을 제안합니다. 이 프레임워크는 구조적 이상과 논리적 이상을 각각 다른 메커니즘으로 탐지하여 통합합니다.

핵심 구성 요소

1. HVQ-Trans (Hierarchical Vector Quantized Transformer):

   • 역할: 구조적 이상 탐지 및 토크나이저 (Tokenizer) 역할.
   • 작동 원리: 사전 훈련된 백본 (PDN) 의 특징 맵을 인코더 - 디코더 ViT 구조로 재구성합니다. 이때 계층적 벡터 양자화 (Hierarchical Vector Quantization) 를 사용하여 연속적인 특징을 이산적인 잠재 변수 (Discrete Latents) 로 변환합니다.
   • 장점: 양자화 과정을 통해 'ID-Shortcut' 문제를 완화하고, 재구성 오차 (MSE) 를 통해 구조적 이상 (스크래치 등) 을 효과적으로 탐지합니다.

2. ViT with MIM (Masked Image Modeling):

   • 역할: 논리적 이상 탐지.
   • 핵심 아이디어: 마스킹된 영역의 픽셀 값을 예측하는 대신, HVQ-Trans 로부터 얻은 **이산 잠재 변수의 확률 분포 (Histogram)**를 예측합니다.
   • 작동 원리:
     • 입력 이미지의 일부 패치를 마스킹합니다.
     • ViT 는 가시 영역 (Visible patches) 을 기반으로 마스킹 영역에 존재할 이산 잠재 변수들의 **분포 (Histogram)**를 예측합니다.
     • 이점: 이산 잠재 변수의 분포는 객체의 위치나 순서에 무관 (Position-invariant) 하므로, 마스킹 영역의 위치 불확실성을 해결하고 객체 간의 논리적 관계 (예: "이 두 객체는 함께 있어야 한다") 에 집중할 수 있게 합니다.

3. 통합 스코어링:

   • HVQ-Trans 의 재구성 오차 (구조적 이상) 와 ViT 의 분포 예측 오차 (논리적 이상) 를 각각 계산한 후, 정규화하여 합산하여 최종 이상 점수 (Anomaly Score) 를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 LADMIM 제안: ViT 기반 아키텍처와 MIM, HVQ-Trans 를 결합하여 구조적 및 논리적 이상을 동시에 탐지하는 프레임워크를 제안했습니다.
2. 위치 불확실성 해결: 마스킹된 영역의 픽셀 예측 대신 **이산 잠재 변수의 확률 분포 (Histogram)**를 예측 대상으로 사용하여, 위치 불확실성으로 인한 오차를 줄이고 논리적 의존성 학습을 강화했습니다.
3. 정보 병목 불필요: 기존 재구성 기반 방법들이 겪던 정보 병목 (Information Bottleneck) 설정의 복잡성을 제거했습니다. MIM 기반 학습은 병목 구조 없이도 효과적으로 작동하여 모델 확장성이 뛰어납니다.
4. 성능 입증: MVTec LOCO(논리적 이상 중심) 및 MVTec AD(구조적 이상 중심) 벤치마크에서 기존 MIM 기반 방법들을 능가하며, 최첨단 (SoTA) 방법들과 비교 가능한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: MVTec LOCO (5 개 카테고리, 논리적/구조적 이상 포함) 및 MVTec AD.
• 성능:
  • MVTec LOCO: 논리적 이상 탐지 평균 AUROC 에서 기존 MIM 기반 방법들 (SSM, SMAE 등) 보다 크게 향상되었으며, 메모리 뱅크 기반 방법 (PatchCore, ComAD) 과도 경쟁력 있는 성능을 보였습니다.
  • SoTA 비교: 단일 클래스 (Single-class) 설정에서는 일부 SoTA 방법 (EfficientAD, PUAD) 보다 약간 낮았으나, 다중 클래스 (Multi-class) 설정에서 성능 저하가 거의 없었습니다. 반면, 정보 병목에 의존하는 EfficientAD 는 다중 클래스 설정에서 성능이 급격히 떨어지는 반면, LADMIM 은 모델 크기에 따라 확장성이 입증되었습니다.
  • MVTec AD: 구조적 이상 탐지에서도 기존 MIM 기반 방법들 중 가장 높은 성능을 기록했습니다.
• Ablation Study:
  • HVQ-Trans 와 ViT 를 함께 사용할 때 가장 높은 성능을 보였으며, 서로 다른 유형의 이상을 보완하는 것을 확인했습니다.
  • 예측 타겟으로 '이미지 픽셀' 대신 '이산 잠재 변수의 분포'를 사용했을 때 논리적 이상 탐지 성능이 가장 우수했습니다.
  • 다양한 마스킹 전략 중 Block Random Masking 이 논리적 이상 탐지에 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존에 국소적 특징에 의존하던 이상 탐지에서 벗어나, 전역적 논리적 관계를 학습할 수 있는 새로운 방향을 제시했습니다.
• 강건한 프레임워크: 정보 병목이나 사전 훈련된 분할 모델 (Segmentation Model) 없이도 복잡한 논리적 이상을 탐지할 수 있어, 다양한 산업 응용 분야에 적용 가능성이 높습니다.
• 미래 방향: 현재 무작위 마스킹 전략의 한계로 인해 이상 위치를 정확히 국소화 (Localization) 하는 데는 어려움이 있으나, 향후 확산 모델 (Diffusion-based) 기반의 확률적 예측이나 의미론적 마스킹 전략 도입을 통해 성능을 더욱 향상시킬 수 있음을 시사합니다.

요약하자면, LADMIM 은 마스킹된 영역의 픽셀이 아닌 '개념 (Concept)'의 분포를 예측함으로써 논리적 이상 탐지의 난제를 해결하고, 구조적 이상까지 포괄하는 강력하고 확장 가능한 비지도 이상 탐지 프레임워크를 제시한 연구입니다.