StructCore: Structure-Aware Image-Level Scoring for Training-Free Unsupervised Anomaly Detection

이 논문은 메모리 뱅크 기반 비지도 이상 탐지에서 단일 극값에 의존하는 기존 풀링의 한계를 극복하고, 이상 점수 분포의 구조적 특징을 포착하는 저차원 기술자 계산과 Mahalanobis 보정을 통해 학습 없이도 MVTec AD 와 VisA 데이터셋에서 99.6% 및 98.4% 의 높은 이미지 수준 AUROC 를 달성하는 'StructCore'를 제안합니다.

핵심

1. 기존 방식: "가장 큰 소음만 듣는 귀" (Max Pooling)

지금까지 대부분의 불량 탐지 시스템은 **'최대값 풀링 (Max Pooling)'**이라는 방식을 썼습니다.

• 상황: 감시원들이 사진 전체를 훑어보며 "여기에 흠집이 있네!", "저기에 찍힌 점이 있네!"라고 점수 (Anomaly Score) 를 매깁니다.
• 기존의 판단: 시스템은 이 수천 개의 점수 중 가장 높은 점수 하나만 보고 최종 결정을 내립니다.
  • "아, 여기 점수가 99 점이라! 불량이다!"
  • 나머지 99% 의 정보는 무시하고, 그 한 점만 믿습니다.

문제점:
이 방식은 작은 소리 (약한 결함) 가 여러 개 모여서 큰 소음을 만드는 경우를 놓치기 쉽습니다.

• 예를 들어, 사진 한 구석에 아주 작은 흠집 하나 (99 점) 가 있으면 '불량'으로 잡힙니다.
• 하지만 정작 진짜 문제는 흠집이 하나도 없는 것처럼 보이지만, 전체적으로 색이 약간 흐릿하거나 질감이 이상하게 퍼져 있는 경우입니다. 이때는 가장 높은 점수가 80 점 정도일 수 있는데, 시스템은 "80 점? 괜찮네. 정상이다!"라고 잘못 판단할 수 있습니다.
• 즉, 전체적인 '분포'와 '구조'를 무시하고 극단적인 한 점만 보는 것이 문제였습니다.

---

2. 새로운 방식: StructCore (구조를 아는 지능형 감시)

이 논문에서 제안한 StructCore는 단순히 "가장 큰 점수"만 보는 게 아니라, **"점수들이 어떻게 퍼져 있는가?"**를 분석합니다.

🕵️‍♂️ 비유: "소음의 패턴을 분석하는 프로"

StructCore 는 감시원들이 매긴 점수 지도 (Anomaly Score Map) 를 볼 때, 다음 세 가지를 추가로 체크합니다.

1. 전체적인 퍼짐 (Dispersion): 점수가 한곳에 뭉쳐있나요, 아니면 여기저기 흩어져 있나요? (예: 결함이 넓게 퍼져 있다면 흩어진 패턴을 감지)
2. 꼬리 부분의 무게 (Tail Concentration): 아주 높은 점수는 몇 개인가요? (예: 100 점짜리 하나보다 90 점짜리가 100 개 있는 게 더 위험할 수 있음)
3. 거친 질감 (Spatial Roughness): 점수 지도가 매끄러운가, 아니면 톱니바퀴처럼 거칠고 불규칙한가? (결함은 보통 불규칙한 모양을 띱니다)

이 세 가지 정보를 합쳐서 **3 개의 숫자로 된 '지문 (Structural Descriptor)'**을 만듭니다.

⚖️ 교정 과정: "정상적인 패턴을 기억하는 두뇌"

• 시스템은 훈련 단계에서 정상 제품들만 보고 "정상적인 점수 지도의 지문은 보통 이런 모양이야"라고 기억해 둡니다.
• 검사 단계에서 새로운 제품이 들어오면, 그 제품의 점수 지도 지문이 정상적인 패턴과 얼마나 다른지 계산합니다.
• 만약 점수가 높지 않더라도, 퍼진 모양이나 질감이 비정상적이라면 "이건 결함일 확률이 높아!"라고 판단하여 점수를 올려줍니다.

---

3. 왜 이것이 혁신적인가요?

• 기존 방식의 한계 극복: "가장 큰 점수 하나"만 믿던 맹점을 보완했습니다. 작지만 여러 곳에 퍼진 미세한 결함도 잡아냅니다.
• 학습 불필요 (Training-free): 새로운 모델을 거창하게 다시 학습시킬 필요가 없습니다. 기존에 만들어진 '결함 지도'를 가져와서 점수 계산 방식만 살짝 고치는 것입니다. (이미 만들어진 레시피에 '소금'을 조금 더 넣는 것과 같습니다.)
• 위치 찾기는 그대로: 결함의 **정확한 위치 (어디에 흠집이 있는지)**를 찾는 능력은 그대로 유지하면서, **최종 판단 (불량/정상)**의 정확도만 높였습니다.

4. 실제 성과

이 방법을 적용하자, 유명한 테스트 데이터 (MVTec AD, VisA) 에서 **99.6%~98.4%**라는 놀라운 정확도를 기록했습니다. 특히 기존 방식이 놓치기 쉬운 약한 결함이나 넓게 퍼진 결함을 찾아내는 능력이 크게 향상되었습니다.

📝 한 줄 요약

**"가장 큰 소리 하나만 듣고 결정을 내리던 예전 방식에서, 소리가 어떻게 퍼져 있고 어떤 패턴을 이루는지까지 분석하는 '구조를 아는 지능형 감시'로 바꾼 것"**입니다.

이 기술은 공장 자동화 시스템의 신뢰도를 높여, 불량품이 고객에게 나가는 것을 막는 데 큰 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비지도 이상 탐지 (Unsupervised Anomaly Detection, UAD) 방법론, 특히 메모리 뱅크 (Memory-bank) 기반 접근법 (예: PatchCore, PaDiM 등) 은 픽셀 단위의 이상 점도 지도 (Anomaly Score Map) 를 생성한 후, 이를 이미지 단위의 최종 결정 (Accept/Reject) 으로 변환할 때 **최대 풀링 (Max Pooling)**을 사실상의 표준으로 사용합니다.

하지만 저자들은 Max Pooling 이 다음과 같은 치명적인 한계를 가진다고 지적합니다:

• 정보 손실: 단일한 극단적인 응답 (가장 높은 점수) 만을 선택하여, 이상 증거가 이미지 전체에 어떻게 분포하고 구조화되어 있는지에 대한 대부분의 정보를 폐기합니다.
• 중첩 현상: 미세하거나 공간적으로 분산된 결함의 경우, 정상 이미지와 이상 이미지의 Max Pooling 점수가 서로 겹치는 (Overlap) 경우가 많아 판별력이 떨어집니다.
• 부적절한 통계량: 강력한 사전 학습된 비전 트랜스포머 (ViT) 를 사용할 경우, 노이즈로 인한 국소적인 스파이크가 최대값을 지배할 수 있어, 실제 이상 패턴 (전체적인 분포나 구조) 을 반영하지 못합니다.

즉, "이미지가 이상한가?"를 판단하는 데 있어 단일 최대값은 충분한 통계량 (Sufficient Statistic) 이 아니며, 이상 점도 지도의 공간적 구조와 분포적 특성을 고려해야 합니다.

2. 제안 방법론 (Methodology: StructCore)

저자들은 StructCore라는 새로운 모듈을 제안합니다. 이는 기존 파이프라인을 수정하지 않고 이미지 단위의 점수만 보정하는 학습이 필요 없는 (Training-free) 방법론입니다.

핵심 구성 요소

1. 구조 인식 기술자 (Structure-aware Descriptor, $\phi(S)$):
   이상 점도 지도 $S$를 저차원의 구조적 기술자 3 가지로 요약합니다. Max Pooling 이 놓치는 정보를 포착합니다.

   • 전역 분산 (Global Dispersion): 점도 지도의 표준 편차 ($\sigma_S$).
   • 꼬리 집중도 (Tail Concentration): 상위 $k$개 점수의 평균 (Top-k mean). 이상 신호가 얼마나 집중되어 있는지를 나타냅니다.
   • 공간적 거칠기 (Spatial Roughness): 총 변이 (Total Variation, TV). 이상 영역이 연속적인지 아니면 산재된 노이즈인지 구분합니다.

2. 정상 통계 기반 보정 (Train-good Statistical Calibration):

   • 학습 데이터 (정상 이미지만) 를 사용하여 $\phi(S)$의 평균 ($\mu$) 과 표준 편차 ($\sigma$) 를 계산합니다.
   • 테스트 시, 입력 이미지의 $\phi(S)$가 정상 분포에서 얼마나 벗어났는지를 대각 Mahalanobis 거리 ($D_{struct}$) 로 계산합니다. 이는 이상 점도 지도의 구조적 편차를 정량화합니다.

3. 하이브리드 점수 산출 (Hybrid Scoring):

   • 기존 Max Pooling 점수 ($S_{base}$) 와 구조적 거리 점수 ($D_{struct}$) 를 결합합니다.
   • $S_{hyb} = S_{base} + \lambda_{auto} \cdot D_{struct}$
   • $\lambda_{auto}$는 학습 데이터의 표준 편차 비율을 기반으로 자동 계산되어, 두 점수의 스케일 차이를 보정합니다.
   • 중요: 이 과정은 픽셀 단위의 이상 지도 (Localization) 를 변경하지 않으므로, 기존 모델의 위치 추정 성능을 유지하면서 이미지 판별력만 향상시킵니다.

4. 확장성 (Scalability):

   • 다중 카테고리 (Multi-category) 및 continual learning 시나리오를 지원하기 위해, 거리 기반 라우팅 (Routing) 메커니즘을 통해 해당 카테고리의 메모리 뱅크만 선택하여 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

1. Max Pooling의 병목 현상 분석: 이미지 단위 의사결정에서 Max Pooling 이 구조적 증거를 폐기하여 성능 저하를 초래한다는 점을 명확히 분석했습니다.
2. StructCore 모듈 제안: 저차원 기술자와 학습 데이터 기반 통계 보정을 통해, 추가 학습 없이 기존 UAD 파이프라인에 바로 적용 가능한 구조 인식 이미지 점수화 모듈을 개발했습니다.
3. 광범위한 실험 및 검증: 다양한 표현 (Representation), 메모리 크기, 구조적 기술자 조합에 대한 실험을 통해, 최소한의 저차원 기술자만으로도 안정적인 이미지 단위 성능 향상을 달성함을 입증했습니다.

4. 실험 결과 (Results)

MVTec AD와 VisA라는 두 가지 주요 산업용 이상 탐지 벤치마크에서 평가되었습니다.

• 성능 향상:
  • MVTec AD: 이미지 단위 AUROC 가 기존 베이스 (98.7%) 에서 **99.6%**로 향상되었습니다. 특히 'Pill' (+5.4%), 'Screw' (+2.7%) 등 Max Pooling 으로 판별이 어려웠던 카테고리에서 큰 개선을 보였습니다.
  • VisA: 이미지 단위 AUROC 가 97.6% 에서 **98.4%**로 향상되었습니다.
• 위치 추정 (Localization) 유지: 이미지 단위 점수는 개선되었으나, 픽셀 단위 AUROC 는 변경되지 않았습니다. 이는 StructCore 가 이상 지도의 형태를 훼손하지 않고 순수하게 의사결정 계층 (Decision Layer) 만을 최적화했음을 의미합니다.
• 효율성: 1% 코어셋 (Coreset) 설정에서도 실시간 처리가 가능하며, GPU 메모리 사용량도 낮게 유지됩니다.
• Ablation Study:
  • 세 가지 기술자 ($\sigma_S$, Top-k mean, TV) 를 모두 사용할 때 가장 높은 성능을 보였습니다.
  • Mahalanobis 거리가 다른 거리 측정법보다 일관되게 좋은 성능을 보였습니다.

5. 의의 및 중요성 (Significance)

• 실용적 적용성: 복잡한 모델 재학습 없이 기존 산업용 검수 시스템 (PatchCore 등) 에 '드롭인 (Drop-in)' 방식으로 적용하여 신뢰성을 즉시 높일 수 있습니다.
• 새로운 관점 제시: 이상 탐지에서 '최대값'이 아닌 '분포와 구조'가 중요한 판단 기준임을 입증했습니다. 이는 ViT 기반의 강력한 특징 추출기가 사용되더라도 여전히 공간적 구조 분석이 필요함을 시사합니다.
• 확장성: 단일 카테고리뿐만 아니라 다중 카테고리 및 continual learning 환경에서도 라우팅 메커니즘과 호환되어 확장 가능한 시스템을 제공합니다.

결론적으로, StructCore 는 기존 이상 탐지 시스템의 마지막 단계인 '이미지 결정 규칙'을 혁신하여, 미세하고 분산된 결함까지 정확하게 탐지하면서도 시스템의 실용성과 효율성을 동시에 확보한 획기적인 방법론입니다.