기술 요약: 시각적 프롬프팅과 이중 교사 감독을 결합한 특징 재구성 기반 이상 탐지

1. 문제 정의

비지도 이상 탐지(Unsupervised Anomaly Detection, AD)는 MVTec AD와 같은 기존 벤치마크에서 이미지 레벨 AUROC 점수가 99%를 상회하는 등 거의 완벽한 성능을 달-성했습니다. 그러나 본 논문은 이러한 성공이 "무균 상태"의 데이터셋 가정(일관된 객체 규모, 중앙 배치, 균질한 배경, 고정된 시점)에 크게 의존하고 있다고 주장합니다. 이러한 가정이 위반될 경우(예: 변화하는 조명, 복잡한 배경, 정렬되지 않은 객체 등 실제 산업 현장), 성능은 크게 저하됩니다.

이러한 취약성을 입증하기 위해, 저자들은 배경을 무작위 텍스처로 교체한 Distorted MVTec 변형 버전을 도입했습니다. 실험 결과, 인기 있는 AD 방법론들은 이 왜곡된 데이터셋에서 1.7에서 16.4 퍼센트 포인트에 달하는 성능 저하를 보였습니다. 특히 이미지 모서리의 배경 노이즈가 알고리즘의 순위를 변경하기도 했습니다. 이는 통제된 벤치마크 성능과 실제 적용 가능성 사이의 심각한 간극을 강조합니다.

2. 방법론

제안된 프레임워크는 아키텍처에 구애받지 않으며, 학생-교사 재구성 기반 방법(특히 Masked Multiscale Reconstruction (MMR) 모델을 백본으로 사용)을 강화하도록 설계되었습니다. 파이프라인은 준비(Preparation), 학습(Training), **추론(Inference)**의 세 가지 모듈형 단계로 구성됩니다.

2.1 시각적 프롬프팅 마스크 파이프라인 (배경 제거)

배경 변화에 대한 민감도를 완화하기 위해, 저자들은 관심 객체를 분리하는 후처리 파이프라인을 도입했습니다.

• 메커니즘: Segment Anything Model (SAM)과 "Matcher" 프레임워크(확장 가능한 특징 매칭 기반)를 사용하여 전경/배경(FG/BG) 세그멘테이션 마스크를 생성합니다.
• 프로세스: 소수의 참조 이미지를 사용하여 시각적 프롬프팅을 통해 초기 마스크를 생성합니다. 추론 단계에서는 이 참조 이미지들이 테스트 이미지의 마스크 자동 생성을 유도합니다.
• 적용: 생성된 FG 마스크는 이상 점수 맵(anomaly score map)에 적용됩니다. 가장자리 결함을 놓치지 않기 위해, 저자들은 FG 마스크를 팽창(dilate)시키고 이를 원본 점수 맵의 피크 값에 맞게 클리핑하는 "믹싱 방법(mixing method)"을 채택하여, 날카로운 식별력과 완전한 결함 커버리지 사이의 균형을 맞춥니다.

2.2 지식 보존형 이중 교사(Dual-Teacher) 접근법

표준적인 학생-교사 방법은 사전 학습된 교사(예: ImageNet)를 동결(frozen)된 상태로 사용하여 학생을 가이드합니다. 저자들은 이것이 사전 학습된 특징이 최적이 아닐 수 있는 타겟 도메인에 대한 적응력을 제한한다고 주장합니다.

• 과제: 교사를 나이브하게 언프리징(unfreezing)하면, 학생과 교사 사이의 거리를 최소화하기 위해 모델이 사소한 해답(trivial solution)으로 수렴하는 "특징 붕괴(feature collapse)" 현상이 발생합니다.
• 해결책: 이중 교사(Dual-Teacher) 프레임워크를 도입합니다:
  1. 약한 교사(Weak Teacher): 타겟 도메인에 적응할 수 있도록 언프리징된 사전 학습 모델의 복사본입니다.
  2. 강한 교사(Strong Teacher): 정규화 역할을 수행하는 동결된 사전 학습 모델의 복사본입니다.
• 손실 함수: 전체 손실은 학생과 약한 교사 사이의 지식 증류(KD) 손실($L_{S\_WT}$)과 약한 교사와 강한 교사 사이의 KD 손실($L_{WT\_ST}$)을 결합합니다.
  $$L_{total} = L_{S\_WT} + \lambda L_{WT\_ST}$$
  하이퍼파라미터 $\lambda$는 약한 교사의 유연성을 제어합니다. 높은 $\lambda$는 적응을 제한하며, 낮은 $\lambda$는 더 많은 유연성을 허용하지만 붕괴의 위험이 있습니다. 강한 교사는 계산 시간을 절약하기 위해 추론 시에는 비활성화됩니다.

2.3 확산 모델(Diffusion Models)을 통한 합성 학습 데이터

일반화 능력을 높이고 정규화 메커니즘 역할을 하기 위해, 저자들은 합성 이미지를 사용하여 학습 세트를 증강합니다.

• 생성: 사전 학습된 확산 모델을 타겟 도메인의 학습 세트에 미세 조정(fine-tuning)하여, 외관과 맥락 면에서 원래의 "정상(good)" 샘플과 매우 유사한 합성 이미지를 샘플링합니다.
• 전략: 합성된 이상(anomaly) 이미지를 생성하여 AD를 지도 학습 작업으로 바꾸는 방식과 달리, 이 접근법은 고품질의 정상 이미지를 생성합니다. 이는 데이터 다양성을 높이고, 비현실적인 결함 패턴으로부터 오는 편향 없이 원래의 학습 분포에 과적합되는 것을 방지합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 시각적 프롬프팅 파이프라인: 자동 생성된 FG/BG 마스크를 사용하여 객체를 격리함으로써 배경 노이즈에 대한 민감도를 줄이고 점수 맵의 견고성을 개선하는 방법입니다.
2. 이중 교사 감독: 특징 붕괴를 겪지 않으면서 재구성 기반 모델의 교사를 언프리징하여 도메인 적응력을 높이고 사전 학습 편향을 완화하는 메커니즘입니다.
3. 확산 기반 데이터 증강: 학습 데이터의 다양성을 풍부하게 하고 정규화 역할을 수행하기 위해 합성 정상 이미지를 생성하는 전략입니다.

4. 실험 결과

프레임워크는 AeBAD-S(다양한 조명과 배경을 가진 항공 엔진 블레이드) 및 MVTec 데이터셋에서 평가되었습니다.

4.1 AeBAD-S에서의 성능

제안된 프레임워크(MMR+++)는 도전적인 AeBAD-S 데이터셋에서 최첨단(SOTA) 성능을 달성했습니다:

• 이미지 레벨 AUROC: 88.2%를 기록하여 이전 SOTA(MiniMaxAD, 87.0%)보다 1.2%, 백본인 MMR보다 3.5% 상회했습니다.
• 픽셀 레벨 AUPRO: 90.2%를 기록하여 이전 SOTA(89.1%)보다 1.1% 앞섰습니다.
• 절제 연구(Ablation Studies):
  • 합성 데이터: 실측 데이터와 합성 데이터의 비율이 1:3일 때 최적의 성능을 보였습니다. 순수 합성 데이터만으로 학습해도 대부분의 베이스라인보다 우수한 성능을 보였습니다.
  • 이중 교사: 중간 정도의 $\lambda$ 값에서 최고 성능이 나타났습니다. 합성 데이터의 양이 증가할수록 최적의 $\lambda$ 값이 감소했는데, 이는 합성 데이터가 암묵적인 정규화 역할을 함을 시사합니다.
  • 배경 제거: 믹싱 방법(팽창된 마스크 + 원본 마스크)이 원본 마스크로 인해 손실된 AUPRO 점수를 회복하면서도 높은 AUROC를 유지하는 최적의 균형을 제공했습니다.

4.2 MVTec에서의 성능

통제된 MVTec 데이터셋에서 프레임워크는 베이스라인 대비 점진적인 개선을 보여주었습니다. 그러나 저자들은 합성 데이터가 때때로 MVTec의 성능을 저해할 수 있음을 언급했습니다. 검토 결과, 일부 합성된 "정상" 이미지가 "결함처럼" 보였으며, 정렬되지 않은 합성 데이터가 언프리징된 교사의 미세 조정에 부정적인 영향을 미쳤습니다. 이는 합성 증강의 이점이 더 복잡하고 덜 통제된 도메인에서 가장 두드러짐을 시사합니다.

5. 의의 및 주장

본 논문은 기존의 AD 방법론들이 통제된 환경에 크게 의존하고 있어 실제 활용도가 제한적이라고 주장합니다. 제안된 프레임워크는 다음과 같은 요소에 대한 견고성을 향상시키는 모듈형, 아키텍처 불가지론적 접근 방식을 도입함으로써 이를 해결합니다:

• 배경 변화 (시각적 프롬프팅을 통해)
• 도메인 변화 및 사전 학습 편향 (이중 교사 감독을 통해)
• 데이터 부족 및 과적합 (확산 기반 증강을 통해)

저자들은 이러한 개선 사항들이 독립적이며 대부분의 지식 증류 기반 재구성 방법론에 적용될 수 있음을 강조합니다. AeBAD-S에서의 결과는 이러한 수정 사항들이 벤치마크 성능과 실제 적용 가능성 사이의 간극을 유의미하게 좁힐 수 있으며, 도전적인 조건에서도 최첨단의 탐지 및 세그멘테이션 점수를 달성할 수 있음을 입증합니다.