WMoE-CLIP: Wavelet-Enhanced Mixture-of-Experts Prompt Learning for Zero-Shot Anomaly Detection

이 논문은 고정된 텍스트 프롬프트와 공간 도메인 특징의 한계를 극복하기 위해, 변분 오토인코더 기반의 글로벌 의미 표현과 웨이블릿 분해를 활용한 다중 주파수 특징을 통합한 'WMoE-CLIP'을 제안하여 14 개 산업 및 의료 데이터셋에서 제로샷 이상 탐지 성능을 입증했습니다.

핵심

🕵️‍♂️ 핵심 개념: "완벽한 검사관"을 만드는 이야기

기존의 AI 는 "이것은 정상이고, 저것은 불량이다"라고 배우기 위해 수많은 불량품 사진을 보여줘야 했습니다. 하지만 실제로는 불량품이 너무 드물거나, 새로운 종류의 불량품이 갑자기 나타나면 AI 는 당황해서 못 찾습니다.

이 논문은 **"새로운 불량품도 바로 알아맞힐 수 있는 초능력을 가진 검사관"**을 만들었습니다. 그 비결은 세 가지 도구 (기술) 를 섞어 쓴 것입니다.

1. 🧠 "상상력"을 불어넣는 도구 (CTDS - 변분 오토인코더)

• 비유: 기존 AI 는 "이 사과가 상했어"라고 딱딱하게 외우기만 했습니다. 하지만 새로운 사과가 나오면 "상한 사과"의 정의가 달라서 못 찾습니다.
• 해결책: 이 기술은 AI 에게 "상한 사과의 다양한 모습 (전체적인 분위기)"을 상상하게 만듭니다. 마치 "상한 사과는 색이 변하고, 모양이 찌그러지고, 냄새가 변할 수 있다"는 일반적인 원리를 학습시켜, 구체적인 사례를 보지 않아도 "아, 이건 상한 거구나!"라고 추론하게 합니다.
• 효과: AI 가 다양한 불량 패턴에 유연하게 적응할 수 있게 됩니다.

2. 🔍 "현미경과 프리즘"을 결합한 도구 (WCMA - 웨이브릿 강화)

• 비유: 기존 AI 는 사진을 그냥 '통째로' 봤습니다. 큰 흠집은 보이지만, 아주 미세한 금이나 색상 변화는 놓치기 쉽습니다. 마치 안경을 쓴 채로 먼 산만 보는 것과 비슷합니다.
• 해결책: 이 기술은 사진을 프리즘으로 쪼개서 분석합니다.
  • 저주파: 전체적인 모양 (산의 형상).
  • 고주파: 아주 미세한 디테일 (나뭇잎의 질감, 작은 금).
  • AI 는 이 미세한 디테일 (고주파) 정보를 언어 (텍스트) 와 연결시켜 줍니다. "이 작은 금은 '결함'이라는 단어와 연결된다"고 알려주는 셈입니다.
• 효과: 눈으로 보기 힘든 아주 미세한 결함도 찾아낼 수 있게 됩니다.

3. 🎭 "전문가 패널"을 소집하는 도구 (SA-MoE - 의미 인식 혼합 전문가)

• 비유: 한 명의 검사관만 있으면 실수할 수 있습니다. 하지만 10 명의 전문가가 모여서 각자 다른 관점에서 보고 의견을 모으면 훨씬 정확해집니다.
• 해결책: AI 는 결함을 판단할 때, 상황에 따라 가장 적합한 '전문가 (Expert)'들을 자동으로 골라내어 의견을 합칩니다. 어떤 결함은 '색상 전문가'가, 어떤 결함은 '형태 전문가'가 더 잘 볼 수 있기 때문입니다.
• 효과: 다양한 종류의 결함을 놓치지 않고 정확하게 판단합니다.

---

🏆 이 기술이 얼마나 좋은가요?

이 연구팀은 **공장 (산업)**과 병원 (의료) 등 총 14 개의 다양한 데이터셋으로 실험을 했습니다.

• 결과: 기존에 가장 잘하던 AI 들 (WinCLIP, AnomalyCLIP 등) 보다 더 정확하게 새로운 결함을 찾아냈습니다.
• 특히: 병원에서 뇌 MRI 나 피부 병변처럼 아주 미세하고 복잡한 이상을 찾아내는 데서 큰 차이를 보였습니다.

💡 한 줄 요약

"WMoE-CLIP 은 AI 에게 '상상력'을 주고, '미세한 디테일'을 볼 수 있는 눈을 길러주며, '전문가 팀'을 꾸려주어, 훈련받지 않은 새로운 불량이나 질병도 척척 찾아내는 초능력을 부여한 기술입니다."

이 기술은 앞으로 공장에서 불량품을 줄이고, 병원에서 환자를 더 빨리 진단하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

시각 - 언어 모델 (Vision-Language Models, VLM) 은 제로샷 이상 탐지 (ZSAD) 분야에서 강력한 일반화 능력을 보여주지만, 기존 접근법에는 두 가지 주요 한계가 존재합니다.

• 고정된 텍스트 프롬프트의 한계: 기존 방법들은 수동으로 설계되거나 고정된 텍스트 프롬프트에 의존하여 복잡한 의미론적 (semantic) 정보를 포착하는 데 어려움을 겪으며, 제한된 의미 공간 내에서 과적합 (overfitting) 될 위험이 있습니다.
• 공간 도메인 (Spatial-domain) 의존성: 대부분의 모델이 공간적 특징에만 집중하여 미세한 결함이나 복잡한 이상 패턴을 탐지하는 데 한계가 있습니다.

이러한 한계를 극복하고 다양한 산업 및 의료 환경에서 unseen(보지 못한) 이상을 효과적으로 탐지하기 위해 새로운 접근법이 필요합니다.

2. 제안 방법론 (Methodology: WMoE-CLIP)

저자들은 CLIP 기반의 WMoE-CLIP을 제안했습니다. 이 모델은 이미지 - 텍스트 표현의 정렬 (alignment) 과 적응력을 강화하기 위해 세 가지 핵심 모듈로 구성됩니다.

2.1. 클래스 토큰 분포 샘플링 (CTDS: Class Token Distribution Sampling)

• 목적: 이미지별 시각적 맥락에 적응할 수 있는 프롬프트 생성.
• 구현: 변분 오토인코더 (VAE) 를 사용하여 전역 특징 (Global Class Token) 의 잠재 분포를 모델링합니다.
• 작동 원리:
  1. 이미지 인코더에서 추출된 전역 토큰 ($x_c$) 을 MLP 를 통해 평균 ($\mu$) 과 분산 ($\sigma$) 으로 매핑합니다.
  2. 재매개변수화 (Reparameterization) 기법을 통해 잠재 변수를 샘플링하고, 이를 디코더를 통해 재구성된 전역 특징 ($r$) 으로 변환합니다.
  3. 이 재구성된 특징을 학습 가능한 프롬프트 벡터와 결합하여 ("a photo of a good/damaged [v]") 텍스트 임베딩에 통합합니다.
  4. 이를 통해 프롬프트가 특정 이미지의 전역적 의미에 더 잘 적응하도록 합니다.

2.2. 웨이블릿 강화 교차 모달 어텐션 (WCMA: Wavelet-Enhanced Cross-Modal Attention)

• 목적: 미세한 이상 탐지를 위한 고주파수 정보 활용 및 텍스트 임베딩의 동적 정제.
• 구현: 하르 웨이블릿 변환 (Haar Wavelet Transform) 을 적용하여 이미지 특징을 저주파 (FL) 와 고주파 (FH: 수평, 수직, 대각선 성분) 로 분해합니다.
• 작동 원리:
  1. 고주파수 성분은 세부적인 결함을 포착하는 데 중요하므로, 이를 강조하기 위해 채널 및 공간적 의존성을 모델링하여 어텐션 가중치 ($W_h$) 를 생성합니다.
  2. 고주파수 특징을 재가중치 (Reweight) 하여 저주파수 특징과 결합한 강화된 이미지 표현 ($F_p$) 을 생성합니다.
  3. 교차 어텐션 (Cross-Attention): 강화된 이미지 특징을 키 (Key) 와 값 (Value) 으로, 텍스트 임베딩을 쿼리 (Query) 로 사용하여 텍스트 임베딩을 동적으로 정제 ($F'_T$) 합니다. 이는 텍스트가 이미지의 세부적인 주파수 정보에 맞춰 조정되도록 합니다.

2.3. 의미 인식 혼합 전문가 모듈 (SA-MoE: Semantic-Aware Mixture-of-Experts)

• 목적: 다양한 이상 패턴을 인식하기 위한 문맥 정보의 집약.
• 구현: 여러 레이어에서 추출된 패치 특징을 어댑터 (Adapter) 를 통해 통합한 후, 라우팅 게이트 (Routing Gate) 와 N 개의 전문가 네트워크 (Expert Networks) 를 사용합니다.
• 작동 원리:
  1. 라우팅 게이트가 입력된 문맥 표현 ($x_a$) 에 기반하여 각 전문가의 관련성 점수를 계산합니다.
  2. 상위 k 개의 전문가를 동적으로 활성화하여 선택된 전문가들의 출력을 가중치 합으로 집계합니다.
  3. 이렇게 집계된 특징을 전역 클래스 토큰과 결합하여 최종 이미지 수준의 이상 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

1. WMoE-CLIP 아키텍처 제안: CLIP 기반의 새로운 제로샷 이상 탐지 방법으로, 이미지 - 텍스트 상호작용을 강화하여 정확도와 일반화 성능을 동시에 개선했습니다.
2. 다중 도메인 특징 통합:
   • VAE 를 활용한 전역 특징 분포 모델링 (CTDS) 을 통해 프롬프트의 적응력을 높였습니다.
   • 주파수 도메인 (Wavelet) 특징을 도입하여 교차 모달 상호작용을 강화하고 미세한 결함을 탐지했습니다.
   • 의미 인식 혼합 전문가 (SA-MoE) 모듈을 통해 풍부한 문맥 정보를 집약했습니다.
3. 광범위한 실험 검증: 14 개의 산업 및 의료 데이터셋에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: MVTec-AD, VisA, BTAD 등 6 개 산업 데이터셋과 HeadCT, BrainMRI, ISIC 등 8 개 의료 데이터셋 총 14 개.
• 성능 비교:
  • 산업 분야: MVTec-AD 에서 이미지 수준 AUROC 92.4%, VisA 에서 87.3% 를 기록하여 기존 SOTA (AA-CLIP 등) 를 상회했습니다. 특히 미세한 결함 탐지 능력에서 큰 향상을 보였습니다.
  • 의료 분야: 8 개 의료 데이터셋 모두에서 이미지 수준 및 픽셀 수준 (Segmentation) 모든 지표 (AUROC, F1-Max, AP, PRO) 에서 최첨단 성능을 달성했습니다.
• Ablation Study:
  • CTDS, WCMA, SA-MoE 각 모듈을 추가할 때마다 성능이 지속적으로 향상됨을 확인했습니다.
  • 특히 WCMA(웨이블릿) 는 미세한 이상 탐지에, SA-MoE 는 문맥 이해에 각각 중요한 기여를 했습니다.
• 시각화: 이상 위치 특정 (Localization) 결과에서 기존 방법들보다 더 정밀하게 결함 영역을 식별하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 제로샷 이상 탐지 분야에서 텍스트 프롬프트의 유연성과 이미지 특징의 주파수 도메인 정보를 결합한 혁신적인 접근법을 제시했습니다.

• 기술적 의의: 고정된 프롬프트의 한계를 넘어, VAE 와 웨이블릿 변환을 통해 동적이고 다중 스케일적인 특징을 프롬프트 학습에 통합함으로써 모델의 적응력을 극대화했습니다.
• 실용적 가치: 산업 현장의 새로운 생산 라인이나 의료 진단과 같이 이상 샘플이 부족하거나 프라이버시 문제로 데이터 수집이 어려운 환경에서도, 별도의 추가 학습 없이도 높은 신뢰도로 이상을 탐지할 수 있는 강력한 솔루션을 제공합니다.

결론적으로, WMoE-CLIP 은 시각 - 언어 모델의 제로샷 능력을 이상 탐지 영역에서 한 단계 발전시킨 중요한 연구로 평가됩니다.