VMAD: Visual-enhanced Multimodal Large Language Model for Zero-Shot Anomaly Detection

1. 문제 정의 (Problem Statement)

기존의 제로샷 이상 탐지 (Zero-Shot Anomaly Detection, ZSAD) 방법은 주로 사전 정의된 텍스트 프롬프트와 이미지 간의 특징 매핑을 기반으로 작동합니다. 그러나 이러한 방법들은 다음과 같은 한계를 가집니다:

• 폐쇄적 세계 가정 (Closed-world Setting): 미리 정의된 프롬프트에 국한되어, 훈련 데이터에 없는 새로운 유형의 결함이나 복잡한 산업 환경의 다양한 이상을 탐지하는 데 어려움을 겪습니다.
• 세밀한 구별 부족: 이상은 종종 미세한 지역적 영역에 나타나며 정상 샘플과의 시각적 차이가 미미합니다. 기존 대비 (Contrast-based) 방법들은 이러한 미세한 결함을 정밀하게 식별하고 국소화하는 데 한계가 있습니다.
• 설명 가능성 부재: 단순히 '이상/정상' 이진 분류만 수행할 뿐, 왜 그 부분이 이상인지에 대한 상세한 분석이나 설명을 제공하지 못합니다.

최근 등장한 멀티모달 대규모 언어 모델 (MLLM) 은 개방형 텍스트 해석과 생성 능력을 갖추고 있어 이러한 문제를 해결할 잠재력이 있지만, MLLM 을 산업 이상 탐지에 직접 적용할 때는 미세한 결함에 대한 시각적 민감도 부족과 세밀한 의미론적 (Fine-grained) 이해의 부재라는 새로운 과제가 존재합니다.

2. 제안 방법론 (Methodology: VMAD)

저자들은 VMAD (Visual-enhanced MLLM Anomaly Detection) 라는 새로운 프레임워크를 제안합니다. 이는 MLLM 에 시각 기반의 이상 탐지 지식과 세밀한 인지 능력을 결합하여, 이상 탐지 및 위치 특정 (Localization), 그리고 종합적인 분석을 동시에 수행합니다.

핵심 구성 요소:

1. 결함 민감 구조 학습 (Defect-Sensitive Structure Learning, DSSL):

   • 목적: MLLM 공간에서 이상 구조를 더 잘 구별할 수 있도록 시각적 패치 유사성 (Patch-similarity) 지식을 전이합니다.
   • 원리:
     • 시각적 패치 유사성: 입력 이미지의 로컬 패치와 글로벌 정상 특징 간의 유사성을 계산합니다. 정상 패치는 다른 정상 샘플들과 높은 유사성을 보이지만, 이상 패치는 그렇지 않다는 특성을 이용합니다.
     • 텍스트 - 시각 패치 유사성: MLLM 공간에서 시각적 패치 토큰과 정상 샘플의 시맨틱 토큰 (언어적 + 시각적 정보 결합) 간의 유사성을 계산합니다.
     • 정렬 (Alignment): 시각 도메인과 멀티모달 도메인 간의 유사성 분포를 패치 기반 유사성 분포 (PBSD) 손실 함수로 정렬하여, MLLM 이 시각적 특징과 언어적 특징을 일관되게 연결하도록 학습시킵니다.

2. 로컬리티 강화 토큰 압축 (Locality-enhanced Token Compression, LTC):

   • 목적: 효율성을 위해 시각 정보를 과도하게 압축하는 기존 방식의 한계를 극복하고, 미세한 결함을 포착할 수 있는 풍부한 시각적 토큰을 생성합니다.
   • 원리:
     • ** coarse-to-fine 정제:** 다운샘플링된 coarse 특징에 고해상도 특징의 세부 정보를 주입합니다.
     • 다중 수준 특징 통합: CLIP 인코더의 여러 층 (shallow layers 의 저수준 디테일, deep layers 의 시맨틱 이해) 에서 추출된 특징을 통합하여 참조 키 (Key) 와 값 (Value) 으로 활용합니다.
     • 이를 통해 시각적 토큰 수를 줄이면서도 (효율성) 공간적 정보와 세부 사항을 유지합니다.

3. 전체 아키텍처:

   • MLLM: 이미지와 텍스트 입력을 처리하여 이상에 대한 설명 텍스트와 마스크 생성을 위한 [seg] 토큰을 출력합니다.
   • 시각 분기 (Visual Branch): SAM(Segment Anything Model) 등을 활용하여 [seg] 토큰의 임베딩을 기반으로 최종 이상 분할 마스크를 생성합니다.

3. 주요 기여 (Key Contributions)

1. VMAD 프레임워크 제안: 이상 탐지, 위치 특정, 그리고 설명 가능한 텍스트 생성을 동시에 수행하는 최초의 MLLM 기반 프레임워크 중 하나입니다.
2. DSSL (Defect-Sensitive Structure Learning): 시각적 패치 유사성 지식을 MLLM 에 전이하여, 사전 정의된 프롬프트에 의존하지 않고도 다양한 이상을 구별하는 능력을 향상시켰습니다.
3. LTC (Locality-enhanced Token Compression): 효율성과 정밀도를 동시에 만족시키는 새로운 비주얼 프로젝터로, 미세한 결함 탐지 성능을 극대화했습니다.
4. RIAD (Real Industrial Anomaly Detection) 데이터셋 구축:
   • 24 개의 객체 카테고리, 15 개의 결함 유형, 총 28,040 개의 이미지로 구성된 대규모 데이터셋입니다.
   • 기존 데이터셋과 달리, 각 이상에 대한 세부 설명, 영향 분석, 개선 제안이 포함된 텍스트 - 이미지 쌍 (Paired data) 과 세그멘테이션 마스크를 제공합니다. 이는 MLLM 기반 산업 이상 탐지 연구에 필수적인 자원이 됩니다.

4. 실험 결과 (Results)

• 벤치마크: MVTec-AD, VisA, WFDD 및 새로 구축된 RIAD 데이터셋에서 제로샷 설정으로 평가되었습니다.
• 성능:
  • Cross-dataset 평가: MVTec-AD, VisA, WFDD 에서 기존 최첨단 방법 (WinCLIP, AnomalyGPT, Myriad 등) 보다 우수한 성능을 기록했습니다. 특히 픽셀 레벨 (Pixel-level) 및 지역 레벨 (Region-level) 분석에서 큰 마진 (예: Myriad 대비 3.3%p~3.8%p 향상) 을 보였습니다.
  • Cross-category 평가: RIAD 데이터셋의 훈련되지 않은 클래스에 대해 테스트했을 때, 모든 메트릭 (Img AUROC, Pixel AUROC, PRO) 에서 SOTA 성능을 달성했습니다.
• 품질: 단순한 이상 탐지를 넘어, 결함의 원인, 영향, 그리고 해결 방안을 제시하는 상세한 텍스트 설명을 생성하는 능력이 입증되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 산업 자동화 검사 분야에서 MLLM 의 잠재력을 성공적으로 활용한 사례입니다.

• 유연성: 고정된 프롬프트에 의존하지 않고 자연어 질의에 따라 다양한 기준의 이상을 탐지하고 분석할 수 있어, 동적인 생산 환경에 적합합니다.
• 해석 가능성: "왜 이 부분이 결함인가?"에 대한 설명을 제공함으로써, 인간의 의사결정을 지원하고 신뢰할 수 있는 AI-인간 협업 (Human-AI Interaction) 을 가능하게 합니다.
• 데이터 기여: RIAD 데이터셋은 향후 MLLM 기반 산업 이상 탐지 연구의 표준 벤치마크 및 학습 자원으로 활용될 것입니다.

결론적으로, VMAD 는 기존 ZSAD 방법들의 폐쇄적 한계를 극복하고, 정밀한 시각적 인지 능력과 언어적 추론 능력을 결합하여 차세대 산업 이상 탐지 솔루션의 새로운 방향을 제시합니다.