Explainable Visual Anomaly Detection via Concept Bottleneck Models

1. 문제 정의 (Problem)

시각적 이상 탐지 (Visual Anomaly Detection, VAD) 는 제조, 의료, 감시 등 다양한 분야에서 결함을 식별하는 데 필수적입니다. 기존 VAD 모델들은 훈련 시 정상 이미지만 사용하여 이상을 탐지하고, 이상 영역을 픽셀 단위로 시각화 (히트맵) 할 수 있습니다.

그러나 기존 방식에는 다음과 같은 한계가 존재합니다:

• 해석 가능성 부족: 이상 영역을 시각적으로 표시할 수는 있지만, "왜 이 부분이 이상한가?"에 대한 **인간이 이해할 수 있는 의미 있는 설명 (Semantic Explanation)**을 제공하지 못합니다.
• 개념 기반 설명의 부재: 기존 모델은 '스크래치', '균열', '변색'과 같은 구체적인 결함 개념을 명시적으로 학습하거나 설명하지 않습니다.
• 데이터 수집 비용: 고성능을 내기 위해 많은 양의 라벨링된 이상 데이터가 필요하지만, 산업 현장에서는 다양한 결함 유형을 수집하고 라벨링하는 것이 매우 비용이 많이 들고 어렵습니다.

2. 제안 방법론 (Methodology: CONVAD)

저자들은 **개념 병목 모델 (Concept Bottleneck Models, CBM)**을 VAD 영역에 처음 적용하여 CONVAD (Concept-Aware Visual Anomaly Detection) 프레임워크를 제안합니다. 이 모델은 의미론적 (Concept-level) 설명과 공간적 (Pixel-level) 위치 추정을 동시에 수행합니다.

핵심 구성 요소

1. 이중 분기 구조 (Dual-branch Architecture):

   • CBM 분기 (Concept Branch): 이미지에서 미리 정의된 인간이 이해 가능한 '개념 (Concepts)' (예: "표면 균열", "불균일한 색상") 을 예측합니다. 이 예측은 최종 이상/정상 판별의 근거가 되며, 사용자에게 텍스트 기반 설명을 제공합니다.
   • 시각 분기 (Visual Branch): 기존 VAD 의 '학생 - 교사 (Student-Teacher)' 패러다임을 활용하여 픽셀 단위의 이상 위치 (Anomaly Heatmap) 를 추정합니다.
   • 두 분기는 결합되어 의미론적 해석 가능성과 공간적 정밀도를 동시에 제공합니다.

2. 자동화된 개념 데이터셋 파이프라인:

   • VAD 영역에는 기존에 개념이 라벨링된 데이터셋이 없으므로, 저자들은 **시각 - 언어 모델 (VLM, Vision-Language Model)**을 활용한 자동 파이프라인을 구축했습니다.
   • 단계 1 (Context-aware List Creation): VLM 을 사용하여 대표 샘플에 대한 문맥을 고려한 개념 목록을 생성합니다.
   • 단계 2 (Grouping & Filtering): 생성된 개념들을 의미적으로 그룹화하고 중복을 제거하여 최종 개념 어휘집을 만듭니다.
   • 단계 3 (Automatic Annotation): VLM 을 사용하여 각 이미지에 대해 개념의 유무 (Binary) 를 자동으로 라벨링합니다.

3. 학습 전략 및 합성 이상 생성 (Synthetic Anomaly Generation, SAG):

   • 실제 이상 데이터가 부족한 상황을 해결하기 위해, 텍스트 - 이미지 생성 모델 (Nano Banana 등) 을 이용해 합성 이상 데이터를 생성합니다.
   • 학습 시나리오 비교:
     • Fully: 모든 실제 이상 데이터 사용.
     • Weakly: 결함 유형당 1 장의 실제 이상 데이터만 사용 (Few-shot).
     • SAG: 합성 이상 데이터만 사용.
     • Weakly+SAG: 소량의 실제 데이터 + 합성 데이터 혼합.

4. 테스트 시간 개입 (Test-time Intervention):

   • CBM 의 핵심 장점인 '개념 수정' 기능을 제공합니다. 전문가가 모델이 잘못 예측한 개념 (예: "균열"을 "없음"으로 잘못 예측) 을 수동으로 수정하면, 수정된 개념 벡터를 기반으로 최종 판별 결과가 즉시 업데이트됩니다. 이는 인간 - 기계 협업을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. VAD 에 대한 CBM 최초 적용: 기존에 분류 작업에 국한되었던 CBM 을 이진 분류 및 이상 탐지 (VAD) 문제로 확장하여, 개념 기반 설명이 가능한 새로운 VAD 패러다임을 제시했습니다.
2. 다양한 감독 학습 regime 평가: 완전 감독 (Fully), 약한 감독 (Weakly), 합성 데이터만 사용 (SAG) 등 다양한 데이터 가용성 시나리오를 평가하여, 라벨링 노력과 성능 간의 트레이드오프를 분석했습니다. 특히 소량의 실제 데이터와 합성 데이터를 결합한 방식이 실용적임을 입증했습니다.
3. 이중 분기 아키텍처 제안: 개념 수준의 설명 (CBM) 과 픽셀 수준의 위치 추정 (Visual Branch) 을 결합하여, 기존 VAD 모델이 가지지 못한 심층적인 해석 가능성을 제공합니다.
4. 공공 데이터셋 및 코드 공개: MVTec AD, VisA, Real-IAD 등 주요 산업 VAD 벤치마크에 대한 자동 생성된 개념 데이터셋과 전체 코드를 공개하여 향후 연구를 촉진합니다.

4. 실험 결과 (Results)

• 성능: MVTec AD, VisA, Real-IAD 등 3 개 벤치마크에서 CONVAD 는 기존 최첨단 VAD 방법 (PatchCore, STFPM 등) 과 **비슷하거나 더 나은 이상 탐지 성능 (I-AUC)**을 달성했습니다.
  • 특히 MobileNet-v2 기반의 경량 모델로 훈련하여, 파라미터 수가 훨씬 큰 VLM 기반 모델보다 효율적이면서도 높은 성능을 보였습니다.
• 개념 예측 정확도 (C-AUC): Fully Supervised 설정에서 높은 개념 예측 정확도를 보였으며, 약한 감독 (Weakly) 설정에서도 합성 데이터 (SAG) 를 추가하면 성능이 크게 향상되었습니다.
• 개념 개입 효과: Fig. 5 에서 보듯, 예측된 개념 중 소수만 전문가가 수정해도 이상 탐지 정확도가 크게 향상됨을 확인했습니다. 이는 CBM 구조가 인간 개입에 매우 효과적임을 증명합니다.
• 시각적 설명: 픽셀 단위의 이상 위치를 정확히 표시하면서도, "표면에 균열이 있음", "색상이 불균일함"과 같은 텍스트 설명을 제공하여 사용자의 신뢰도를 높였습니다.

5. 의의 및 결론 (Significance)

이 논문은 **해석 가능한 AI (XAI)**와 이상 탐지의 간극을 메우는 중요한 연구입니다.

• 신뢰성 향상: 단순히 "이상이다"라고 알려주는 것을 넘어, "어떤 특징 (개념) 때문에 이상으로 판단했는지" 설명함으로써 산업 현장에서의 모델 신뢰도를 높입니다.
• 실용성: 고비용의 라벨링 작업을 줄이기 위해 합성 데이터와 약한 감독 학습을 효과적으로 결합하는 전략을 제시하여, 실제 산업 환경에 적용 가능한 솔루션을 제공합니다.
• 인간 - 기계 협업: 테스트 시간 개입 기능을 통해 도메인 전문가가 모델의 오류를 실시간으로 수정하고 성능을 개선할 수 있는 새로운 협업 방식을 제시합니다.

결론적으로, CONVAD 는 고성능 이상 탐지와 인간이 이해할 수 있는 추론을 동시에 달성하여, 안전과 품질 관리가 중요한 산업 분야에서 혁신적인 도구로 자리 잡을 잠재력을 가지고 있습니다.