Network Knowledge Prior Guided Learning for Data-Efficient Surface Defect Detection

기술 요약: 데이터 효율적 표면 결함 감지를 위한 네트워크 지식 사전 지향 학습

1. 문제 제기

산업용 표면 결함 감지는 주로 딥러닝의 '데이터 갈망' 특성과 신경망의 본질적인 '블랙박스' 특성으로 인해 실제 제조 시나리오에서 상당한 도전에 직면해 있습니다. 주요 이슈는 다음과 같습니다:

• 데이터 부족 및 불균형: 결함 샘플은 드물고 무작위적이며 수집이 어려워 심각한 클래스 불균형을 초래합니다.
• 높은 주석 비용: 미세한 스크래치나 대비가 낮은 결함과 같은 결함에 대한 정밀한 픽셀 단위 주석은 도메인 전문가가 필요하므로 완전 감독 학습은 비용이 많이 들고 비효율적입니다.
• 모델 신뢰성 및 해석 가능성: 딥러닝 모델은 종종 실제 결함 특징보다는 배경 질감이나 조명과 같은 허위 상관관계에 의존하여 일반화 성능이 저하됩니다. 또한, 의사결정 과정의 투명성이 부족하여 품질 엔지니어들의 신뢰를 떨어뜨립니다.
• 기존 XAI 의 한계: 현재 설명 가능한 AI(XAI) 방법들 (예: Grad-CAM 과 같은 중요도 지도) 은 일반적으로 사후 (post-hoc) 진단 도구로 사용됩니다. 이들은 훈련 후 의사결정을 설명하지만, 특징 학습이나 견고성을 개선하기 위해 훈련 과정을 능동적으로 안내하지는 않습니다.

2. 방법론

본 논문은 모델 설명 가능성을 수동 분석 도구에서 능동적인 훈련 제약 조건으로 변환하는 네트워크 지식 사전 지향 학습 프레임워크를 제안합니다. 이 접근법은 추가적인 수동 주석이 필요 없거나 추가 추론 비용이 발생하지 않는 두 가지 명확한 단계로 작동합니다.

1 단계: 지식 생성 (사전 지식 추출)

• 주어진 결함 데이터셋으로 1 차 분류 네트워크 (예: VGG16 또는 ResNet) 를 훈련합니다.
• 훈련이 완료되면, 모델은 FullGrad와 LayerCAM과 같은 고급 설명 가능성 기법을 사용하여 샘플 수준의 **중요도 지도 (attribution maps)**를 생성합니다.
  • FullGrad는 이론적 완전성을 위해 활용되며, 네트워크 출력을 입력 픽셀 및 편향 항 기여도로 분해하여 신뢰할 수 있는 전역 지식을 보장합니다.
  • LayerCAM은 고해상도 공간 세부 정보를 보존하고 기울기를 적응적으로 가중치화할 수 있는 능력을 활용하여 세분화된 위치 파악을 제공합니다.
• 이러한 중요도 지도는 결함이 위치한 '전문가' 모델의 이해를 나타내는 사전 지식으로 저장됩니다.

2 단계: 지식 지향 학습 (다중 태스크 훈련)
동일한 아키텍처를 가진 새로운 모델을 사전 지식을 통합한 다중 태스크 학습 프레임워크를 사용하여 재훈련합니다:

• 주요 태스크: 표준 결함 분류.
• 보조 태스크: 새로운 모델이 생성한 중요도 지도가 저장된 사전 지식과 정렬되도록 강제하는 일관성 제약 조건.
• 특징 주입: 사전 중요도 지도 $H(x)$를 백본 네트워크의 특징 출력 $F(x)$와 연결하여 지식 강화 특징 맵 $P(x) = [F(x), H(x)]$을 형성합니다. 이 맵은 세그멘테이션 서브네트워크를 거쳐 처리되고 (Global Max 및 Global Average Pooling 사용) 분류기의 결정 레이어에 공간 사전 정보를 직접 주입하기 위해 풀링됩니다.
• 손실 함수 설계: 전체 손실 함수는 분류 손실 ($L_{cls}$) 과 세그멘테이션 유사 일관성 손실 ($L_{seg}$) 을 결합합니다.
  • 세그멘테이션 손실은 Otsu 임계값 처리를 통해 생성된 이진화된 사전 중요도 지도를 **가상 레이블 (pseudo-label)**로 사용하여 모델의 공간적 주의를 감독합니다.
  • 동적 가중치 계수 $\lambda$가 세그멘테이션 손실에 적용되며, 훈련이 진행됨에 따라 감소합니다 ($\lambda = 1 - k/k_{epoch}$). 이는 모델이 초기에는 공간 사전 지식에서 학습하지만, 잠재적으로 불완전한 가상 레이블에 과적합되는 것을 방지하기 위해 점차 스스로 학습한 판별 특징에 의존하도록 보장합니다.

3. 주요 기여

• 지식 지향 손실 함수: 본 논문은 모델이 생성한 중요도 지도를 공간 사전 지식으로 활용하는 새로운 손실 항을 도입합니다. 이는 추가적인 수동 마스크가 필요 없이 훈련 중 모델의 특징 주의를 규제하여 판별 가능한 결함 영역으로 유도합니다.
• 2 단계 다중 태스크 프레임워크: 지식 생성과 지식 지향 훈련을 분리하는 훈련 전략입니다. 이 프레임워크는 아키텍처에 구애받지 않으며, 추론 시 추가 파라미터를 도입하지 않고 추가 주석 비용도 요구하지 않습니다.
• 능동적 설명 가능성 주입: 사후 진단 도구 (중요도 지도) 를 능동적 안내 신호로 변환하는 메커니즘을 제안합니다. 이는 모델 해석 가능성과 성능 간의 격차를 해소하여 모델이 견고한 특징을 학습하는 동시에 자신의 설명 가능성을 개선하도록 합니다.

4. 실험 결과

이 방법은 **KolektorSDD (KSDD)**와 KolektorSDD2라는 두 개의 공개 산업 결함 데이터셋에서 평가되었습니다.

• KSDD 성능: 마스크가 없는 설정 ($N_a=0$, 픽셀 단위 레이블 없음) 에서 제안된 방법은 **100% 평균 정밀도 (AP)**를 달성했습니다. 이는 MaMiNet(98.5%) 과 MixSup(93.4%) 과 같은 강력한 준감독 경쟁자들을 능가했습니다.
• KSDD2 성능: 미묘한 결함이 포함된 더 까다로운 KSDD2 데이터셋에서 이 방법은 마스크가 없는 상태에서 93.94% AP를 달성하여 MaMiNet(80.0%) 과 MixSup(73.3%) 을 크게 앞섰습니다.
• 견고성: 사용 가능한 레이블 수가 증가함에 따라 이 방법은 높은 성능을 유지했으며, 이는 중요도 기반 정규화기가 추가 주석 없이 성능을 포화시킬 만큼 충분한 사전 지식을 제공함을 입증했습니다.
• 절대 실험: 실험은 FullGrad 와 LayerCAM 이 모두 지식 원천으로서 효과적임을 확인했으며, 제안된 프레임워크와 결합될 때 거의 완벽한 결과를 산출했습니다.

5. 중요성 및 주장

본 논문은 산업 검사에서 데이터 부족과 모델 불투명성이라는 이중 과제를 해결하기 위한 간단하면서도 효과적인 패러다임을 제시한다고 주장합니다.

• 성능과 해석 가능성의 연결: 설명 가능성을 훈련 루프에 직접 통합함으로써 모델 정확도를 향상시키고, 모델이 인간이 이해할 수 있는 결함 영역에 집중하도록 보장하여 신뢰성을 높입니다.
• 데이터 효율성: 이 접근법은 정밀한 주석이 불가능하거나 비용이 너무 많이 드는 시나리오에 대한 실현 가능한 솔루션을 제공하며, 모델의 자체 '지식'을 활용하여 특징 표현을 스스로 수정하고 정제합니다.
• 산업 적용 가능성: 이 방법은 백본 아키텍처나 추론 파이프라인의 변경을 요구하지 않으므로, 고속 제조 환경에서 신뢰할 수 있는 비전 시스템을 배포하기 위한 실용적이고 오버헤드가 적은 솔루션입니다.

참고: 본 논문은 극단적인 클래스 불균형과 미묘한 결함 형태를 특징으로 하는 작업에는 표준 세그멘테이션 알고리즘이 적합하지 않음을 지적하며, 결함 감지를 위한 전통적인 의미론적 세그멘테이션보다 약한 감독 접근법의 우월성을 강조하며 결론을 맺습니다.