PatchFlow: Leveraging a Flow-Based Model with Patch Features

기술 요약: PatchFlow

문제 정의
다이캐스팅(Die casting)은 고정밀, 복잡한 금속 부품을 생산하기 위한 핵심 제조 공정이지만, 블리스터(blister), 박리(peeling), 피트(pit)와 같은 표면 결함 문제로 인해 어려움을 겪고 있습니다. 이러한 결함은 주로 오염 물질, 수분 또는 온도 변화에 의해 발생하며, 제품의 품질과 성능을 저하시킵니다. 육안 검사에 의존하는 전통적인 검사 방식은 노동 집약적이고 시간이 많이 소요되며 인간의 실수에 취약합니다. 컴퓨터 비전 기반의 이상 탐지 기술이 해결책을 제시하고 있으나, 기존 방식들은 산업 현장에 적용할 때 다음과 같은 구체적인 문제에 직면합니다:

1. 분포 불일치(Distribution Mismatch): 사전 학습된 특징 추출기(예: ImageNet으로 학습된 모델)는 산업용 제품 이미지의 특정 분포와 일치하지 않는 경우가 많습니다.
2. 계산 복잡도(Computational Complexity): 정밀한 확률 밀도 추정을 제공하는 흐름 기반(Flow-based) 모델은 일반적으로 특징 분포를 잠재 공간(latent space)으로 매핑하기 위해 높은 연산량(FLOPs)을 요구하는 복잡한 구조를 필요로 합니다.
3. 입도(Granularity): 기존의 일부 흐름 기반 모델은 이미지 수준의 예측에 집중하여, 픽셀 수준의 결함 국소화(localization)에 필요한 정밀도가 부족합니다.

방법론: PatchFlow
저자들은 국부적 이웃 인식 특징(local neighborhood-aware features)과 정규화 흐름(normalizing flow) 모델링을 통합한 패치 수준 이상 탐지 프레임워크인 PatchFlow를 제안합니다. 이 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다:

1. 특징 추출기(Feature Extractor): 사전 학습된 백본(EfficientNet B5)을 사용하여 입력 이미지로부터 다층 표현을 추출합니다. 모델은 전역적인 추상 정보와 국부적인 세부 사항을 모두 포착하기 위해 여러 계층적 레이어(구체적으로 block 12, 19, 35)의 특징을 활용합니다.
2. 특징 집계(Feature Aggregation): 이 모듈은 여러 계층과 스케일에 걸쳐 국부적 이웃 인식 패치 특징을 구축합니다. 깊은 층의 특징을 얕은 층의 특징에 맞게 보간(interpolation)하고 결합(concatenation)함으로써 서로 다른 레이어의 기술자(descriptors)를 결합합니다. 시스템은 다중 스케일 계층 패치 특징을 생성하기 위해 세 가지 별도의 스케일을 처리합니다.
3. 특징 적응(Feature Adaptation, Adapter): 일반적인 사전 학습 특징과 산업 데이터 사이의 분포 격차를 해결하기 위해 경량 적응 모듈이 도입되었습니다. 이 모듈은 단일 완전 연결 층(fully-connected layer)을 사용하여 집계된 패치 특징을 변환하며, 상당한 학습 파라미터를 추가하지 않고도 산업 데이터 분포에 정렬시킵니다.
4. 정규화 흐름(Normalizing Flow): 적응된 패치 특징은 RealNVP 기반의 커플링 레이어 구조를 사용하여 표준 정규 분포($Z \sim N(0, I)$)로 쌍생적(bijectively) 매핑됩니다. 이미지 수준의 특징을 매핑하는 이전 연구들과 달리, PatchFlow는 패치 수준의 특징을 직접 매핑합니다. 이를 통해 정상 분포로부터 특정 패치가 벗어난 정도를 바탕으로 정밀한 결함 국소화가 가능합니다.
   • 효율성: 커플링 블록은 계산 복잡도(FLOPs)를 줄이면서도 표현 능력을 유지하기 위해 보틀넥 구조(1x1 커널을 가진 3개 층의 CNN)를 활용합니다.

학습 및 추론

• 학습: 모델은 정상(결함이 없는) 샘플만을 사용하여 학습됩니다. 목표는 추정된 특징 분포와 실제 특징 분포 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 최소화하여, 정상 데이터의 기저 분포를 효과적으로 학습하는 것입니다.
• 추론: 테스트 시, 모델은 새로운 인스턴스의 가능도(likelihood)를 계산합니다. 이상 점수(anomaly score)는 생성된 이상 맵(anomaly map)의 최댓값을 통해 도출되며, 이 맵은 바이리니어 보간(bilinear interpolation)을 통해 정규화된 잠재 패치 특징을 업샘플링하여 생성됩니다.

주요 기여

1. PatchFlow 프레임워크: 국부적 이웃 인식 패치 특징과 흐름 기반 가능도 모델링을 결합한 새로운 이상 탐지 프레임워크를 제시했습니다.
2. 특징 적응 모듈: 일반적인 사전 학습 추출기와 산업용 이미지 사이의 분포 격차를 메우는 경량 메커니즘을 통해 흐름의 안정성과 탐지 정확도를 향상시켰습니다.
3. 효율적인 보틀넥 커플링: 매핑 능력을 유지하면서 정규화 흐의 계산 복잡도를 줄이는 설계를 통해, 더 적은 FLOPs로 더 깊은 네트워크를 구현할 수 있게 했습니다.
4. 패치 수준 매핑: 전체 이미지가 아닌 개별 패치 특징을 매핑하는 전략을 통해, 미세한 픽셀 수준의 결함 국소화를 용이하게 했습니다.

실험 결과
저자들은 MVTec AD, VisA, 그리고 자체 제작한 다이캐스팅 데이터셋을 통해 PatchFlow를 평가했습니다.

• MVTec AD 데이터셋: PatchFlow는 이미지 수준 AUROC **99.28%**를 달성하여, SOTA 모델인 PatchCore(99.1%)를 능가하고 에러율을 20% 감소시켰습니다.
• VisA 데이터셋: 모델은 이미지 수준 AUROC **96.48%**를 달성하였으며, 이는 PatchCore 대비 28.2%의 에러 감소를 나타냅니다.
• 자체 제작 다이캐스팅 데이터셋: 합성된 결함이 포함된 밸브 바디 이미지로 테스트한 결과, 모델은 결함 샘의 학습 없이도 95.77%(F1 Score)의 정확도를 달성했습니다. 혼동 행렬(confusion matrix)에 따르면 34/34의 정상 샘플과 33/36의 이상 샘생을 정확히 식별했습니다.
• 효율성: 모델은 단일 Nvidia GeForce RTX 2080Ti GPU에서 약 2.7 FPS로 작동하며, 총 FLOPs는 $1.25 \times 10^{10}$입니다.
• 절제 실험(Ablation Studies): 실험 결과 3-스케일 이미지 피라미드를 사용하는 것이 최상의 성능을 보였으며, 흐름 단계(flow steps)를 1개 이상으로 늘리는 것은 오히려 성능을 저하시켜, 이 구성에서는 단일 흐름 단계가 최적임을 시사했습니다.

의의 및 주장
본 논문은 PatchFlow가 컴퓨터 비전과 딥러닝을 활용하여 다이캐스팅 산업의 검사 역량을 진전시킬 수 있는 잠재력을 보여준다고 주장합니다. 국부적 이웃 인식 특징과 효율적인 흐름 기반 모델 및 적응 모듈을 결합함으로써, 이 방법은 산업용 이상 탐지의 특정 제약 조건인 분포 불일치와 계산 비용 문제를 해결합니다. 결과는 MVTec AD 및 VisA와 같은 표준 벤치마크에서 이미지 수준 이상 탐지의 새로운 기준을 세우며, 이미지 수준 이상 탐지 분야에서 SOTA 성능을 달성함과 동시에 실질적인 경로를 제시했음을 입증합니다. 저자들은 본 접근 방식이 결함 데이터가 희소하거나 가용하지 않은 실제 상황에서도 매우 유용하게 적용될 수 있는, 이상 샘플 없이도 높은 성능을 낸다는 점을 강조합니다.