GRD-Net: Generative-Reconstructive-Discriminative Anomaly Detection with Region of Interest Attention Module

이 논문은 생성적·재구성적·판별적 접근법과 관심 영역 (ROI) 어텐션 모듈을 결합한 GRD-Net 을 제안하여, 기존 전처리 알고리즘의 의존성을 줄이고 제약 조건이 있는 산업 환경 (예: 의약품 바이알) 에서 더 일반화된 표면 이상 검출 및 국소화를 가능하게 합니다.

핵심

1. 왜 새로운 기술이 필요했을까요? (기존의 문제점)

상상해 보세요. 공장에서 약병 (약이 들어가는 작은 병) 을 만드는 기계가 있습니다. 우리는 이 병에 작은 흠집이나 이물질이 있는지 확인해야 합니다.

• 기존 방식 (과거의 검사관):
  • "이 병 전체를 스캔해서, 원래 모습과 다른 부분을 찾아라!"라고 명령합니다.
  • 하지만 병은 투명하고, 빛이 반사되며, 액체가 흔들리는 모양 (메니스커스) 이 계속 변합니다.
  • 이 때문에 실제 불량품이 아닌데도 "여기 뭔가 이상해!"라고 잘못 짚는 경우가 많습니다 (거짓 경보).
  • 마치 어두운 밤에 전체 숲을 비추는 손전등을 들고 다니며, 나뭇잎 하나하나의 그림자까지 다 '괴물'로 오해하는 것과 비슷합니다.

2. GRD-Net 의 등장: "눈을 가린 후, 집중해서 보는 검사관"

이 논문에서 제안한 GRD-Net은 두 단계로 이루어진 똑똑한 팀입니다.

1 단계: '완벽한 복제인형' (Generative-Reconstructive Block)

• 역할: 불량품이 없는 '정상적인' 약병 사진만 수백 장 보고, "이게 정상적인 약병이구나"라고 외워둡니다.
• 작동 원리:
  • 실제 불량품이 있는 사진을 주면, AI 는 "아, 이 부분은 원래 없어야 할 부분이야"라고 생각하며 불량 부분을 지우고 깨끗한 병을 다시 그려냅니다.
  • 이때, AI 는 잔상 (노이즈) 을 제거하는 능력도 함께 훈련받습니다. 마치 흐릿하게 찍힌 사진을 선명하게 복원하는 사진 보정 프로그램처럼요.
  • 비유: "이 병은 원래 이렇게 매끄러워야 해. 네가 가진 병은 여기가 찌그러졌네?"라고 원본을 완벽하게 복원해내는 능력입니다.

2 단계: '초점 맞추기 전문가' (Discriminative Block with ROI Attention)

• 역할: 1 단계에서 복원된 깨끗한 병과, 실제 불량품이 있는 병을 비교해서 "정말 중요한 부분"만 찾아냅니다.
• 핵심 기술 (ROI - 관심 영역):
  • 여기가 이 기술의 가장 큰 차이점입니다.
  • 기존에는 병 전체를 다 검사했지만, GRD-Net 은 **"약병의 '목' 부분만 봐, 병 몸통은 무시해"**라고 미리 알려줍니다.
  • 비유: 안경에 '마스크'를 씌운 것과 같습니다.
    • 병 전체를 다 볼 필요 없이, **불량품이 생기기 쉬운 '목' 부분 (ROI)**만 렌즈를 통해 선명하게 보고, 나머지 배경 (나뭇잎 그림자, 빛 반사 등) 은 완전히 무시해버립니다.
    • 그래서 배경이 아무리 복잡하고 시끄러워도, AI 는 그 소음에 흔들리지 않고 정작 중요한 불량만 정확히 찾아냅니다.

3. 이 기술이 어떻게 작동하나요? (학습 과정)

이 AI 는 두 가지 방식으로 훈련받습니다.

1. 가짜 불량 만들기: AI 는 정상적인 병 사진에 인위적으로 '가짜 흠집 (Perlin Noise)'을 만들어 붙입니다.
2. 찾아내기: AI 는 "어? 여기 가짜 흠집이 있네? 이걸 지워내고 원래대로 돌려놔!"라고 연습합니다.
3. 집중 훈련: 이때, "가짜 흠집이 '목' 부분에만 붙어있을 때만 점수를 줘. 몸통에 붙으면 점수 안 줘"라고 가르칩니다.
   • 결과적으로 AI 는 불량품이 있을 법한 특정 구역 (ROI) 에만 집중하는 습관을 갖게 됩니다.

4. 실제 성과: 약병 검사에서 대활약

이 기술을 실제 제약 회사의 약병 생산 라인에 적용해 보았습니다.

• 과거: 약병 안의 액체가 흔들리거나 빛이 반사될 때마다 "불량!"이라고 소리쳐서 생산 라인이 자주 멈췄습니다.
• GRD-Net: 약병의 **'목' 부분 (액체와 공기가 만나는 곳)**에만 집중해서 검사했습니다.
• 결과:
  • 진짜 작은 흠집이나 검은 이물질은 99% 이상 찾아냈습니다.
  • 반면, 빛 반사나 액체 흔들림 같은 '가짜 불량'은 거의 무시했습니다.
  • 마치 나쁜 소리 (배경 잡음) 는 다 걸러내고, 진짜 목소리 (불량품) 만 선명하게 듣는 노이즈 캔슬링 이어폰처럼 작동했습니다.

5. 한 줄 요약

"GRD-Net 은 공장 검사관에게 '전체 숲을 다 보지 말고, 나무 한 그루 (불량품이 생기기 쉬운 곳) 만 집중해서 봐'라고 가르쳐서, 잡음에 흔들리지 않고 정확한 불량품을 찾아내는 똑똑한 AI 입니다."

이 기술은 더 이상 복잡한 이미지 처리 프로그램을 수동으로 짜지 않아도 되며, 공장의 불량품 검사를 훨씬 빠르고 정확하게 만들어줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

산업 현장의 시각 검사 (Visual Inspection) 및 표면 결함 탐지 분야에서 기존 방법론은 다음과 같은 한계를 가지고 있습니다:

• 일반화 부족: 기존 결함 위치 특정 (Defect Localization) 은 생성된 이미지와 원본 이미지를 비교한 후, Blob 분석이나 이미지 편집 알고리즘을 적용하는 사후 처리 (Post-processing) 단계에 의존합니다. 이는 특정 데이터셋에 편향되어 새로운 결함이나 환경에 대한 일반화 능력이 떨어집니다.
• 불필요한 노이즈 감지: 산업용 이미지 전체가 중요한 것이 아니라, 특정 관심 영역 (ROI, Region of Interest) 만 결함을 포함할 수 있습니다. 예를 들어, 약병 (Vial) 의 경우 병 몸체만 중요하고 배경이나 다른 부품의 결함은 무시해야 합니다. 기존 방법은 이미지 전체를 스캔하여 배경의 노이즈를 오검출 (False Positive) 하는 경향이 있습니다.
• 복잡한 전처리: 결함 영역을 찾기 위해 복잡한 전처리 알고리즘이 필요하며, 이는 시스템의 유연성을 떨어뜨립니다.

2. 방법론 (Methodology)

저자들은 GRD-Net이라는 새로운 아키텍처를 제안했습니다. 이 네트워크는 두 개의 주요 블록으로 구성되며, 생성 (Generative), 재구성 (Reconstructive), 판별 (Discriminative) 과정을 통합합니다.

2.1. 아키텍처 개요

1. 생성 및 재구성 블록 (Generative-Reconstructive Block):

   • GANomaly 기반: 기존 DRÆM 모델의 재구성 네트워크 (Autoencoder) 를 GANomaly 구조로 대체했습니다.
   • 잔류 신경망 (Residual Autoencoder): 인코더 - 디코더 - 인코더 구조에 잔류 블록 (Residual Blocks) 을 도입하여 심층 신경망에서의 기울기 소실 (Gradient Vanishing) 문제를 방지하고 학습 안정성을 높였습니다.
   • 학습 방식: 정상 제품 이미지와 합성된 결함 (Perlin Noise 를 이용한 인공 노이즈) 이 포함된 이미지를 입력받아, 노이즈가 제거된 정상 이미지를 재구성하도록 학습합니다.
   • 손실 함수: 적대적 손실 (Adversarial Loss), 문맥 손실 (Contextual Loss, L1 + SSIM), 인코더 손실 (Encoder Loss) 의 가중 합을 사용합니다.

2. 판별 블록 (Discriminative Block):

   • U-Net 기반 세그멘테이션: 원본 이미지와 재구성된 이미지를 결합하여 결함 위치를 세그먼트하는 네트워크입니다.
   • ROI 어텐션 모듈 (Region of Interest Attention): 학습 데이터셋의 각 이미지에 대해 관심 영역 (ROI) 마스킹을 적용합니다.
   • 학습 전략: 네트워크가 이미지 전체가 아닌, 정의된 ROI 내에서만 결함을 탐지하도록 유도합니다. 이를 위해 Focal Loss를 사용하며, 네트워크가 출력한 결함 마스크와 ROI 마스크의 **교집합 (Intersection)**에 대해서만 손실 계산을 수행합니다.

2.2. 핵심 기술적 혁신

• Perlin Noise 를 이용한 합성 결함 생성: 실제 결함 데이터가 부족할 때, Perlin Noise 를 사용하여 다양한 형태의 인공 결함을 생성하고 이를 학습에 활용합니다.
• ROI 기반 손실 함수: $L_{tot} = L_{gan} + FL(I, M_{input})$ (여기서 $I$는 판별 네트워크 출력과 ROI 의 교집합). 이를 통해 배경 노이즈는 무시하고 제품 본연의 영역에서만 결함을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 아키텍처: GANomaly 의 강력한 재구성 능력과 DRÆM 의 판별적 학습 (Discriminative Learning) 을 결합하여, 기존 모델보다 더 안정적이고 정확한 재구성을 가능하게 했습니다.
2. 잔류 구조의 도입: 재구성 네트워크에 잔류 블록을 도입하여 학습의 안정성을 높이고, 미세한 텍스처까지 복원하는 능력을 향상시켰습니다.
3. ROI 어텐션 모듈: 산업 현장의 요구사항인 "특정 영역만 검사"를 가능하게 하는 어텐션 메커니즘을 도입했습니다. 이는 배경 노이즈로 인한 오검출을 획기적으로 줄여줍니다.
4. 실제 산업 적용 검증: MVTec-AD 데이터셋뿐만 아니라, Bonfiglioli Engineering 과 협력하여 실제 제약 산업 (약병 BFS 스트립) 의 데이터를 활용하여 모델의 실용성을 입증했습니다.

4. 실험 결과 (Results)

• MVTec-AD 데이터셋 (Hazelnut, Metal Nut, Pill 등):
  • 성능: 200 에포크 학습 후, GRD-Net 은 DRÆM 과 GANomaly 보다 높은 AUROC 점수를 기록했습니다. (예: Hazelnut 에서 100.0%, Metal Nut 에서 99.8% 등).
  • 학습 효율성: 기존 모델 (Vanilla Autoencoder) 에 비해 학습 곡선이 더 매끄럽고 수렴 속도가 빠르며, 과적합 (Overfitting) 현상이 적었습니다.
• ROI 어텐션 효과 (Zipper 데이터셋):
  • 패브릭 영역이 아닌 지퍼 부분만 ROI 로 설정했을 때, 지퍼 영역의 결함은 정확히 탐지되지만 패브릭 영역의 결함은 무시되는 것을 확인했습니다. 이는 배경 노이즈를 효과적으로 제거함을 의미합니다.
• 실제 산업 데이터 (제약 약병):
  • 약병의 수면 (Meniscus) 영역에서 발생하는 미세한 스크래치, 검은 반점, 이물질 등을 탐지했습니다.
  • 성능: 30 에포크 학습 후 이미지 단위 AUROC 0.981, 픽셀 단위 AUROC 0.996의 높은 정확도를 달성했습니다.
  • 기존 Blob 분석 알고리즘으로는 처리하기 어려웠던 수면의 불규칙한 형태와 그림자 노이즈를 성공적으로 필터링했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 산업적 실용성: GRD-Net 은 단순한 결함 탐지를 넘어, **어디를 봐야 할지 (ROI)**를 학습하는 능력을 갖추었습니다. 이는 산업 현장의 복잡한 배경과 다양한 제품 형태에 대한 적응력을 높여줍니다.
• 전처리 불필요: 기존에 필요했던 복잡한 Blob 분석이나 이미지 편집 기반의 사후 처리 단계를 제거하여 시스템의 간소화와 신뢰성을 높였습니다.
• 일반화 능력: 생성적 모델 (GAN) 과 판별적 모델의 결합, 그리고 잔류 구조를 통해 새로운 결함 유형에 대한 일반화 성능이 우수함을 입증했습니다.

결론적으로, GRD-Net 은 재구성 기반의 이상 탐지와 ROI 기반의 어텐션 메커니즘을 융합하여, 산업용 비전 검사 시스템의 정확도와 신뢰성을 크게 향상시킨 혁신적인 모델입니다.