Integration of deep generative Anomaly Detection algorithm in high-speed industrial line

이 논문은 제약 산업의 고속 Blow-Fill-Seal (BFS) 생산 라인에서 제한된 시간 내에 실시간으로 결함을 탐지하고 위치를 파악하기 위해, 정상 샘플만으로 학습된 생성적 적대 신경망 (GAN) 기반의 잔차 오토인코더 이상 탐지 알고리즘을 통합한 프레임워크를 제안합니다.

핵심

1. 문제 상황: "지친 감시원과 까다로운 공장"

약병을 만드는 공장 (Blow-Fill-Seal 라인) 은 매우 빠릅니다. 기계가 초당 여러 개의 병을 만들어내는데, 이 병들 속에 약액이 들어가고 밀봉됩니다.

• 기존 방식: 사람이 눈으로 하나하나 확인합니다. 하지만 사람은 피곤하면 실수하고, 집중력이 떨어지면 작은 이물질이나 기포를 놓칩니다.
• 기존 컴퓨터 비전: "이런 모양이면 불량이다"라고 정해진 규칙 (규칙 기반) 으로 작동합니다. 하지만 약병 안의 액체 움직임이나 빛 반사는 매번 조금씩 달라서, 정해진 규칙만으로는 모든 상황을 잡기 어렵습니다.

핵심 문제: "완벽하게 좋은 병 (정상 제품) 만은 엄청나게 많고, 나쁜 병 (불량품) 은 아주 드뭅니다." 그래서 불량품을 가르쳐서 배우는 방식은 효과가 없습니다.

2. 해결책: "완벽한 기억력을 가진 AI 감시관"

연구팀은 **"정상 제품만 보고 배운 AI"**를 만들었습니다. 이 AI 는 불량품을 본 적이 없습니다. 대신, "완벽하게 좋은 병이 어떤 모습인지"를 외워버린 상태입니다.

이걸 이해하기 쉽게 비유해 볼까요?

비유: "완벽한 도넛을 외운 셰프"

imagine 한 셰프가 있습니다. 이 셰프는 평생 '완벽한 도넛'만 280 만 개나 봤습니다. 도넛의 구멍 크기, 튀김 색, 모양을 완벽하게 기억하고 있죠.

이제 이 셰프에게 이상한 도넛 (구멍이 찌그러지거나, 이물질이 붙은 도넛) 을 보여줍니다. 셰프는 "어? 이건 내가 외운 완벽한 도넛과 달라!"라고 바로 알아챕니다.

이 연구의 AI 가 바로 이 셰프입니다. 불량품을 가르치지 않아도, "정상적인 것"을 너무 잘 기억하고 있어서, "정상적이지 않은 것"이 들어오면 바로 "이건 이상해!"라고 외칩니다.

3. 기술의 핵심: "소음 (Noise) 을 섞어주는 마법"

그런데 여기서 문제가 하나 생깁니다. AI 가 너무 똑똑해서, 불량품이 들어와도 "아, 이건 그냥 약간 다른 도넛이겠지"라고 생각하며 불량품까지 그대로 복제해버릴 수 있습니다. (이걸 '복원'이라고 합니다.)

연구팀은 이걸 막기 위해 **Perlin Noise (페를린 노이즈)**라는 기술을 썼습니다.

비유: "흐릿한 안경을 끼고 그림 그리기"

AI 가 그림을 그릴 때, 화면에 **의도적으로 흐릿한 안개 (소음)**를 끼워줍니다.

• AI 는 "이 안개 낀 그림을 보고, 원래 깨끗한 그림을 복원해라"라는 훈련을 받습니다.
• 만약 그림에 **진짜 결함 (예: 병에 붙은 이물질)**이 있다면, AI 는 그 부분을 안개 속에서도 원래대로 복원하지 못합니다.
• 그 결과, 복원된 그림과 원래 그림의 차이가 엄청나게 커집니다. 이 차이가 바로 "불량"을 의미하는 신호가 됩니다.

이 기술 덕분에 AI 는 사소한 변화 (액체 흔들림 등) 에는 둔감해지고, 진짜 치명적인 결함에는 매우 민감해집니다.

4. 결과: "500 밀리초라는 초고속 경기"

이 AI 는 공장 라인에서 실시간으로 작동해야 합니다.

• 시간 제한: 병 하나가 지나가는 동안, AI 가 사진을 보고 판단해야 합니다. 그 시간은 **500 밀리초 (0.5 초)**입니다.
• 성능: 이 짧은 시간 안에 병 5 개, 그리고 각 병의 4 개 구역을 모두 검사했습니다.
• 결과: 사람의 눈보다 더 정확하고, 빠르며, 피로하지 않습니다. 불량품이 있으면 화면에 **열지도 (Heatmap)**를 보여줍니다. 마치 "여기가 가장 뜨겁게 (위험하게) 이상하다"라고 붉은색으로 표시해주는 것처럼요.

5. 요약: 이 연구가 왜 중요한가?

1. 약의 안전: 사람이 놓칠 수 있는 작은 결함도 AI 가 찾아내서 환자가 나쁜 약을 먹지 않게 합니다.
2. 비용 절감: 사람을 많이 고용할 필요가 없고, 기계가 24 시간 쉬지 않고 일합니다.
3. 현실적인 적용: 이론적인 AI 가 아니라, 실제 공장의 거친 환경 (빛 반사, 액체 움직임) 에서 작동하도록 최적화했습니다.

한 줄 요약:

"이 연구는 '완벽한 정상 제품'만 280 만 개 외운 AI에게, **의도적인 안개 (소음)**를 끼워 훈련시켜, 0.5 초 만에 병에 붙은 작은 이물질이나 기포를 찾아내는 **'초고속 감시관'**을 만들었습니다."

이 기술은 이제 공장 현장에서 실제로 작동하며, 약병 하나하나가 안전하게 포장되도록 돕고 있습니다.

기술 요약

논문 요약: 고속 산업 라인용 심층 생성형 이상 탐지 알고리즘 통합

1. 문제 정의 (Problem)

• 배경: 제약 산업의 생산 라인, 특히 고압성형 - 충전 - 밀봉 (Blow-Fill-Seal, BFS) 공정은 높은 정확도와 엄격한 사이클 타임 (500ms 이내) 을 요구합니다.
• 현황: 기존 수동 검사법은 운영자 편차와 처리량 한계로 인해 비효율적입니다. 또한, 기존 규칙 기반 (Rule-based) 컴퓨터 비전 시스템은 유연성이 부족하고 다양한 생산 시나리오로 확장하기 어렵습니다.
• 도전 과제:
  • 데이터 불균형: 정상 제품 (Nominal) 에 비해 불량품 (Anomaly) 데이터가 극히 적어 지도 학습 (Supervised Learning) 적용이 어렵습니다.
  • 하드웨어 제약: 훈련 서버와 달리, 현장 (Inference) 에서는 제한된 컴퓨팅 자원 (CPU/GPU) 과 메모리 내에서 실시간 처리가 필수적입니다.
  • 복잡한 결함: 기포, 이물질, 액체 거동 등 다양한 형태의 결함을 정량화하기 어렵고, 공정 노이즈와 실제 결함을 구분하는 것이 까다롭습니다.

2. 방법론 (Methodology)

저자들은 반지도 학습 (Semi-supervised) 기반의 생성형 이상 탐지 프레임워크를 제안하며, 이는 기존 GRD-Net 을 기반으로 산업 환경에 최적화되었습니다.

• 핵심 아키텍처:

  • GAN 기반 잔여 오토인코더 (Residual Autoencoder, RAE): 생성자 (Generator) 는 잔여 신경망 (ResNet) 구조를 가진 인코더와 디코더로 구성되며, 밀집 병목 (Dense Bottleneck) 을 통해 잠재 공간 (Latent Space) 을 압축합니다.
  • 적대적 학습 (Adversarial Training): 생성된 이미지와 원본 이미지를 비교하는 판별자 (Discriminator) 를 사용하여 재구성 오류를 최소화하고 이상을 탐지합니다.
  • 손실 함수 (Loss Functions):
    • 적대적 손실 (Adversarial Loss): 특징 매칭.
    • 맥락 손실 (Contextual Loss): 픽셀 단위 ($L_1$ 또는 Huber Loss) 와 구조적 유사도 (SSIM) 를 결합.
    • 인코더 일관성 손실 (Encoder-consistency Loss): 원본과 재구성의 잠재 벡터 간 거리 최소화.
    • 노이즈 손실 (Noise Loss): 훈련 중 입력 이미지에 Perlin Noise를 무작위로 중첩하여 모델이 단순 복제 (Identity Mapping) 를 하지 않도록 강제하고, 이상 탐지 능력을 향상시킵니다.

• 데이터 전처리 및 학습 전략:

  • 데이터셋: 782 개의 스트립 (각 5 개 병) 에서 2,815,200 개의 그레이스케일 패치 (256x256) 를 추출. 정상 샘플만 사용하여 훈련.
  • 증강 (Augmentation): Perlin Noise 마스킹, 무작위 회전 ($\pm \pi/8$), 수직 반전 적용. (수평 반전 및 큰 회전은 비현실적 결함을 생성하므로 제외).
  • 패치 기반 분석: 각 병을 4 개의 논리적 영역 (플래그, 상단 몸체, 액체 몸체, 하단) 으로 분할하여 패치 단위로 이상 점수를 산출.

• 이상 탐지 및 시각화:

  • 점수 계산: $1 - SSIM(X, \hat{X})$을 이상 점수로 사용.
  • 히트맵 (Heatmap): 원본과 재구성 이미지의 절대 차이 ($|X - \hat{X}|$) 를 정규화하여 결함 위치를 시각화.

3. 주요 기여 (Key Contributions)

1. 산업용 최적화 아키텍처: Residual Autoencoder 와 Dense Bottleneck 을 결합한 GAN 구조를 개발하여, 제한된 하드웨어 (Nvidia A4500 GPU) 에서 실시간 추론이 가능하도록 설계.
2. 강건한 전처리 파이프라인: 병을 논리적 영역으로 분할하고 Perlin Noise 를 활용한 훈련 증강 기법을 도입하여, 공정 노이즈와 실제 결함을 효과적으로 구분.
3. 다단계 평가 프로토콜: 패치 단위 $\rightarrow$ 제품 단위 $\rightarrow$ 런 (Run) 단위 (10 회 촬영 중 7 회 이상 일치) 로의 집계 방식을 통해 산업적 수용 기준 (GMP) 에 부합하는 검증 수행.
4. 실시간 배포: C++ TensorFlow API 를 통해 머신 제어 소프트웨어에 직접 통합하여 500ms 이내의 획득 슬롯 내에서 처리 가능.

4. 실험 결과 (Results)

• 실험 환경:
  • 훈련 서버: Intel Xeon Silver 4216, 64GB RAM, Nvidia A100 (40GB VRAM).
  • 추론 장비: Intel Xeon E-2278GE, 32GB RAM, Nvidia A4500 (20GB VRAM).
• 성능 지표 (테스트 키트 기준):
  • 전체 정확도 (Overall Accuracy): 0.9870 (병 단위), 영역별로는 0.9919 ~ 0.9991.
  • 진양성률 (TPR): 0.9942 (불량품 탐지율 매우 높음).
  • 진음성률 (TNR): 0.9581 (정상품 오검출률 관리).
  • 평균 추론 시간: 패치당 약 0.1689ms, 전체 스트립 (5 개 병) 당 약 0.4873ms. 이는 500ms 의 시간 제약 조건을 충분히 만족함.
• 품질: 히트맵을 통해 결함 위치 (기포, 스크래치, 변형 등) 를 시각적으로 명확히 식별 가능.

5. 의의 및 결론 (Significance)

• 실용적 가치: 제약 산업의 GMP(우수의약품제조관리기준) 요구사항을 충족하면서도, 기존 수동 검사보다 높은 일관성과 처리량을 제공.
• 기술적 혁신: 지도 학습 없이 정상 데이터만으로 학습하여 데이터 불균형 문제를 해결하고, 생성형 모델의 재구성 오류를 통해 미세한 결함까지 탐지 가능.
• 확장성: 이 연구는 하드웨어 제약이 엄격한 고속 산업 라인에서 딥러닝 기반 이상 탐지 알고리즘을 성공적으로 통합한 사례로, 향후 다른 제조 공정에도 적용 가능한 모델 제시.
• 향후 과제: 잠재 공간 (Latent Space) 의 정보를 활용하여 결함의 유형을 더 구체적으로 분류하거나, 생성형 모델의 복잡도를 줄여 더 빠른 추론을 위한 연구가 필요함.

이 논문은 이론적 모델 개발을 넘어, 실제 산업 현장의 하드웨어 및 시간 제약 내에서 작동 가능한 엔지니어링 솔루션을 제시했다는 점에서 큰 의의를 가집니다.