[기술 요약] 퓨샷 확산 모델 기반 결함 합성을 통한 시각적 품질 검사 및 신제품 도입(NPI) 가속화

1. 문제 정의 (Problem Statement)

산업 현장의 시각적 품질 검사 시스템은 **'데이터 희소성(Data Scarcity)'**이라는 고질적인 문제에 직면해 있습니다. 특히 신제품 도입(New Product Introduction, NPI) 단계에서는 다음과 같은 어려움이 발생합니다.

• 희귀 이벤트 문제: 결함(스크래치, 펑크, 접힘 등)은 제조 공정상 발생 빈도가 매우 낮아, 딥러닝 모델 학습에 필요한 충분한 양의 레이블된 데이터를 확보하기 어렵습니다.
• 도메인 간 격차: 기존 제품에서 학습된 모델을 새로운 재질이나 환경의 제품에 적용할 경우, 배경 질감이나 조명 차이로 인해 검출 성능이 급격히 저하됩니다.
• 검사 지연: 충분한 결함 데이터가 쌓일 때까지 자동화된 검사 시스템을 가동하지 못해, 초기 생산 단계에서 품질 관리에 공백이 생깁니다.

2. 제안 방법론 (Methodology)

본 논문은 결함의 형태(Morphology)와 배경의 외관(Appearance)을 분리하여, 소량의 예시만으로도 새로운 표면에 사실적인 결함을 생성할 수 있는 엔드투엔드 생성 프레임워크를 제안합니다. 전체 파이프라인은 세 단계로 구성됩니다.

① 결함 임베딩 학습 (Defect Embedding Learning)

• Masked Textual Inversion: 기존의 Textual Inversion은 결함과 함께 배경 정보까지 학습하는 '배경 누출(Background Leakage)' 문제가 있습니다. 이를 해결하기 위해 이진 마스크(Binary Mask)를 사용하여 결함 영역의 픽셀에만 그래디언트 흐름을 제한함으로써, 배경과 분리된 순수한 결함의 시각적 특징만을 압축된 임베딩 형태로 학습합니다.

② 조건부 생성 (Conditioned Generation)

• Noise-Blended Reverse Diffusion: 학습된 결함 임베딩을 사용하여 결함이 없는 깨끗한 타겟 표면에 결함을 생성합니다. 역확산 과정(Reverse Diffusion)에서 마스크되지 않은 영역은 원본 배경의 노이즈를 유지하고, 마스크된 영역 내에서만 모델이 결함을 생성하도록 결합(Blending)하여 표면 질감과 조명에 자연스럽게 녹아들게 합니다.
• Dynamic CFG Schedule: Classifier-Free Guidance 스케줄을 동적으로 조절하여, 초기에는 전체적인 구조를 잡고 후기에는 고주파 세부 질감을 정교화합니다.

③ 매끄러운 통합을 위한 후처리 (Seamless Integration)

• Gradient-Aware Post-processing: 생성된 결함이 배경과 이질감이 생기지 않도록 통계적 색상/조명 매칭과 더불어, 경계면의 그래디언트를 최적화하여 물리적 개연성을 높이고 시각적 불연속성(Edge Artifacts)을 제거합니다.

3. 주요 기여 (Key Contributions)

1. 산업 특화 생성 파이프라인: 배경 오염을 최소화하면서 국소적인 결함만을 고충실도로 합성할 수 있는 통합 프레임워크를 구축했습니다.
2. 두 가지 실용적 시나리오 검증:
   • Few-shot Augmentation: 소량의 실제 결함 데이터를 합성 데이터로 보강.
   • Zero-shot Adaptation: 기존 제품(Source)의 결함 개념을 데이터가 전혀 없는 신제품(Target) 표면에 전이.
3. 경량성 및 실용성: 고가의 서버급 인프라 없이 일반적인 산업용 워크스테이션(예: RTX 5080)에서도 학습 및 추론이 가능하도록 설계되었습니다.

4. 실험 결과 (Results)

비공개 산업용 데이터셋(스크래치 결함)을 활용하여 RF-DETR 검출기를 통해 평가한 결과는 다음과 같습니다.

[실험 1] Few-shot 데이터 증강 (In-domain)

• 상황: 4개의 실제 스크래치 샘플을 사용하여 150개의 합성 데이터를 생성 후 학습.
• 결과: 실제 데이터만 사용했을 때(78.8% mAP)보다 실제+합성 데이터를 함께 사용했을 때 83.3% mAP로 4.5%p 향상되었습니다. 특히 운영 지점(Confidence 40%)에서의 재현율(Recall)이 크게 개선되었습니다.

[실험 2] 제로샷 도메인 적응 (Cross-domain)

• 상황: 흰색 금속(Product A)의 결함을 학습하여 회색 금속(Product B)에 적용 (Product B의 실제 결함 데이터는 학습에 사용 안 함).
• 결과:
  • 기존 모델(Product A 기반): 65.0% mAP
  • 합성 데이터로 파인튜닝한 모델: 85.1% mAP (20.1%p 대폭 향상)
• 이는 합성 데이터가 새로운 표면의 질감과 조명 조건을 효과적으로 모사하여 도메인 격차를 극복했음을 증명합니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 제조 공정의 신제품 도입(NPI) 타임라인을 획기적으로 단축할 수 있는 실질적인 솔루션을 제시합니다.

• 사후 대응에서 사전 대응으로: 결함이 발생할 때까지 기다리는 것이 아니라, 제품 설계 단계에서 생성된 합성 데이터를 통해 생산 첫날부터 즉시 고성능 검사 시스템을 가동할 수 있습니다.
• 결론: 퓨샷 확산 모델 기반의 결함 합성은 데이터 부족 문제를 해결하고, 산업용 시각 검사 시스템의 자동화 및 신속한 배포를 가능하게 하는 강력한 도구임을 입증하였습니다.