기술 요약: 이상 탐지 기반 사전 학습을 통한 금속 표면 결함 검출 고도화

1. 문제 제기

금속 표면 결함 검출은 산업 품질 관리에 필수적이지만, 데이터 부족과 높은 변동성으로 인해 심각한 도전에 직면해 있습니다. 실제 시나리오, 예를 들어 강관 생산에서는 결함이 일일 이미지 중 0.1% 미만을 차지하여 극심한 클래스 불균형과 비용이 많이 드는 데이터 수집을 초래합니다.

기존 솔루션은 다음과 같은 '치명적인 딜레마'에 직면해 있습니다:

• 자연 이미지 사전 학습: 대규모 자연 데이터셋 (예: ImageNet, COCO) 으로 사전 학습된 모델은 산업용 이미지에 적용될 때 상당한 도메인 간극 (domain gap) 으로 인해 성능이 저하됩니다.
• 순수한 자기 지도 학습 (SSL): 도메인 내 산업 데이터에 적용된 표준 SSL 방법 (대조 학습 또는 재구성) 은 종종 실패합니다. 기존 학습 목표는 복잡한 배경 노이즈, 질감, 가변적인 조명과 구별하기 어려운 미묘하고 대비가 낮은 결함 패턴을 구별하는 데 어려움을 겪습니다. 결과적으로, 특정 지침 없이 도메인 내 데이터셋을 단순히 확대하는 것은 최적이지 않은 결과를 초래하며, 때로는 ImageNet 기준치보다 낮은 성능을 보입니다.
• 검출기 초기화: 대부분의 SSL 접근법은 모델 백본 (backbone) 만 사전 학습하고 검출기 헤드 (neck 및 head) 는 무작위로 초기화합니다. 이러한 불일치는 특히 데이터가 부족한 시나리오에서 성능을 저하시킵니다.

2. 방법론: 이상 탐지 기반 자기 지도 사전 학습 (AGSSP)

저자들은 이상 사전 지식 (anomaly priors) 을 사용하여 표현 학습을 명시적으로 안내하는 새로운 2 단계 사전 학습 패러다임인 AGSSP를 제안합니다. 이 프레임워크는 대규모 라벨 없는 산업 데이터셋 (120,000 장의 이미지, 61 개 카테고리) 을 기반으로 하며 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 지식 강화 이상 탐지 (KeAD)

수동 라벨 없이 필요한 감독 신호 (이상 맵) 를 생성하기 위해, 저자들은 퓨샷 (few-shot) 및 멀티모달 WinCLIP 모델을 기반으로 한 비지도 방법인 KeAD를 개발했습니다.

• 프롬프트 엔지니어링: 일반적인 프롬프트 (예: "손상됨") 와 달리, KeAD 는 GPT-4o 를 통해 생성되고 전문가 지식으로 정제된 상세한 결함별 텍스트 설명을 사용합니다 (예: "{객체}의 {결함 유형} 결함이 있는 사진, 이는 {결함 특징}으로 나타남").
• 시각적 향상: 공간적 위치 파악을 개선하기 위해, 이 방법은 Clip Surgery(V-V 어텐션) 를 통합합니다. 이는 어텐션 메커니즘에서 Query 와 Key 구성 요소를 Value 구성 요소로 대체합니다. 이는 WinCLIP 의 슬라이딩 윈도우 방식보다 지역적 공간 정보를 더 효율적으로 포착합니다.
• 출력: KeAD 는 잠재적 결함 영역을 나타내는 픽셀 단위 이상 히트맵을 제로샷 (zero-shot) 및 퓨샷 (few-shot) 모드로 생성합니다.

B. 1 단계: 이상 맵 기반 백본 사전 학습 (AGBP)

이 단계는 생성된 이상 맵으로부터의 지식을 모델 백본에 증류합니다.

• 증류 손실 (Distillation Loss): 백본의 고차원 특징 맵을 이상 맵과 정렬합니다. ViT 아키텍처의 경우 L2 손실을, ResNet 과 같은 이질적 아키텍처의 경우 코사인 거리 손실을 사용합니다.
• 전략: 저차원 특징은 보편적 패턴을 포착하므로 기존 ImageNet 사전 학습 모델에서 유지하고, 고차원 특징은 이상 맵에 의해 안내되어 결함 관련 영역에 집중하도록 합니다.
• 통합: 이 증류 손실 ($L_{distill}$) 은 기존 사전 학습 작업 (예: 분류, MoCov3, SimMIM) 과 가중 합 ($L_{total} = L_{distill} + \lambda L_{task}$) 을 통해 결합됩니다.

C. 2 단계: 이상 박스 기반 검출기 사전 학습 (AGDP)

이 단계는 이상 맵에서 파생된 의사 레이블 (pseudo-labels) 을 사용하여 검출기 헤드를 사전 학습함으로써 검출기 헤드의 불일치를 해결합니다.

• 의사 박스 생성: 높은 이상 점수를 가진 이미지를 식별합니다. 동적 임계값 전략 (객체 카테고리별로 적응됨) 을 사용하여 이상 맵을 이진 마스크로 변환합니다. 연결 구성 요소를 추출하고, 가장 높은 이상 점수를 가진 상위 10 개의 바운딩 박스를 의사 결함 레이블로 유지합니다.
• 학습: 백본은 고정된 채로 검출기 (neck 및 head) 를 이러한 의사 박스로 학습시킵니다. 이를 통해 모델은 '이상 객체'의 개념을 학습하고 검출 구성 요소를 하류 작업과 정렬할 수 있습니다.

3. 주요 기여

1. AGSSP 프레임워크: 이상 맵을 활용하여 백본 표현과 검출기 작업 정렬을 모두 전체적으로 정렬하는 2 단계 사전 학습 패러다임으로, 데이터가 부족한 환경에서 성능을 크게 향상시킵니다.
2. KeAD 방법: 상세한 결함 설명과 V-V 어텐션을 활용하여 안내된 사전 학습을 위한 고품질 이상 맵을 생성하는 지식 강화 이상 탐지 기술로, 강력한 퓨샷 성능을 달성합니다.
3. 대규모 데이터셋: 61 개 카테고리에 걸친 120,000 장의 이미지를 포함하는 대규모 라벨 없는 산업 데이터셋과 검증용 두 개의 소형 픽셀 단위 라벨 금속 표면 결함 데이터셋 (Casting Billet 및 Steel Pipe) 을 수집 및 공개했습니다.
4. 종합적 검증: AGSSP 가 여러 백본 (CSPDarknet, ResNet, Swin-Base) 과 검출기 (YOLOv8, Faster R-CNN, DINO) 에서 ImageNet 및 COCO 기준치를 능가함을 보여주는 광범위한 실험.

4. 실험 결과

저자들은 네 개의 금속 표면 결함 데이터셋 (Casting Billet, Steel Pipe, GC10-Mini, GC10-DET) 과 비금속 데이터셋 (Fabric Defects) 에서 AGSSP 를 평가했습니다.

• 성능 향상: AGSSP 는 검출 지표를 일관되게 개선했습니다. ImageNet 기반 모델과 비교하여 mAP@0.5 에서 최대 10%, mAP@0.5:0.95 에서 **11.4%**의 개선을 달성했습니다.
• 퓨샷 학습: 극단적인 퓨샷 시나리오 (Casting Billet-Mini50, 학습 샘플 50 개) 에서 AGSSP 는 SimMIM 기준 대비 mAP@0.5 에서 +41.0%, mAP@0.5:0.95 에서 **+24.5%**의 막대한 향상을 보였습니다.
• 교차 도메인 일반화: 비금속 Fabric Defects 데이터셋에서 AGSSP 는 mAP@0.5 에서 +3.2%, mAP@0.5:0.95 에서 +5.2% 의 성능 향상을 보이며 강력한 일반화 능력을 입증했습니다.
• Ablation 연구:
  • KeAD: 상세한 결함 설명과 V-V 어텐션은 이상 탐지 정확도를 크게 향상시켰습니다 (예: Steel Pipe 에서 이미지 수준 AUROC 93.5%).
  • 사전 학습 전략: 백본과 검출기 모두를 사전 학습한 AGSSP 는 백본만 사전 학습한 AGBP 나 표준 SSL 방법보다 일관되게 우수한 성능을 보였습니다.
  • 효율성: 이 방법은 더 큰 모델 (예: YOLOv12s) 의 정확도와 일치하거나 능가하면서도 실시간 추론 능력을 유지합니다 (예: AGSSP 를 적용한 YOLOv8s 는 94.5 FPS 달성).

5. 중요성 및 주장

본 논문은 산업용 결함 검출을 위한 현재 사전 학습 전략에 내재된 도메인 간극과 목표 불일치를 AGSSP 가 해결한다고 주장합니다. 이상 탐지 기반의 통합 접근법을 통해 모델이 명시적으로 이상 영역에 집중하도록 안내함으로써, 사전 학습 단계에서 비용이 많이 드는 바운딩 박스 주석 없이도 견고하고 도메인 관련 표현을 학습할 수 있게 합니다.

저자들은 표준 도메인 내 SSL 이 미묘한 결함과 노이즈를 구별하지 못해 종종 실패하는 반면, 그들의 이상 탐지 기반 접근법은 모델의 주의를 결함 관련 특징으로 성공적으로 유도한다고 강조합니다. 이 프레임워크는 아키텍처에 구애받지 않으며 기존 특수 아키텍처와 통합될 수 있어, 데이터가 부족하고 불균형한 산업 품질 관리에 확장 가능한 솔루션을 제공합니다.

가용성: 모든 코드, 사전 학습 모델 및 데이터셋은 논문에서 제공된 프로젝트 페이지에서 공개적으로 이용 가능합니다.