ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

기술 요약: 반도체 스크래치 세그멘테이션을 위한 ScratNet

1. 문제 정의

반도체 제조 공정에서의 표면 스크래치 결함은 불규칙한 형태, 낮은 대비, 다양한 스케일로 인해 품질 관리 측면에서 중대한 과제를 안겨줍니다. 수동 육안 검사와 규칙 기반 이미지 처리(rule-based image processing)를 포함한 전통적인 검사 방식은 소자의 기하학적 구조가 축소되고 집적도가 높아짐에 따라, 특히 정밀한 픽셀 단위의 세그멘테이션이 필요한 얇고 불규칙한 결함을 처리하는 데 있어 노동 집약적이고 느리며 일관성이 떨어지는 문제가 있습니다. 또한, 딥러닝 기반의 합성곱 신경망(CNN) 접근 방식이 탐지 정확도를 개선했음에도 불구하고, 얇고 불규칙한 결함의 정밀한 픽셀 단위 세그멘테이션에 필수적인 미세한 에지(edge) 디테일을 포착하는 데는 여전히 어려움을 겪고 있습니다. 더욱이, 산업용 스크래치 이미지는 종종 심각한 노이즈, 가변적인 조명, 극심한 클래스 불균형 문제를 겪으며, 이는 신뢰할 수 있는 탐지를 복잡하게 만듭니다.

2. 방법론

저자들은 기존 방식의 한계를 해결하기 위해 설계된 엔드 투 엔드(end-to-end) 학습 가능한 스크래치 세그멘테이션 프레임워크인 ScratNet을 제안합니다. 이 아키텍처는 수정된 Swin Transformer 백본과 세 가지 특화된 모듈로 구성된 커스로 옴(custom) 디코더를 통합합니다.

A. 수정된 Swin Transformer 백본

미세한 스크래치 탐지에 필수적인 저수준 단서(low-level cues) 추출을 개선하기 위해, Swin Transformer의 표준 패치 분할(patch partitioning) 레이어를 경량화된 Stem 모듈로 교체했습니다. 이 Stem은 두 개의 연속적인 $3 \times 3$ 컨볼루션 레이어와 stride-2 풀링으로 구성됩니다. 이러한 설계는 해상도를 줄이는 동시에 채널을 확장하여, 기존의 패치 토큰화 과정에서 손실될 수 있는 질감 및 에지 정보를 보존합니다. 그 후 백본은 계층적 윈도우 기반 셀프 어텐션(hierarchical window-based self-attention)의 4개 단계를 거쳐 다중 스케일의 공간 및 문맥적 특징을 추출합니다.

B. MSP 디코더

MSP라고 불리는 디코더는 세 가지 구성 요소를 통해 시맨틱 문맥(semantic context)과 고해상도 공간 정보를 융합합니다.

1. 다중 스케일 확장 집합(Multi-Scale Dilated Aggregation, MDA): 이 모듈은 Swin 백본의 4개 모든 단계로부터 추출된 특징 맵을 탑다운(top-down) 방식으로 집합합니다. 이는 특정 확장률(예: 스테이지 1~4에 대해 $(8,1), (6,1), (4,1), (2,1)$)을 가진 두 개의 연속적인 $3 \times 3$ 컨볼루션을 포함하는 **확장 블록(Dilated Block, DiBlock)**을 사용합니다. 이 구조는 확장 컨볼루션(via dilated convolutions)을 통해 전역적 문맥 정보를, 비확장 컨볼루션(via non-dilated convolutions)을 통해 국소적 공간 세부 사항을 모두 포착하여 문맥이 풍부한 표현을 생성합니다.
2. Stem 통합 모듈(Stem Integration Module, SIM): 다운샘플링 과정에서 손실된 공간적 세부 사항을 복원하기 위해, SIM은 Stem 네트워크의 고해상도 특징을 MDA로부터 집합된 특징과 통합합니다. 이는 $3 \times 3$ 컨볼루션을 적용하여 Stem 단서($S_1, S_2$)를 디코더 출력과 점진적으로 융합함으로써, 미세한 세그멘테이션을 위한 구조적 디테일을 강화합니다.
3. 정밀도 정밀화(Precision Refinement, PR) 모듈: 이 모듈는 얇고 긴 결함에 결정적인 경계의 선명도(boundary sharpness)를 구체적으로 타겟팅합니다. 이는 집합된 특징 맵에 네 개의 병렬 이방성 컨볼루션(anisotropic convolutions) ($1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$)을 적용합니다. 이 필터들은 수평, 수직 및 길쭉한 패턴을 포착하며, 이후 이들을 결합하고 투영하여 최종 픽셀 단위 세그멘테이션 맵을 생성합니다.

C. 손실 함수 (Loss Function)

결함(전경)과 배경 픽셀 사이의 클래스 불균형을 해결하기 위해, 모델은 **이진 크로스 엔트로피(Binary Cross-Entropy, BCE)**와 Dice loss를 결합한 복합 손실 함수를 사용하여 학습됩니다. 이 공식은 예측값과 실제 정답(ground truth) 사이의 중첩을 최대화하는 동시에 소수 클래스에 대한 견고한 그래디언트 흐름을 보장합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

• ScratNet 프레임워크: 얇고 불규칙한 스크래치 탐지에 특화되어, 수정된 Swin-Base Transformer와 다중 스케일 확장 집합 및 정밀도 정밀화를 통합한 새로운 다층 엔드 투 엔드 학습 가능 프레임워크를 제안합니다.
• 다중 스케일 확장 집합(MDA): 확장 및 비확장 컨볼루션을 모두 사용하여 Swin의 4개 단계로부터 다중 스케일 특징을 통합함으로써 전역 및 국소 문맥을 동시에 포착하는 모듈입니다.
• Stem 통합 및 정밀도 정밀화: 저수준 공간 디테일을 복원하기 위한 Stem 통합 모듈(SIM)의 도입과, 경계 선명도를 높이기 위해 이방성 컨볼루션을 사용하는 정밀도 정밀화(PR) 브랜치를 통해 도전적인 스크래치 패턴에 대한 성능을 크게 향상시켰습니다.
• 최첨단 성능(State-of-the-Art Performance): 기존 방법들과 비교하여 반도체 스크래치 데이터셋에서 우수한 세그멘테이션 품질과 강건성을 입증했습니다.

4. 실험 결과

저자들은 IC 이미지 데이터셋(749장, $180 \times 180$ 해상도)과 웨이퍼(Wafer) 이미지 데이터셋(8,200장, $224 \times 224$ 해상도)의 두 데이터셋을 통해 ScratNet을 평가했습니다.

• 정량적 성능: ScratNet은 베이스라인 모델들(UNet, ResNet50, HRNet, 그리고 FCN, FPN, UPerNet 디코더와 결합된 Swin 변형 모델들)을 지속적으로 능가했습니다.
  • IC 데이터셋에서 Swin-Base 백본과 데이터 증강(augmentation)을 사용했을 때, ScatNet은 **IoU 87.32%**와 **Dice score 93.48%**를 달성하여, 차순위인 Swin-Base-UPerNet 구성보다 상당한 격차로 앞섰습니다.
  • 웨이퍼 데이터셋에서 Swin-Base를 적용한 ScratNet은 (증강 시) IoU 81.17% 및 **Dice 87.96%**를 기록하며 모든 다른 디코더 조합보다 우수한 성능을 보였습니다.
• 경계 지표(Boundary Metrics): 모델은 더 높은 Boundary IoU 점수와 더 낮은 Hausdorff Distance 값을 통해 우수한 경계 정렬 성능을 입었습니다. 이는 CNN 기반 및 표준 Transformer 기반 베이스라인들과 비교했을 때 탁월한 결과입니다.
• 절제 연구(Ablation Studies): 실험을 통해 각 구성 요소의 점진적인 가치를 확인했습니다. MDA 모듈이 가장 큰 초기 이득을 제공했으며, PR 모듈은 경계 정밀도를 크게 개선했고, SIM 모듈은 특히 트랜스포머 백본과 함께 사용할 때 성능을 더욱 향상시켰습니다.
• 효율성: ScratNet은 정확도와 계산 비용(지연 시간 및 FLOPs) 사이의 유리한 균형을 유지하며, 정확도 면에서는 UPerNet을 능가하면서도 효율성 측면에서는 경쟁력 있는 수준을 유지했습니다.
• SAM과의 비교: 제로샷(zero-shot) 및 파인튜닝(fine-tuned) 설정 모두에서 **Segment Anything Model (SAM)**과 비교했을 때, ScatNet은 SAM을 유의미하게 압도했습니다. 이는 미세 결함 세그멘테이션을 위해 도메인 특화 아키텍처가 필요함을 강조합니다.

5. 의의 및 주장

본 논문은 ScatNet이 고정밀 제조 분야의 자동 스크래치 검사를 위한 확장 가능하고 견고한 솔루션을 제공한다고 주장합니다. 단계별 적응형 특징 집합(stage-adaptive feature aggregation)과 경계 인식 정밀화(boundary-aware refinement)를 통해 불규칙한 형태, 낮은 대비, 다양한 스케일의 문제를 효과적으로 해결함으로써, 제안된 방법은 얇고 불규칙한 결함에 대해 우수한 정확도를 달성합니다. 저자들은 ScatNet을 기존의 수동 방식 및 기존 딥러닝 접근 방식보다 진일보한 기술로 위치시키며, 제품 수율 향상과 검사 비용 절감을 제공한다고 설명합니다. 본 연구는 일반 목적의 모델인 SAM이 자연 이미지에서 가능성을 보여주지만, 반도체 결함 세그멘테이션과 같이 매우 특수한 요구사항이 있는 분야에서는 ScatNet과 같은 전문화된 아키텍처가 여전히 필수적이라는 결론을 내립니다. 향후 연구로는 고급 필터링 기술과 실세계 배포를 위한 경량 디코더 아키텍처에 대한 탐색을 제안합니다.