기술 요약: LAMP 프루닝을 통한 경량화된 YOLOv5s-SC2 기반 금속 스트립의 고정밀 표면 결함 탐지

1. 문제 정의

본 논문은 금속 스트립의 균열(cracks), 패치(patches), 스크래치(scratches), 범프(bumps), 피트(pits)와 같은 표면 결함 탐지에 있어 산업 품질 관리의 핵심적인 과제를 다룹니다. 이러한 결함은 가공 기술이나 환경적 요인으로 인해 발생하며, 제품의 품질, 내식성 및 내마모성에 큰 영향을 미칩니다.

자기 누설 검사(magnetic leakage)나 초음파 탐지(ultrasonic detection)와 같은 전통적인 비파괴 검사 방법은 유연성을 제공하지만, 재료 특이성, 얕은 피트에 대한 민감도 저하, 표면 거칠기로 인한 누설 등의 한계가 있습니다. 딥러닝 기반의 머신 비전은 높은 정확도와 적응성 덕 인해 우수한 대안으로 부상했습니다. 그러나 기존의 딥러닝 모델들은 이 분야에서 다음과 같은 구체적인 난관에 봉착해 있습니다:

• 다양한 결함 유형: 결함의 형태(점 형태, 불규칙한 형태 등)가 매우 다양합니다.
• 스케일 변화: 결함의 크기가 커다란 패치부터 아주 작은 스크래치까지 폭넓게 분포합니다.
• 소형 타겟 미검출률: 표준 모델들은 심층 특징 맵(deep feature maps)에서의 정보 손실로 인해 미세한 결함을 탐지하는 데 실패하는 경우가 많습니다.
• 배포 제약 사항: 산업용 엣지 디바이스는 계산 자원, 메모리 및 전력이 제한되어 있어, 무겁고 정확도가 높은 모델을 배포하기 어렵습니다.

2. 방법론

저자들은 YOLOv5s 아키텍처를 기반으로 한 경량 고정밀 객체 탐지 모델인 YOLOv5s-SC2와 구조적 압축 전략인 **LAMP(Layer-Adaptive Magnitude-Based Pruning)**를 제안합니다.

2.1. 앵커 최적화 및 손실 함수

• K-means++ 클러스터링: 표준 K-means 알고리즘을 대체하여 앵커 박스를 생성합니다. K-means++는 클러스터 중심 초기화를 개선하여 지역 최적점(local optima)을 피하고, NEU-DET 데이터셋의 철강 표면 결함의 크기와 형태 분포에 더 적합한 앵커를 생성합니다.
• Shape-IoU 손실: 표준 IoU 기반 손실을 대체하기 위해 Shape-IoU 손실 함수를 도입합니다. 단순한 중첩(overlap)에만 집중하는 기존 방식과 달리, Shape-IoU는 바운딩 박스의 기하학적 특성(너비와 높이)을 명시적으로 고려합니다. 이는 불규칙한 형태나 극단적인 종횡비를 가진 결함에 필수적이며, 모델이 실제 결함 기하 구조와 더 밀접하게 일치하는 박스를 예측하도록 유도합니다.

2.2. 백본 네트워크 개선 (YOLOv5s-SC)

효율성을 유지하면서 특징 추출과 그래디언트 흐름을 강화하기 위해 백본을 수정하였습니다:

• C2f 모듈: 기존의 C3 모듈을 대체합니다. ELAN(Efficient Layer Aggregation Network)에서 영감을 받은 C2f(2개의 컨볼루션을 포함한 CSP Bottleneck) 모듈은 레이어 호핑(layer-hopping) 연결이 더 많은 분할 및 병합(split-and-merge) 전략을 사용합니다. 이는 그래디언트 흐름을 풍부하게 하고, 심층 네트워크에서 흔히 소실되는 소형 타겟 정보를 보존하는 능력을 향상시킵니다.
• **Switchable Atrous Convolution (SAC): 수용 영역(receptive field)과 계산 비용 사이의 트레이드오프를 해결하기 위해 통합되었습니다. SAC는 동일한 입력 특징에 서로 다른 atrous rate를 적용하고 이를 스위칭 함수를 통해 융합합니다. 이를 통해 계산 복잡도를 증가시키지 않으면서도 멀티 스케일 특징에 유연하게 적응할 수 있으며, 풀링 과정 중 소형 타겟의 세부 정보가 손실되는 것을 효과적으로 방지하고 문맥 정보를 포착합니다.

2.3. 넥 네트워크 강화 (YOLOv5s-SC2)

의미론적 융합(semantic fusion)을 개선하고 중요한 영역에 집중하기 위해 넥 네트워크를 업그레이드하였습니다:

• RepGFPN (Re-parameterized Generalized Feature Pyramid Network): 표준 PANet을 대체합니다. RepGFPN은 다양한 스케일에 대한 채널 차원을 최적화하고, 중복된 특징 융합 연산을 제거하며, 업샘플링 연산자를 단순화합니다. 이는 상당한 계산 부담 없이 상위 수준의 의미 정보와 하위 수준의 공간 정보 간의 상호작용을 강화합니다.
• SE Attention Mechanism: 특징 융합 블록 이전에 Squeeze-and-Excitation (SE) 모듈을 통합했습니다. 이 모듈은 글로벌 공간 정보를 채널 기술자(channel descriptors)로 집계하는 'Squeeze' 연산과 채널별 가중치를 생성하는 'Excitation' 연산을 수행합니다. 이를 통해 모델은 불필요한 배경 노이즈를 억제하면서 중요한 결함 특징을 선택적으로 강조할 수 있습니다.

2.4. 엣지 배포를 위한 모델 프루닝

자원이 제한된 디바이스에 배포 가능하도록 저자들은 LAMP 프루닝을 적용합니다:

• 메커니즘: LAMP는 동일한 레이어 내의 다른 가중치 대비 각 가중치의 크기를 기준으로 점수를 계산하여 적응형 프루닝 비율을 허용합니다.
• 구조적 제약: 분할 및 병합 연산(예: C2f 및 RepGFPN 내)을 포함하는 모듈을 건너뛰는 특정 필터링 메커니즘을 구현하여 특징 맵의 불일치를 방지합니다. 프루닝은 독립적인 컨볼루션 레이어에만 적용됩니다.
• 미세 조정(Fine-tuning): 프루닝 후, 모델은 미세한 정확도 손실을 회복하기 위해 미세 조정을 거칩니다.

3. 주요 기여

1. 최적화된 앵커 및 손실: K-means++를 이용한 앵커 생성과 Shape-IoU 손실의 통합은 불규칙하고 작은 결함에 대한 바운딩 박스 회귀 정확도를 크게 향상시켰습니다.
2. 강화된 백본 (YOLOv5s-SC): C2f와 SAC 모듈의 결합은 그래디언트 흐름과 멀티 스케일 특징 추출을 풍부하게 하여, 82.4%의 mAP(표준 YOLOv5s 대비 2.5% 향상)를 달하는 베이스라인을 달성했습니다.
3. 고급 넥 네트워크 (YOLOv5s-SC2): RepGFPN과 SE 어텐션 메커니즘의 융합은 성능을 84.3% mAP로 더욱 끌어올렸으며, 이는 베이스라인보다 4.4 퍼센트 포인트 향상된 수치입니다.
4. 경량화된 배포 전략: LAMP 프루닝의 적용은 엣지 디바이스를 위한 모델 압축을 성공적으로 수행했습니다. 2.5배 가속화 설정에서 모델 크기는 56.2%, 계산 비용은 39.4%, 메모리 사용량은 원래의 **56.9%**로 감소하면서도 mAP 저하는 단 0.2 퍼센트 포인트에 불과했습니다.

4. 실험 결과

실험은 6가지 결함 유형(스케일, 패치, 균열, 피트, 인클루전, 스크래치)을 포함하는 1,800개의 그레이스케일 이미지로 구성된 NEU-DET 데이터셋에서 수행되었습니다.

• 성능: 최종 YOLOv5s-SC2 모델은 84.3%의 mAP, 82.4%의 정밀도(Precision), **75.3%의 재현율(Recall)**을 달성했습니다.
• 절제 연구 (Ablation Studies):
  • C2f와 SAC 모듈은 mAP를 82.4%로 개선했습니다.
  • RepGFPN을 추가하면 mAP가 83.3%로 증가했습니다.
  • 최종적으로 SE 어텐션 메커니즘을 추가했을 때 최고 성능인 84.3%를 기록했습니다.
  • 시각화(히트맵)를 통해 제안된 모델이 베이스라인에 비해 결함 영역에 더 정확하게 집중하고 배경 노이즈를 효과적으로 억제함을 확인했습니다.
• 프루닝 효율성:
  • 2.0× 프루닝: mAP 84.1%, 파라미터 7.97M.
  • 2.5× 프루닝: mAP 84.1%, 파라미터 7.04M, GFLOPs 7.6. 이것이 최적의 균형점으로 식별되었습니다.
  • 3.0× 프루닝: mAP 83.8%, 파라미터 6.48M.

5. 의의 및 주장

본 논문은 제안된 YOLOv5s-SC2가 산업용 표면 결함 탐지를 위한 효과적이고 경량화된 솔루션을 제공한다고 주장합니다. 건축적 개선(C2f, SAC, RepGFPN, SE)을 통해 다양한 결함 유형과 스케일 변화 문제를 체계적으로 해결하고, LAMP 프루닝을 통해 배포를 최적화함으로써, 모델은 정확도와 효율성 사이의 탁월한 균형을 달 achievement 합니다.

저자들은 2.5배 프루닝된 모델이 자원이 제한된 엣지 디바이스를 위한 실질적인 솔루션을 제공한다고 강조합니다. 이 모델은 원래의 계산 비용을 40% 미만으로 줄이면서도, 베이스라인 YOLOv5s를 크게 상회하는 탐지 정확도를 유지합니다. 이는 높은 정밀도와 낮은 지연 시간이 모두 요구되는 실시간 온라인 산업 검사 시나리오에 이 접근 방식이 적합함을 보여줍니다.