SWCB-YOLO: Toward Robust and Real-Time Wind Turbine Blade Defect Detection in Unstructured Natural Environments

기술 요약: 풍력 터빈 블레이드 결함 탐지를 위한 SWCB-YOLO

문제 정의
무인 항공기(UAV) 점검은 풍력 터빈 블레이드 유지보수의 표준 전략이지만, 운영 중인 풍력 발전소에 딥러닝 탐지기를 배치하는 데에는 정확도를 저하시키는 세 가지 핵심적인 과제가 존재합니다:

1. 비정형 환경 간섭: 점검 이미지는 빛 반사, 구름 덮임, 지표 식생 등으로 인한 고주파 텍스처 간섭을 겪으며, 이는 높은 오탐율(false-positive)과 미탐율(missed-detection)로 이어집니다.
2. 고종횡비 결함: 블레이드 균열은 종종 가늘고 갈라지는 형태를 띱니다. 표준 컨볼루션 네트워크는 국소적 수용 영역(receptive field)이 제한적이며, 정사각형 윈도우를 사용하는 비전 트랜스포머는 이러한 길쭉한 타겟의 연속적인 구조를 절단하는 경향이 있습니다.
3. 비선형 기하학적 왜곡: 터빈 블레이드의 이중 곡면인 안장형 표면은 균열이 2D 이미지 평면에 투영될 때 비선형 변형을 일으킵니다. 표준 바운딩 박스 회귀 손실은 특히 블레이드 팁과 같은 고곡률 구역에서 이러한 왜곡을 처리할 수 있는 기하학적 정렬 능력이 부족합니다.

방법론: SWCB-YOLO
저자들은 NVIDIA Jetson Xavier NX와 같은 UAV 에지 플랫폼의 계산 및 실시간 제약 조건 내에서 작동하도록 설계된, YOLOv11n 베이스라인 기반의 경량 에지 탐지기인 SWCB-YOLO를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합합니다:

1. 비대칭 스트립 Swin-TransformerV2 (AS-Swin2) 모듈:

   • 메커니즘: 이 모듈은 표준 정사각형 윈도우 어텐션을 비대칭 스트립 윈도우 어텐션(ASWA) 메커니즘으로 대체합니다. 이는 표준 국소 정사각형 윈도우를 유지하면서 동시에 병렬적인 수직($M^2 \times 1$) 및 수평($1 \times M^2$) 비대칭 파티션을 배치합니다.
   • 기능: 이러한 직교하는 스트립 형태의 수용 영역은 가느다란 균열의 방향과 일치하여, 균열 축을 따라 장거리 픽셀 단위 의존성을 포착합니다. 또한 재매개변수화된 방향성 로그 공간 연속 위치 편향(Directional Log-space Continuous Position Bias, Log-CPB)을 통합하여 배경 노이즈를 억제하고 균열 에지의 그래디언트를 증폭시킵니다.
   • 비용: 최소한의 계산 비용 추가만으로 정사각형 윈도우에서 발생하는 구조적 절단 문제를 완화합니다.

2. 주파수-공간 이중 도메인 어텐션 (FS-DDA):

   • 메커니즘: 단일 백본 위에서 2D 이산 코사인 변환(2D-DCT) 스펙트럼 채널 가중치를 대규모 수용 영역의 공간 어텐션 단계로 직접 연결하는 저오버헤드 모듈입니다.
   • 기능: 고주파 환경 클러터(예: 식생, 반사)를 약한 결함 에지로부터 분리합니다. 스펙트럼 브랜치는 고주파 노이즈를 감쇄시키고, 후속되는 공간 브랜치는 기하학적 연속성을 정밀화합니다. 이 이중 도메인 접근 방식은 채널 전용 어텐션 메커니즘보다 저주파 배경과 고주파 이상 에지를 더 효과적으로 분리합니다.

3. 곡률 인식 형상 IoU (CA-Shape-IoU) 손실:

   • 메커니즘: 축 정렬된 바운딩 박스뿐만 아니라 근본적인 균열 형태로부터 감독(supervision)을 유도하는 학습 전용 로컬라이제이션 손실입니다.
   • 구성 요소: 지면 진실(ground-truth) 폴리곤 마스크로부터 사전 계산된 오프라인 필드를 활용합니다:
     • 베지에 곡률 가중치(Bézier-curvature weights): 고곡률 영역(예: 블레이드 팁)에서 더 높은 그래디언트 페널티를 적용하여 드리프트를 교정합니다.
     • 보로노이 스켈레톤-거리 필드(Voronoi skeleton-distance field): 예측된 박스 경계를 실제 균열 스켈레톤 쪽으로 끌어당겨 분기점에서의 오탐을 줄입니다.
     • 신장 제약(Elongation constraint): 극단적인 종횡비($r > 8$)를 가진 타겟에 대해 스케일 정확도를 강제합니다.
   • 추론 영향: 형태학적 항들이 사전 계산되어 학습 시에만 적용되므로, 탐지 헤드는 변경되지 않으며 추가적인 추론 비용이 발생하지 않습니다.

주요 기여

1. 형태 기반 학습 손실: 본 논문은 사전 계산된 곡률 및 스켈레톤 거리 필드를 사용하여 축 정렬된 탐지 박스를 감독하는 기하학적 정렬 기준인 CA-Shape-IoU를 도입합니다. 이는 박스 기하학에만 의존하거나 추론 시 세그멘테이션 헤드가 필요한 기존의 형상 인식 손실과는 차별화됩니다.
2. 작업 특화 이방성 백본: AS-Swin2 모듈은 표준 정사각형 윈도우와 직교 스트립 파티션, 그리고 방향 적응형 위치 인코딩을 SwinV2 블록 내에서 결합함으로써 가느다란 결함의 절단 문제를 구체적으로 해결합니다.
3. 저오버헤드 이중 도메인 정밀화: FS-DDA 메커니즘은 두 번째 주파수 백본 없이도 주파수-공간 분리를 달성하며, 단일 백본의 저지연 설계를 유지하기 위해 스펙트럼 가중을 공간 어텐션으로 연결합니다.
4. 엄격한 평가 프로토콜: 공정한 비교를 위해 모든 베이스라인 및 경쟁 탐지기는 동일한 데이터 분할, 입력 해상도, 옵티마이저 및 하이퍼파라미터 하에서 동일한 프로토콜로 처음부터 재학습되었습니다. 또한 연간 주기에 걸친 필드 데이터셋을 통해 방법론을 검증했습니다.

결과
1.5MW 풍력 발전소의 5,707개 이미지로 구성된 자체 필드 데이터셋에서 평가한 결과:

• 정확도: SWCB-YOLO는 89.0% mAP@50 및 66.4% mAP@50:95를 달성했습니다. 이는 YOLOv11n 베이스라인 대비 mAP@50에서 13.8 퍼센트 포인트, mAP@50:95에서 25.3 퍼센트 포인트 향상된 수치입니다.
• 효율성: 모델은 3.70M 파라미터와 8.70 GFLOPs를 사용하여 NVIDIA Jetson Xavier NX에서 35 FPS로 실행됩니다.
• 어블레이션 통찰:
  • AS-Swin2 백본이 전체 이득의 대부분(~87%의 mAP@50 향상)을 기여했습니다.
  • FS-DDA는 보완적인 정밀화를 제공했으며, 특히 식생이 많거나 안개가 낀 조건에서 주파수 필터링만으로 손실된 재현율(recall)을 회복했습니다.
  • CA-Shape-IoU는 지연 시간 증가 없이 고-IoU 로컬라이제이션(mAP@50:95)을 구체적으로 개선하여 기하학적 드리프트를 교정했습니다.
• 교차 데이터셋 일반화: 모델은 NEU-DET (+7.2% mAP), DAGM (+4.6% mAP), VisDrone-2019 (+3.8% mAP)로의 긍정적인 전이를 보여주었으나, 모듈의 특화된 성격에 따라 도메인 거리가 멀어질수록 이득이 감소했습니다.
• 통계적 유의성: 쌍체 t-검정(Paired t-test) 및 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)을 통해 베이스라인 대비 성능 향상이 통계적으로 유의함을 확인했습니다 ($p < 0.001$).

의의 및 주장
본 논문은 SWCB-YOLO가 비정형 자연 환경 내의 이중 곡면 위에서 발생하는 작고 길쭉한 결함을 탐지하는 동시에, 에지 디바이스에서 실시간 추론을 유지할 수 있다는 점을 주장합니다.

• 강건성: 주파수 도메인 필터링과 이방성 어텐션을 통합함으로써, 표준 탐지기들을 괴롭히는 복잡한 배경(식생, 반사)으로 인한 오탐을 효과적으로 억제합니다.
• 기하학적 정밀도: CA-Shape-IoU 손실은 오프라인 형태학적 사전 지식(곡률 및 스켈레톤 거리)을 활용하는 것이 추론 페널티 없이도 곡선 타겟에 대한 바운딩 박스 정렬을 크게 개선할 수 있음을 입증합니다.
• 실제 배포 가능성: 이 프레임워크는 정확도와 자원 제약 사이의 균형을 맞추어, 높은 정밀도와 엄격한 지연 시간 및 전력 예산이 동시에 요구되는 자동화된 UAV 기반 블레이드 점검을 위한 실행 가능한 솔루션을 제공합니다.

저자들은 한계점으로 CA-Shape-IoU 손실에 대한 폴리곤 수준 주석 의존성(단, 방법론은 중간 정도의 주석 단순화에도 강건함)과 극심한 모션 블러와 안개가 결합된 시나리오에서의 잠재적인 오버 스무딩(over-smoothing)을 언급했습니다. 향려 연구는 준지도 학습을 통한 주석 의존성 감소와 다중 모달 융합 탐색을 목표로 합니다.