기술 요약: 항공 엔진 블레이드 결함 탐지를 위한 MESFR-DETR

1. 문제 정의

항공 엔진 블레이드의 결함 탐지는 결함의 특성으로 인해 상당한 어려움에 직면해 있습니다. 결함은 흔히 미세한 규모이며, 특징 신호가 약하고, 다양한 형태(예: 부식, 찍힘, 흠집, 스크래치)를 띱니다. 기존의 합성곱 신경망(CNN) 기반 접근 방식은 다음과 같은 두 가지 주요 이유로 인해 이러한 작업에 어려움을 겪습니다:

1. 고주파 정보의 손실: 표준 CNN 백본은 다층 합성곱과 다운샘플링에 의존하며, 이 과정에서 공간 해상도가 점진적으로 압축됩니다. 이 프로세스는 미세한 결함 탐지에 필수적인 미세한 에지 텍스처 및 국부 구조와 같은 고주파 시각 신호의 손실을 초래합니다.
2. 비 엔드투엔드(Non-End-to-End) 파이프라인의 한계: 많은 전통적인 프레임워크는 비최대 억제(NMS) 및 사전 정의된 앵커 박스와 같은 수작업 구성 요소에 의依赖합니다. 이러한 구성 요소는 진정한 엔드투엔드 배포를 방해하고, 하이퍼파라미터 민감도를 유발하며, 결함이 밀집되어 겹쳐 있는 시나리오에서 탐지 누락을 일으킬 수 있습니다.

Transformer 기반 탐지기(예: DETR, RT-DETR)는 전역적 문맥 모델링을 제공하지만, 표준 구현은 종종 명시적인 고주파 에지 정보 모델링이 부족하며 산업용 소형 타겟 탐지에 필요한 미세한 세부 사항을 보존하는 데 어려움을 겪습니다.

2. 방법론: MESFR-DETR

본 논문은 RT-DETR-r18(Real-Time Detection Transformer) 베이스라인을 기반으로 구축된 향상된 엔드투엔드 탐지 네트워크인 MESFR-DETR을 제안합니다. 이 아키텍처는 세 가지 핵심 모듈을 통해 미세한 특징을 보존하고 다중 스케일 융합을 강화하도록 설계되었습니다.

A. 다중 스케일 에지 정보 강화 및 선택 (MEIES)

백본 네트워크에 내장된 이 모듈은 계산 비용을 크게 증가시키지 않으면서 모델의 고주파 에지 특징에 대한 민감도를 높이는 것을 목표로 합니다.

• 구조: 로컬 특징 브랜치와 4개의 병렬 다중 스케일 동적 에지 강화 브랜치(3×3, 6×6, 9×9, 12×12 스케일의 적응형 평균 풀링 사용)를 포함하는 CSP(Cross-Stage Partial) 구조를 활용합니다.
• 동적 에지 인핸서 (DEE): 각 브랜치는 원래의 특징에서 저주파 평균을 차감하여 고주파 에지 성분을 추출합니다. 학습 가능한 파라미터($\alpha$)는 강화 강도를 제어하며, 이는 특징 맵의 깊이에 따라 적응합니다(고해상도인 얕은 층에서는 강하게 강화하고, 의미론적 무결성을 보존하기 위해 깊은 층에서는 약하게 강화함).
• 이중 도메인 선택 (DSM): 공간 선택 모듈(SSM)과 주파수 선택 모듈(FSM)이 적응형 가중치 할당을 수행합니다. FSM은 특히 저주파 성분을 필터링하여 변별력 있는 에지 영역을 강조합니다.

B. 효율적인 다중 스케일 주파수 강화 어텐션 (EMFA)

이 모듈은 RT-DETR 하이브리드 인코더의 표준 멀티 헤드 셀프 어텐션(MHSA) 및 피드포워드 네트워크(FFN)를 대체합니다.

• 효율적인 다중 스케일 어텐션 (EMA): 1차원 풀링과 듀얼 브랜치 크로스 어텐션을 사용하여 선형 공간 복잡도($O(N)$)로 전역적 장거리 의존성을 모델링하기 위해 MHSA를 대체합니다.
• 주파수 변조 피드포워드 네트워크 (FMFFN): 표준 FFN을 대체합니다. 이는 중간 특징에 윈도우 단위 빠른 푸리에 변환(FFT)을 적용하여, 모델이 서로 다른 주파수 성분에 대해 적응형 진폭 스케일링 및 위상 회전을 수행할 수 있도록 합니다. 이를 통해 결함 관련 주파수 특징은 선택적으로 강화하고 배경 노이즈는 억제할 수 있습니다.

C. 다중 스케일 특징 재구성 네트워크 (MFRN)

다운샘플링 중 발생하는 소형 타겟 세부 정보의 손실을 해결하기 위해 설계된 이 모듈은 특징 융합 단계를 수정합니다.

• P2 레이어 통합: P3, P4, P5 특징을 사용하는 베이스라인과 달리, MFRN은 소형 결함의 경계 및 텍스처 세부 사항을 보존하기 위해 P2 레이어(고해상도 특징)를 포함합니다.
• MSC-Fusion 모듈: P2 레이어의 계산 비용을 완화하고 특징 융합을 정교화하기 위해, 표준 RepC3 블록을 MSC-Fusion으로 교체합니다. 이 모듈은 다중 브랜치 병렬 추출과 ScConv(Spatial-Channel Reconstruction Convolution)를 결형합합니다. ScConv는 공간 재구성 유닛(SRU)과 채널 재구성 유닛(CRU)을 사용하여 중복 정보를 억제하고 공간 및 채널 차원에서 변별력 있는 특징을 재구성합니다.

3. 데이터셋 구축

여러 결함 유형이 공존하는 실제 유지보수 시나리오를 더 잘 반영하기 위해, 저자들은 새로운 합성 데이터셋인 BladeSynth-MD를 구축했습니다.

• 출처: 물리 기반 렌더링을 통해 생성된 기존 BladeSynth 데이터셋을 기반으로 합니다.
• 개선 사항: 단일 결함만을 특징으로 하는 기존 데이터셋과 달리, BladeSynth-MD는 단일 블레이드 인스턴스에 여러 결함 카테데고리(부식, 찍힘, 흠집, 스크래치)를 통합했습니다.
• 규모: 5,000장의 이미지(1024×1024)를 포함하며 7:1:2(학습/검증/테스트) 비율로 분할되었습니다. 이 데이터셋은 소형 결함(면적 < 32² 픽셀)에 크게 편향되어 있습니다.
• 검증: 본 방법론은 실제 운용 중인 항공 엔진 블레이드 이미지를 포함하는 ISAEB 데이터셋에서도 테스트되었습니다.

4. 실험 결과

BladeSynth-MD 및 ISAEB 데이터셋에 대해 광범-한 실험이 수행되었습니다.

BladeSynth-MD에서의 성능

MESFR-DETR은 RT-DETR-r18 베이스라인 및 주요 모델(YOLO 시리즈, DINO, Deformable-DETR)보다 우수한 성능을 달성했습니다.

• AP (평균 정밀도): 65.0% (베이스라인: 60.7%; +4.3%)
• AP50: 91.7% (베이스라인: 89.8%; +1.9%)
• APS (소형 객체): 60.8% (베이스라인: 56.4%; +4.4%)
• 효율성: 모델은 10.36M 파라미터(베이스라인 대비 47.8% 감소)와 55.7G FLOPs만으로 이러한 이득을 달성했으며, 35.9 FPS의 추론 속도를 유지했습니다.

ISAEB에서의 일반화 성능

실제 환경의 ISAEB 데이터셋에서 MESFR-DETR은 AP 65.7%, APS **51.4%**를 달성하여 RT-DETR보다 각각 2.2%, 2.6%, YOLO11m보다 3.6%, 13.2% 더 높은 성능을 보였습니다. 이는 합성 데이터에서 실제 데이터로의 모델의 교차 도메인 전이 가능성을 확인시켜 줍니다.

절제 연구 (Ablation Studies)

• MEIES: AP를 0.7% 향상시키고 파라미터를 26.4% 줄였습니다.
• EMFA: AP를 1.1% 향상시키고 (독립적으로 적용 시) 추론 속도를 70.1 FPS로 높였습니다.
• MFRN: 가장 유의미한 정확도 향상(베이스라인 대비 AP +2.7%)을 제공했으며, 특히 소형 타겟에 효과적이었습니다.
• ScConv: 이 맥락에서 특징 정교화를 위해 Bottleneck, Faster Block, Star Block보다 우수함이 검증되었습니다.

5. 의의 및 주장

저자들은 MESFR-DETR이 소형 및 저대비 결함에 대한 현재의 딥러로잉 접근 방식의 특정 한계를 해결함으로써 항공 엔진 블레이드 검사에 있어 중요한 진전을 이루었다고 주장합니다.

• 엔드투엔드 효율성: NMS와 앵커 박스를 제거함으로써 파이프라인을 단순화하고 배포 효율성을 향상시킵니다.
• 에지 및 주파수 인식: MEIES를 통한 고주파 에지 정보의 명시적 모델링과 EMFA를 통한 주파수 영역 변조를 통해, 표준 CNN이 놓치는 미세한 결함 경계를 포착할 수 있습니다.
• 소형 타겟 최적화: 고해상도 P2 특징과 공간-채널 재구성을 통합(MFRN)하여 "소형 타겟" 문제를 직접적으로 해결하였으며, 그 결과 APS에서 4.4%의 향상을 가져왔습니다.
• 실용적 적용 가능성: 모델은 높은 정확도와 낮은 계산 비용(10.36M 파라미터) 사이의 유리한 균형을 달성하여, 산업용 유지보수 시나리오에서 실시간 배포에 적합합니다. 실제 세계의 ISAEB 데이터셋에 대한 성공적인 일반화는 항공 엔진 안전 및 유지보수 분야에서의 실질적인 적용 가능성을 입증합니다.