💻 computer science

SFE-YOLO: Spatial-Frequency Dual-Domain Enhanced YOLO for SAR Ship Detection

복잡한 해양 환경에서 기존 탐지기들의 한계를 해결하기 위해, 본 논문은 다중 방향 특징 추출을 위한 핀휠 컨볼루션과 해면 클러터 억제를 위한 주파수 영역 블록을 통합하여 SSDD 및 HRSID 데이터셋에서 SAR 선박 탐지에 대한 우수한 성능을 달하는 이중 도메인 강화 YOLO 프레임워크인 SFE-YOLO를 제안한다.

원저자: Huicong Ning, Ying Zhang, Jiajia Chen, Peinan Hao, Xiaojing Zhao, Tianzi Yan

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huicong Ning, Ying Zhang, Jiajia Chen, Peinan Hao, Xiaojing Zhao, Tianzi Yan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대양은 선박과 파도의 경계가 구별할 수 없는 소음으로 흐릿해질 수 있는 거대하고 변화무쌍한 캔버스입니다. 수십 년 동안 이 영역을 감시하는 데는 두 가지 주요 도구가 사용되어 왔습니다. 우리가 보는 것과 같이 세상을 보는 카메라와, 물리학의 눈을 통해 세상을 보는 레이더입니다. 카메라는 풍부한 세부 정보를 제공하지만, 해가 지거나 짙은 안개가 밀려오면 제 기능을 하지 못합니다. 반면 레이더는 낮과 밤을 가리지 않고 작동하며, 무선파를 표면에 튕겨냄으로써 구름과 어둠을 뚫고 나아갑니다. 이는 가장 험난한 날씨 속에서 선박을 관찰할 수 있는 유일하게 신뢰할 수 있는 눈이 됩니다. 그러나 레이더 이미지는 읽기가 매우 까다롭습니다. 레이더 이미지는 '스펙클 노이즈(speckle noise)'라고 불리는 시각적 혼돈인 정적과 입자로 가득 차 있으며, 여기서 거친 바다의 질감은 선박의 금속 선체와 똑같이 보일 수 있습니다. 작은 배를 거친 파도 조각과 구별하는 일은 이 이미지를 스캔하는 컴퓨터에게 오랫동안 난제였으며, 이는 종종 안전과 보안에 심각한 결과를 초래할 수 있는 미탐지나 오경보로 이어졌습니다.

연구자들은 컴퓨터에게 이러한 입자 섞인 사진 속에서 패턴을 인식하도록 가르침으로써 이 문제를 해결하기 위해 인공지능을 활용해 왔습니다. 가장 일반적인 접근 방식은 이미지를 작은 사각형 단위로 스캔하여 가장자리와 모양을 찾는 일종의 디지털 필터를 사용하는 것입니다. 이 방식은 많은 작업에서 잘 작동하지만, 선박의 특수한 성격에는 어려움을 겪습니다. 선박은 어떤 방향을 향할 수 있는 길고 가는 물체이지만, 표준 필터는 둥글거나 뭉툭한 모양을 포착하도록 설계된 경직된 정사각형 형태입니다. 이러한 필터는 선박이 기울어져 있거나 이미지가 너무 노이즈가 심할 경우 선체의 가늘고 긴 윤곽을 놓치기 쉽습니다. 더욱이, 이 표준 필터들은 픽셀의 즉각적인 이웃만을 살펴보기 때문에 전체 장면의 더 큰 그림을 놓치며, 이로 인해 실제 선박과 혼란스러운 바다의 잡음(clutter)을 구별하는 데 어려움을 겪습니다.

이러한 특정 약점을 해결하기 위해 중국의 연구 기관 팀은 SFE-YOLO라고 불리는 새로운 탐지 시스템을 개발했습니다. 이들은 이미지의 한 가지 방식에만 의존하는 대신, 두 가지 서로 다른 방식으로 이미지를 동시에 조사하는 이중 도메인 프레임워크를 구축했습니다. 시스템의 첫 번째 부분은 모양 문제를 다룹니다. 그들은 표준 정사각형 필터를 여러 방향으로 동시에 스캔할 수 있는 핀휠(바람개비)처럼 작동하는 새로운 유형의 필터로 교체했습니다. 이를 통해 컴퓨터는 선박이 어느 방향을 향하고 있든 상관없이 길고 가는 윤곽을 추적할 수 있으며, 기존의 경직된 필터가 단순히 건너뛰었을 세부 사항까지 포착할 수 있게 되었습니다.

시스템의 두 번째 부분은 컴퓨터가 이미지의 정보를 처리하는 방식을 바꿈으로써 노이즈 문제를 해결합니다. 시스템은 단순히 보이는 그대로의 픽셀을 보는 대신, 이미지의 밝기가 지점마다 얼마나 빠르게 변하는지를 나타내는 방식인 주파수에 기반하여 이미지를 일시적으로 다른 언어로 번역합니다. 이 주파수 뷰(view)에서는 바다 노이즈의 일정하고 반복적인 패턴이 선박의 날카롭고 독특한 가장자리와 명확히 구분됩니다. 연구진은 바다의 저주파 노이즈를 식별하고 억제하는 동시에 선박의 윤곽을 정의하는 고주파 신호를 증폭할 수 있는 모듈을 구축했습니다. 이 주파수 뷰에서 이미지를 정화한 후, 시스템은 이를 다시 일반적인 사진으로 번역하며, 이때 이미지는 훨씬 더 깨끗하고 읽기 쉬운 상태가 됩니다.

연구팀이 이 새로운 방법을 두 개의 주요 레이더 선박 이미지 컬렉션에 테스트했을 때, 결과는 유의미했습니다. 천 개 이상의 이미지가 포함된 표준 데이터셋에서 그들의 시스템은 높은 정확도로 선박을 식별하여, 1.0이 완벽함을 의미하는 척도에서 0.973의 점수를 기록했습니다. 수천 개의 작은 선박과 복잡한 항구 배경이 포함된 약 6,000개의 이미지를 가진 더 어려운 고해Resolutions 데이터셋에서도, 시스템은 0.885의 점수를 유지하며 강력한 성능을 보여주었습니다. 더 중요한 것은, 이 시스템이 이전 모델들이 자주 실패했던 과업인 작은 선박을 찾는 데 특히 뛰어났다는 점입니다. 이 시스템은 작은 배를 놓치는 횟수를 줄였을 뿐만 아니라, 파도를 선박으로 잘못 식별하는 횟수도 줄였습니다.

연구진은 방향성 스캐닝을 통한 형태 파악과 주파수 기반의 노이즈 제거라는 이 두 가지 접근 방식을 결합하는 것이 각각의 부분을 합친 것보다 더 큰 시너지 효과를 창출한다는 것을 발견했습니다. 시스템은 단순히 약간 더 좋아진 것이 아니라, 개활지의 혼란스러운 현실을 다룰 수 있을 만큼 견고해졌습니다. 모든 각도에서 선박의 구조를 보도록 컴퓨터를 가르치고 바다의 배경 소음을 무시하게 함으로써, 이 새로운 방식은 해상 교통을 감시하는 더 신뢰할 수 있는 방법을 제시합니다. 이러한 발전은 향ate에 자동화된 시스템이 법 집행 및 수색 구조 작업에 있어 더욱 일관되고 정확한 감시를 제공할 수 있음을 시사하며, 가장 작은 선박조차 바다의 소음 속에서 길을 잃지 않도록 보장할 것입니다.

기술 요약: SAR 선박 탐지를 위한 SFE-YOLO

문제 정의

합성 개구 레이더(SAR) 선박 탐지는 복잡한 해양 환경에서 기존 딥러닝 탐지기의 성능을 저하시키는 두 가지 고유한 한계에 직면해 있습니다:

등방성 컨볼루션 불일치(Isotropic Convolution Mismatch): 표준 정사각형 컨볼루션 커널은 선박의 다방향성 및 가늘고 긴 선체 특징을 포착하는 데 실패합니다. 이는 특징 저하를 초래하며, 특히 센서에 대해 임의의 방향으로 배치된 소형 선박의 탐지 누락을 빈번하게 발생시킵니다.
전역 주파수 인지 능력 부족(Lack of Global Frequency Perception): 순수 공간 모델링은 전역 주파수 분포를 인지하는 능력이 부족합니다. 결과적으로, 표준 컨볼루션은 전역적인 관점에서 타겟의 세부 사항과 배경 간섭을 효과적으로 구별할 수 없기 때문에, 약한 선박 가장자리 특징이 심한 해상 클러터(sea clutter)와 스펙클 노이즈(speckle noise)에 의해 쉽게 묻히게 됩니다.

방법론

저자들은 공간 도메인과 주파수 도메인의 최적화를 시너지 있게 결មាន하여 이러한 특정 과제들을 해결하기 위해 설계된 이중 도메인 강화 YOLO 프레임워크인 SFE-YOLO(YOLOv8n 기반)를 제안합니다.

1. 공간 도메인 강화: SPConv (Pinwheel Convolution)

백본 네트워크의 CSPLayer에 통합된 SPConv 모듈은 가늘고 긴 선박 타겟을 더 잘 처리하기 위해 표준 등방성 컨볼루션을 대체합니다.

메커니즘: 표준 2D 컨볼루션을 병렬적인 가로( $1 \times k$ ) 및 세로( $k \times 1$ ) 스트립 컨볼루션으로 분해합니다.
특징 집계: 네 개의 병렬 브랜치가 서로 다른 기울기의 텍스처를 포착합니다. 수용 영역(receptive field) 중심의 공간적 편차를 교정하기 위해 순환 이동(cyclic shift) 연산(roll)이 적용됩니다.
목표: 이를 통해 여러 방향으로 유효 수용 영역을 확장함으로써, 계산 비용을 크게 증가시키지 않으면서도 네트워크가 선박의 방향에 관계없이 미세한 윤곽선을 추출할 수 있도록 합니다.

2. 주파수 도메인 강화: EBlock

특징 융합 넥(neck)에 삽입된 EBlock 모듈은 FreUnitMLP 코어를 활용하여 전역 클러터 억제 및 가장자리 증폭을 수행합니다.

공간 전처리: 입력 특징은 세 개의 브랜치 잔차 구조, 공간 전역 인지(SG) 모듈, 그리고 공간-채널 어텐션(SCA) 메커니즘을 거쳐 공간 특징을 정제합니다.
이중 도메인 캘리브레이션:
- 특징은 고속 푸리에 변환(FFT)을 통해 주파수 도메인으로 변환됩니다.
- 경량 $1 \times 1$ 컨볼루션이 주파수 성분을 적응적으로 재가중하여, 고주파 선박 가장자지는 강화하고 저주파 해상 클러터는 억제합니다.
- 역 고속 푸리에 변환(IFFT)을 통해 특징을 다시 공간 도메인으로 재구성합니다.
융합: 학습 가능한 스케일링 파라미터가 공간 및 주파수 특징의 융합을 조정하여, 스펙클 노이즈를 효과적으로 억제하는 동시에 희미한 선박 가장자리를 강화합니다.

3. 전체 아키텍처

모델은 표준 YOLOv8의 3단계 파이프라인(Backbone, Neck, Head)을 따르되, 방향 적응형 특징 추출을 위해 백본에 SPConv를, 전역 노이즈 억제를 위해 넥에 EBlock을 포함합니다. 시스템은 멀티 스케일 탐지를 위해 세 가지 융합된 특징 맵(80x80, 40x40, 20x20)을 출력합니다.

주요 기여

방향 적응형 전략: YOLOv8 백본에 SPConv를 통합함으로써 표준 커널과 가늘고 긴 선박 형태 사이의 불일치를 해결하고, 다방향 수용 영역을 확장하여 임의의 선체 윤곽을 포착합니다.
주파수 도메인 클러터 억제: FreUnitMLP를 중심으로 한 EBlock 모듈의 설계는 YOLO 프레임워크에 전역 주파수 인지 능력을 도입합니다. 이는 해상 스펙클 노이즈를 적응적으로 억제하고 약한 선박 가장자리를 증폭하며, 이는 순수 공간 CNN에는 없는 기능입니다.
이중 도메인 시너지: 본 프레임워크는 국소적 공간 세부 사항 추출(SPConv)과 전역 주파수 도메인 노이즈 제거(EBlock)를 결합합니다. 이러한 상호 보완적 접근 방식은 실시간 추론 성능을 저해하지 않으면서 복잡한 SAR 표면 위의 소형 선박에 대한 탐지 정확도를 향상시킵니다.

실험 결과

저자들은 두 가지 공개 벤치마크인 SSDD(1,160 이미지)와 HRSID(5,604 이미지)에서 SFE-YOLO를 평가하였으며, 10개의 주요 탐지기(Faster R-CNN, RetinaNet, DiffusionDet 및 다양한 YOLO 버전 포함)와 비교하였습니다.

SSDD 성능:
- mAP50 0.973 및 mAP75 0.776을 달성했습니다.
- 베이스라인인 YOLOv8(mAP50: 0.959)과 DiffusionDet(mAP50: 0.967) 같은 다른 SOTA 모델들을 능가했습니다.
- 우수한 소형 타겟 탐지 성능(mAPs: 0.603)과 중형 및 대형 타겟에 대한 균형 잡힌 성능을 입증했습니다.
HRSID 성능:
- mAP50 0.885 및 mAP75 0.716을 달성했습니다.
- mAP50은 YOLOv8 베이스라인(0.887)과 유사한 수준이었으나, 제안된 방법은 더 실질적인 지표에서 유의미한 이득을 보였습니다:
  - mAP75: 0.714에서 0.716으로 증가.
  - mAP50:95: 0.628에서 0.635로 증가.
  - 소형 타겟 탐지(mAPs): 0.506에서 0.524로 개선 (3.6% 상대적 이득).
- 시각적 분석을 통해 SFE-YOLO가 근해 클러터로 인한 오탐(false positives)을 줄이고, 경쟁 모델 대비 소형 선박의 미탐(missed detections)을 현저히 낮추었음을 확인했습니다.

의의 및 주장

본 논문은 SFE-YOLO가 국소적 공간 특징 추출과 전역 주파수 컨텍스트 모델링 사이의 간극을 효과적으로 메운다고 주장합니다. 가늘고 긴 다방향 타겟을 포착하는 데 있어 표준 컨볼루션의 한계와 공간 전용 모델의 전역 해상 클러터 필터링 불능 문제를 해결함으로써, 제안된 방법은 다음과 같은 성과를 달성합니다:

강건성(Robustness): 복잡한 해양 노이즈 및 스펙클 간섭에 대한 탁월한 저항력.
정밀도(Precision): 향상된 미세 위치 지정(높은 mAP75) 및 바운딩 박스 회귀 안정성.
일반화(Generalization): 고해상도 SAR 이미지 내 소형 및 밀집된 선박 탐지 능력 향상.

저자들은 이 이중 도메인 접근 방식이 실시간성을 유지하면서도 소형 선박 모니터링에 높은 신뢰성이 요구되는 시나리오를 위한 균형 잡힌 솔루션을 제공한다고 결론짓습니다. 향후 연구로는 이 프레임워크를 회전 바운딩 박스 탐지 및 편파 SAR 이미지로 확장하는 것이 제안되었습니다.