SPMamba-YOLO: An Underwater Object Detection Network Based on Multi-Scale Feature Enhancement and Global Context Modeling

이 논문은 수중 환경의 열악한 조건과 작은 표적 탐지 문제를 해결하기 위해 다중 스케일 특징 강화와 글로벌 컨텍스트 모델링을 통합한 새로운 SPMamba-YOLO 네트워크를 제안하며, URPC2022 데이터셋에서 기존 YOLOv8n 대비 4.9% 이상 높은 mAP@0.5 성능을 입증했습니다.

핵심

이 논문은 수중에서 물체를 찾아내는 AI를 더 똑똑하게 만든 연구입니다. 마치 어둡고 흐린 물속에서 카메라로 물고기를 찾는 것과 같은 일인데, 기존 기술로는 물이 탁하거나 빛이 반사될 때 물체를 잘 못 찾아내는 문제가 있었습니다.

저희가 제안한 **'SPMamba-YOLO'**라는 새로운 기술을 통해 이 문제를 해결했습니다. 쉽게 비유해서 설명해 드릴게요.

🌊 1. 왜 수중 물체 찾기가 어려울까요? (문제 상황)

수중은 우리가 사는 땅과 완전히 다릅니다.

• 빛이 사라집니다: 물속은 빛이 잘 통하지 않아 색이 변하고 (예: 빨간색이 검게 보임), 흐릿합니다.
• 소음이 많습니다: 모래나 조류가 떠다니며 배경이 복잡합니다.
• 작은 물체: 해삼, 성게, 불가사리 같은 작은 생물들은 카메라에 잘 잡히지 않습니다.

기존의 AI는 이런 흐릿하고 복잡한 환경에서 "아, 저게 해삼인가?"라고 판단하기 힘들어 실수를 많이 했습니다.

🚀 2. 우리가 만든 해결책: 'SPMamba-YOLO'

이 새로운 AI는 세 가지 특별한 '슈퍼 파워'를 얻었습니다.

① 🧐 "멀리 보고, 넓게 보는 눈" (SPMamba 모듈)

• 비유: 마치 망원경과 현미경을 동시에 쓴 것 같습니다.
• 설명: 기존 AI는 가까이 있는 것만 잘 보거나, 멀리 있는 것만 잘 봤습니다. 하지만 이 기술은 Mamba라는 최신 기술을 써서, 물속의 먼 곳 (전체적인 상황) 과 가까운 곳 (작은 물체의 디테일) 을 동시에 파악할 수 있게 했습니다. 마치 수중 로봇이 물속을 한눈에 훑어보며 "저기 저기, 저게 해삼이야!"라고 정확히 지목하는 것과 같습니다.

② 🔍 "노이즈 제거 안경" (PSA 어텐션)

• 비유: 시끄러운 콘서트장에서 친구 목소리만 듣는 귀와 같습니다.
• 설명: 물속은 모래와 거품으로 가득 차 있어 시야가 흐립니다. 이 기술은 불필요한 배경 (소음) 은 무시하고, 진짜 중요한 물체 (해삼, 성게 등) 에만 집중하도록 도와줍니다. 마치 안경을 썼을 때 흐릿한 배경은 흐릿하게 처리하고, 초점만 맞춘 물체만 선명하게 보이는 것과 같습니다.

③ 🧩 "퍼즐 조각을 완벽하게 맞추는 손" (SPPELAN 모듈)

• 비유: 크기가 다른 퍼즐 조각들을 한곳에 모아 완성도를 높이는 작업입니다.
• 설명: 물속의 물체들은 크기가 천차만별입니다 (작은 성게부터 큰 해삼까지). 이 기술은 크기가 다른 물체들을 모두 잘 인식할 수 있도록, 다양한 크기의 정보를 하나로 잘 섞어줍니다. 마치 작은 조각과 큰 조각을 모두 잘 맞춰서 퍼즐을 완성하는 것과 같습니다.

🏆 3. 결과는 어떨까요? (성과)

우리는 실제 수중 로봇 대회 (URPC2022) 에서 쓰이는 데이터를 가지고 실험을 해보았습니다.

• **기존 기술 (YOLOv8)**보다 약 5% 더 정확도가 높아졌습니다.
• 특히 작고 흐릿한 물체를 찾을 때 실수가 훨씬 줄었습니다.
• 계산 속도가 너무 느려지지도 않아, 실시간으로 수중 로봇을 조종하는 데도 쓸 수 있습니다.

💡 4. 요약

이 연구는 **"흐리고 복잡한 물속에서도 AI 가 마치 프로 사냥꾼처럼 작은 물체들을 정확하게 찾아내게 했다"**는 이야기입니다.

앞으로 이 기술은 해양 생물 조사, 해저 파이프라인 점검, 산호초 보호 등 다양한 분야에서 수중 로봇이 더 똑똑하고 안전하게 일할 수 있게 도와줄 것입니다. 마치 안개 낀 바다에서 등대처럼 정확한 신호를 보내는 것과 같다고 할 수 있죠!

기술 요약

논문 요약: SPMamba-YOLO (수중 객체 감지 네트워크)

1. 연구 배경 및 문제 제기 (Problem)

수중 객체 감지는 해양 생물 연구, 해저 파이프라인 점검, 자원 탐사 등 다양한 분야에서 중요하지만, 다음과 같은 고유한 환경적 어려움으로 인해 매우 도전적인 과제입니다.

• 시각적 열화: 수중에서의 빛 흡수와 산란으로 인한 심한 색상 왜곡, 낮은 대비, 흐린 객체 경계.
• 배경 잡음: 복잡한 해저 배경과 다양한 간섭 요소.
• 작은 객체 및 밀집 분포: 해삼, 성게, 불가사리, 조개 등 작은 크기의 해양 생물이 밀집해 있어 기존 모델이 정확한 위치 추정과 분류를 동시에 수행하기 어렵습니다.
• 기존 방법의 한계: 기존 2 단계 검출기 (Faster R-CNN 등) 는 계산 비용이 높고 실시간성이 부족하며, 1 단계 검출기 (YOLO 등) 도 복잡한 수중 환경에서 작은 객체와 전역 문맥 정보를 효과적으로 포착하는 데 한계가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 YOLOv8n 을 기반으로 하여, **다중 스케일 특징 강화 (Multi-scale feature enhancement)**와 **전역 문맥 모델링 (Global context modeling)**을 통합한 새로운 네트워크 SPMamba-YOLO를 제안합니다. 주요 구성 요소는 다음과 같습니다.

• SPPELAN (Spatial Pyramid Pooling Enhanced Layer Aggregation Network) 모듈:

  • 목적: 다중 스케일 특징 집계 강화 및 수용 영역 (Receptive Field) 확장.
  • 구조: 입력 특징 맵에 1x1 컨볼루션을 적용한 후, 연쇄적인 최대 풀링 (Max Pooling) 을 통해 수용 영역을 점진적으로 확장합니다. 확장된 특징 맵들을 채널 차원에서 연결 (Concatenation) 하여 다양한 크기의 객체를 효과적으로 표현할 수 있도록 합니다.
  • 효과: 크기가 다양하고 밀집된 수중 객체에 대한 특징 표현력을 향상시킵니다.

• PSA (Pyramid Split Attention) 어텐션 메커니즘:

  • 목적: 복잡한 수중 환경에서 특징의 변별력 향상 및 배경 잡음 억제.
  • 구조: 입력 특징을 채널 차원에서 여러 서브맵으로 분할 (Split) 하고, 각 서브맵에 서로 다른 수용 영역을 가진 컨볼루션을 적용하여 다중 스케일 공간 특징을 추출합니다. 이후 채널별 어텐션 가중치를 학습하여 중요한 영역을 강조하고 배경을 억제합니다.
  • 효과: 작은 객체와 낮은 대비를 가진 객체에 대한 감지 민감도를 높입니다.

• Mamba 기반 상태 공간 모델링 (State Space Modeling) 모듈:

  • 목적: 장거리 의존성 (Long-range dependencies) 및 전역 문맥 정보의 효율적 포착.
  • 구조: 선택적 스캐닝 (Selective Scanning) 메커니즘을 갖춘 Mamba 아키텍처를 도입합니다. 이는 입력 데이터에 따라 상태 전이 행렬을 동적으로 조절하여 국소적 특징과 전역적 의미론적 의존성을 모두 포착합니다.
  • 효과: 수중 환경의 가변성과 복잡성에 적응하며, 객체 간의 전역적 관계를 이해하여 감지 강건성을 높입니다.

• 아키텍처 개선:

  • Simple Stem: 패치 임베딩 대신 점진적인 다운샘플링을 위한 2 단계 컨볼루션을 사용하여 초기 특징 추출 시 미세한 질감과 에지 정보를 보존합니다.
  • Vision Clue Merge (VCM): 다운샘플링 시 공간적 혼합을 줄이고 SS2D(Selective Scan 2D) 에 의해 활성화된 시각적 단서를 보존하기 위해 특징 재배열 및 채널 프로젝션을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 수중 객체 감지를 위한 SPMamba-YOLO 네트워크를 최초로 제안했습니다.
2. SPPELAN 모듈 도입: 다중 스케일 특징 집계와 수용 영역 확장을 통해 다양한 크기의 수중 객체 표현 능력을 향상시켰습니다.
3. PSA 어텐션 통합: 수중 장면에서 목표 영역을 강조하고 배경 잡음을 억제하여 작은 객체 감지 정확도를 높였습니다.
4. Mamba 모듈 적용: 효율적인 장거리 의존성 모델링을 통해 복잡한 수중 환경에서의 감지 강건성을 개선했습니다.
5. 성능 입증: URPC2022 데이터셋을 통한 실험에서 기존 최첨단 (SOTA) 방법 및 YOLOv8n 베이스라인을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: URPC2022 (해삼, 성게, 불가사리, 조개 4 개 클래스, 총 9,000 장 이미지).
• 주요 지표 (mAP@0.5):
  • YOLOv8n 베이스라인: 77.6%
  • 제안된 SPMamba-YOLO: 82.5% (베이스라인 대비 4.9%p 향상)
• 성능 비교:
  • Faster R-CNN, SSD, RT-DETR, YOLOv3~v8 등 다양한 모델과 비교하여 가장 높은 mAP@0.5 및 mAP@0.5:0.95 를 기록했습니다.
  • 특히 작고 밀집된 객체 (해삼, 불가사리 등) 에 대한 정밀도 (Precision) 와 재현율 (Recall) 이 크게 개선되었습니다.
• 효율성: 정확도 향상에도 불구하고, GFLOPs(13.9) 와 파라미터 수 (6.4M) 는 실시간 적용이 가능한 수준으로 유지되었습니다.
• 시각화 (Grad-CAM): 제안된 모델은 기존 YOLOv8n 에 비해 목표 객체 영역에 더 집중적이고 명확한 활성화 반응을 보이며, 배경 잡음을 효과적으로 억제함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 수중 환경의 고유한 어려움 (색상 왜곡, 낮은 대비, 작은 객체) 을 해결하기 위해 **Mamba(상태 공간 모델)**의 전역 문맥 모델링 능력과 다중 스케일 특징 강화 기술을 YOLO 아키텍처에 성공적으로 융합했습니다.

• 실용성: 계산 비용과 정확도 사이의 균형을 유지하면서 수중 로봇 비전 시스템의 실시간 객체 감지 성능을 획기적으로 향상시켰습니다.
• 미래 전망: 복잡한 수중 환경에서 작은 해양 생물을 탐지하는 데 있어 새로운 표준을 제시하며, 향후 더 다양한 수중 데이터셋에서의 일반화 능력 검증 및 모델 경량화를 위한 연구의 기초를 마련했습니다.

요약하자면, SPMamba-YOLO는 수중 객체 감지의 난제를 해결하기 위해 최신 딥러닝 기법 (Mamba, PSA, SPPELAN) 을 체계적으로 결합하여, 기존 방법론보다 뛰어난 정확도와 강건성을 달성한 혁신적인 모델입니다.