U$^2$Mamba: A Two-level Nested U-structure Mamba for Salient Object Detection

기술 요약: U2Mamba를 이용한 돌출 객체 탐지(Salient Object Detection)

문제 정의
돌출 객체 탐지(SOD)는 시각적으로 두드러진 객체를 정밀한 경계와 함께 식별하는 것을 목표로 하며, 이는 의료 영상 및 자율 주행과 같은 응용 분야에서 매우 중요한 작업이다. 딥러닝의 발전에도 불구하고, 기존 방법들은 근본적인 트레이드오프(trade-off) 문제에 직면해 있다. 합성곱 신경망(CNN)은 다운샘플링 과정에서 정확한 경계 형성에 필요한 고해상도 공간 세부 정보를 손실하는 경우가 많으며, 트랜스포머(Transformer) 기반 모델은 고해상도 입력에 필요한 이차 복잡도(quadratic complexity) 문제로 인해 계산 효율성이 떨어진다. 최근의 상태 공간 모델(SSM)인 Mamba는 장거리 의존성 모델링에는 효율적이지만, SOD를 위해 특화되어 설계되지는 않았다. 기존의 비주얼 Mamba 아키텍처들은 대개 평탄화된 토큰 표현이나 일반적인 U자형 구조에 의존하여 얕은 층의 고해상도 특징을 약화시키거나, 단일 모달 SOD보다는 다중 모달(예: RGB-D) 설정에 집중하는 경향이 있다.

방법론
본 논문은 단일 모달 돌출 객체 탐지를 위해 특별히 설계된 새로운 중첩된 2단계 U-구조 네트워크인 U2Mamba를 제안한다. 기존 연구들이 분류 사전 학습된 백본을 Mamba로 단순히 교체하는 방식과 달리, U2Mamba는 분류용 백본에 의존하지 않고 처음부터 새롭게 구축되었다.

• 아키텍처 개요: 모델은 6개의 인코더 단계와 5개의 디코더 단계로 구성된 U-Net 스타일의 인코더-디코더 설계를 따른다. 심층 감독(deep supervision)을 가능하게 하기 위해 여러 레벨에서 돌출 맵(saliency maps)을 예측한다.
• 다중 스케일 Mamba U-블록 (MMUB): 핵심 혁신은 MMUB로, 이는 콤팩트한 U자형 구조 내에 Mamba 메커니즘을 내장한 것이다.
  • 메커니즘: 잔차 U-블록(RSU)과 Mamba 블록을 결합한다. Mamba 블록은 평탄화된 이미지 특징(시퀀스로 재구성됨)을 처리하여 선형 복잡도로 장거리 의존성을 포착한다.
  • 주파수 분해 (Frequency Decomposition): CNN에 내재된 공간적 중복성을 완화하기 위해, MMUB는 특징을 고주파 성분과 저주파 성분으로 분해한다. 중복성이 높은 저주파 성분은 계산량을 줄이기 위해 축소된 해상도에서 처리되는 반면, 결정적인 에지와 경계인 고주파 성분은 전체 해상도에서 보존된다.
  • 중첩 구조: "U2"라는 명칭은 두 단계의 중첩을 의미한다. 메인 U-구조의 각 단계는 그 자체로 U-구조인 MMUB를 포함한다. 이를 통해 네트워크는 해상도에 구애받지 않고 얕은 층과 깊은 층의 다양한 수용 영역(receptive fields)을 통합할 수 있다.
• 계층적 훈련 감독 (Hierarchical Training Supervision): 전통적인 심층 감독 대신, 저자들은 모든 레벨에서 손실을 계산하는 계층적 방법을 제안한다. 이는 다음을 결합한다:
  • 이진 크로스 엔트로피 (BCE): 정답(ground truth)과의 픽셀 수준 일치성을 강제한다.
  • 쿨백-라이블러 발산 (KL Divergence): 중첩 구조의 서로 다른 단계 간의 확률 분포를 정렬하여, 다양한 의미론적 스케일에 걸친 돌출 예측의 일관성을 보장한다.

주요 기여

1. Mamba의 체계적 통합: U2Mamba는 단순한 백본 교체를 넘어, Mamba 상태 공간 메커니즘을 돌출 객체 탐지에 체계적으로 통합한 최초의 프레임워크이다.
2. 다중 스케일 Mamba U-블록 (MMUB): 효율적인 단계 내 다중 스케일 특징 추출을 가능하게 하는 새로운 블록 설계이다. 이는 주파수 기반 분해를 통해 공간적 중복성과 메모리 비용을 줄이면서도 미세한 돌출 경계를 보존한다.
3. 계층적 감독 전략: 네트워크의 깊이에 따라 일관된 표현 학습을 장려하기 위해 BCE와 KL 발산을 결합한 손실 함수를 도입하였다.

실험 결과
저자들은 ECSSD, PASCAL-S, DUT-OMRON, HKU-IS, DUTS(DUTS-TR으로 학습)의 5개 벤치마크 데이터셋에서 U2Mamba를 평가하였다.

• 성능: U2Mamba는 F3Net, U2Net, VST, BBRF를 포함한 최첨단 방법들과 경쟁력 있는 결과를 달了. DUTS-TE 데이터셋에서 최대 F-측도($maxF_\beta$) 0.904, 평균 절대 오차(MAE) 0.024를 달성하여 기존 기술들을 능가하거나 대등한 성능을 보였다.
• 효율성: 모델은 정확도와 효율성 사이에서 유리한 트레이드오프를 보여준다. 41.97M 파라미터와 127.5G FLOPs를 가진 이 모델은 U2Net(176.3M 파라미터) 및 VST(94.7M 파라미터)보다 훨씬 가볍다. Mamba 블록의 선형 복잡도 덕분에 A100 GPU에서 24.7 FPS의 추론 속도를 달성하며 VST(18.3 FPS)를 능가한다.
• 절제 연구 (Ablation Studies): 실험을 통해 MMUB와 계층적 감독(BCE + KL)이 모두 필수적임을 확인하였다. RSU를 MMUB로 교체했을 때 $maxF_\beta$가 0.873에서 0.891로 향상되었으며, 전체 모델은 0.904에 도달하였다. MMUB 내에서의 장거리 모델링 메커니즘 비교 결과, Mamba(SSM)가 Dilated Convolution 및 Self-Attention보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 U2Mamba가 돌출 객체 탐지의 두 가지 요구 사항인 정확한 경계 국지화와 효율적인 장거리 문맥 모델링을 효과적으로 해결한다고 주장한다. 중첩된 U-구조 내에서 Mamba의 선형 스케일링 이점을 활용함으로써, 모델은 고해상도 이미지에서의 어텐션 메커니즘의 계산적 제약을 피하면서도 다운샘플링 시 흔히 손실되는 공간적 정밀도를 유지한다. 저자들은 이 접근 방식이 돌출 객체 탐지를 위한 Mamba 기반 아키텍처의 유효성과 확장성을 입증하며, 실시간 응용 분야를 위해 매우 정확하면서도 계산 효율적인 솔루션을 제공한다고 단언한다. 본 연구는 돌출 객체가 배경과 강한 질감 또는 색상 유사성을 공유하는 시나리오에서의 한계를 인정하며, 명시적인 에지 가이드(edge guidance)의 향후 통합 가능성을 시사한다.