💻 computer science

UDR-Mamba: A Depth-Structured Reliability-Guided Mamba Framework for RGB-D Underwater Salient Object Detection

이 논문은 노이즈가 있는 수심 측정값에도 불구하고 최첨단 성능을 달성하기 위해, 원시 심도 지도를 구조적 단서로 변환하고 이를 공유 인코더를 통해 RGB 특징과 선택적으로 융합하는 심도 구조화 및 신뢰도 가이드 방식의 Mamba 프레임워크인 UDR-Mamba를 제안한다.

원저자: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

게시일 2026-09-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ning Li, Jiaxin Li, Xiwen Yang, Jianhang Shi, Haojie Wu, Gaochao Yang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

햇빛이 흐릿한 푸른 빛으로 변하고 색상이 바래지는 깊은 바다 밑바닥에서는, 로봇과 카메라가 눈앞의 사물을 보는 데 어려움을 겪습니다. 이것이 바로 수중 시각(underwater vision)의 세계이며, 이 분야는 자율 주행 차량을 안내하고, 해양 생물을 모니터링하며, 인간의 심해 탐사를 돕는 데 매우 중요합니다. 이러한 탁한 환경에서는 물이 빛을 산란시키고, 가장자리를 흐리게 하며, 색상을 왜곡시키기 때문에 표준 카메라는 종종 제대로 작동하지 못하며, 이로 인해 물고기와 바위, 혹은 배와 해저를 구분하는 것이 어려워집니다. 이를 해결하기 위해 과학자들은 오랫동안 표준 카메라의 익숙한 컬러 이미지와, 물체의 거리가 얼마나 떨어져 있는지 보여주는 3D 스케치 역할을 하는 깊이 지도(depth map)를 결합하려고 시도해 왔습니다. 그러나 수중 깊이 지도는 종-종 노이즈가 많고 신뢰할 수 없으며, 구멍이 뚫리거나 오류가 가득하여 인간의 눈이 탁한 물 때문에 혼란을 느끼는 것만큼이나 컴퓨터를 혼란스럽게 만들 수 있습니다. 과제는 기계가 이 유용한 3D 스케치의 부분들을 사용하되, 고장 나거나 잘못된 정보는 무시하도록 가르치는 것이었습니다.

창주 대학교(Changzhou University)의 연구팀은 이 문제에 대한 새로운 접근 방식을 개발하여, UDR-Mamba라고 부르는 시스템을 만들어냈습니다. 이들의 방법은 단순히 가공되지 않은 컬러 데이터와 가공되지 않은 깊이 데이터를 컴퓨터에 입력하는 대신, 먼저 지저도 있는 깊이 정보를 더 명확하고 유용한 형식으로 재구성합니다. 흐릿하고 입자가 거친 사진을 가져온 뒤, 그 안의 물체 윤곽을 따라 그리면서 동시에 질감이 급격하게 변하는 영역을 강조하는 것을 상상해 보십시오. 이것이 본질적으로 그들의 시스템이 깊이 데이터를 처리하는 방식입니다. 그들은 깊이 지도를 세 가지 뚜렷한 구성 요소로 나눕니다. 전체적인 레이아웃을 보여주는 정규화된 버전, 깊이가 갑자기 변하는 가장자리 맵, 그리고 작은 기하학적 차이를 강조하는 국부 대비(local contrast) 측정값입니다. 컴퓨터에게 이 세 가지 구조화된 깊이 뷰를 제시함으로써, 시스템은 원래의 깊이 데이터가 불완전하더라도 물체의 형태와 경계를 더 잘 이해할 수 있습니다.

그들의 혁신의 핵심은 시스템이 깊이 정보의 어느 부분을 신뢰할지 결정하는 방식에 있습니다. 많은 수중 장면에서 깊이 센서는 기포나 입자 등으로 인해 단순히 틀린 데이터를 생성하기도 합니다. 연구진은 프로세싱의 모든 단계에서 깊이 정보의 신뢰성을 지속적으로 평가하는 문지기 역할을 하는 메커니즘을 설계했습니다. 이 메커니즘은 컬러 이미지, 구조화된 깊이 데이터, 그리고 이들 사이의 차이를 살펴보고 깊이 단서에 얼마만큼의 가중치를 줄지 결정합니다. 만약 깊이 정보가 신뢰할 수 있다고 판단되면, 시스템은 이미지를 선명하게 만들기 위해 이를 혼합합니다. 만약 정보가 노이즈가 많거나 신뢰할 수 없다고 판단되면, 오류를 방지하기 위해 이를 무시합니다. 이러한 선택적 과정은 컴퓨터가 도움이 될 때만 깊이 데이터를 사용하도록 보장하여, 수중 시각을 흔히 괴롭히는 노이즈를 효과적으로 걸러냅니다.

이 구성 요소들을 하나로 묶기 위해, 연구진은 상태 공간 모델(state-space model), 특히 마마(Mamba)라고 불리는 변형된 현대적 유형의 인공지능 아키텍처를 채택했습니다. 기존의 시스템이 이미지를 작고 고립된 조각들로 처리하는 것과 달리, 이 아키텍처는 장면 전체의 장거리 연결을 이해하도록 설계되어 있어, 미세한 세부 사항을 포착하면서도 장면의 큰 그림을 볼 수 있게 해줍니다. 연구팀은 컬러와 깊이 데이터를 모두 처리하기 위해 하나의 공유된 뇌 유사 파라미터 세트를 사용했는데, 이는 각 유형의 정보에 대해 별도의 무거운 프로세서를 사용하는 기존 방식보다 더 효율적이고 중복이 적습니다. 이러한 공유 접근 방식은 시스템이 방대한 양의 컴퓨팅 파워를 필요로 하지 않고도 컬러와 깊이 사이의 관계를 학습할 수 있게 하여, 속도와 정확성 사이의 균균형을 맞춥니다.

대규모 수중 이미지 컬렉션에서 테스트했을 때, 새로운 시스템은 기존 방식보다 중요한 물체를 더 정확하게 찾고 윤곽을 그려내는 명확한 능력을 보여주었습니다. 만 개 이상의 수중 이미지가 포함된 표준 벤치마크에서, 이 시스템은 주요 정확도 지표 여러 항목에서 기존의 최첨단 기술들을 능가하며 두드러진 정밀도를 달 achievement 했습니다. 특히 대비가 낮고 배경이 복잡한 장면에서 매우 효과적이었는데, 다른 시스템들이 종종 불완전한 윤곽을 생성하거나 물체를 놓치는 상황에서도 그러했습니다. 연구진은 깊이 데이터의 구조를 명시적으로 모델링하고 신뢰성을 게이팅(gating)함으로써, 시스템이 가장 까다로운 조건에서도 날카로운 경계를 복구할 수 있음을 발견했습니다.

이 결과는 더 나은 수중 시각의 핵심이 단순히 더 많은 데이터를 갖는 것이 아니라, 가용 가능한 데이터를 더 똑똑하게 해석하는 방법에 있다는 것을 시사합니다. 원시 깊이 맵을 구조화된 단서로 변환하고 신뢰성 검사를 통해 신중하게 필터링함으로써, 이 시스템은 수중 센서의 내재적 한계를 극복합니다. 이 연구는 환경 모니터링부터 수중 탐사에 이르기까지 모든 것을 개선할 수 있는, 빛이 부족한 척박한 해양 환경에서 효과적으로 작동할 수 있는 더욱 견고한 로봇 시각 시스템을 개발하기 위한 실질적인 경로를 제공합니다. 연구진은 현재 시스템이 매우 효과적이지만, 향후 작업은 이를 더욱 가볍고 견고하게 만들어 실제 수중 로봇의 제한된 하드웨어에서도 실행될 수 있도록 하는 데 집중할 것이라고 언급했습니다.

기술 요약: UDR-Mamba

문제 정의
수중 돌출 객체 탐지(USOD)는 로봇 항법, 해양 인지 및 생태 모니터링에 있어 매우 중요하다. 그러나 수중 영상 특유의 퇴화 현상인 색상 변화, 조명 감쇠, 산란, 낮은 대비, 흐릿한 경계 등으로 인해 정확한 세그멘테이션이 심각하게 저해된다. 이러한 요인들은 표준 RGB 외형 특징의 변별력을 약화시킨다. 또한, 깊이 지도(depth map)는 보완적인 기하학적 단서를 제공하지만, 가공되지 않은 수중 깊이 데이터는 노이즈, 누락된 영역, 부정확한 경계를 포함하는 등 신뢰도가 낮은 경우가 많다. 기존의 RGB-D 방식들은 깊이 정보를 무분별하게 융합하거나 단순한 단일 채널 보조 입력으로 취급하여, 깊이의 구조적 단서(예: 에지 및 국부 대비)를 명시적으로 모델링하거나 교차 모달 융합 과정에서 깊이 정보의 신뢰도를 적응적으로 평가하지 못한다. 또한, 비전 트랜스포머(Vision Transformer)와 맘바(Mamba) 모델이 강력한 전역 문맥 모델링 능력을 제공함에도 불구하고, 단순히 백본을 교체하는 것만으로는 수중 장면의 불확실한 깊이 품질 문제를 해결할 수 없다.

방법론: UDR-Mamba
저자들은 공유 가중치 VMamba 백본을 기반으로 한 깊이 구조화 및 신뢰도 가이드 프레임워크인 UDR-Mamba를 제안한다. 이 아키텍처는 네 가지 주요 구성 요소로 이루어져 있다:

깊이 구조화 입력 모듈 (DSI): 가공되지 않은 깊이 지도를 직접 입력하는 대신, DSI는 단일 채널 깊이 지도를 세 개의 채널을 가진 구조적 표현으로 변환한다:
- 정규화된 깊이 ( $D_n$ ): 전반적인 공간 레이아웃을 포착한다.
- 깊이 에지 ( $E$ ): 소벨 연산자(Sobel operators)를 통해 추출되며, 구조적 불연속성과 객체의 윤곽을 강조한다.
- 국부 깊이 대비 ( $C$ ): 국부 깊이와 국부 평균(7×7 풀링 이용) 사이의 절대 차이로 계산되며, 국부적인 기하학적 변화를 강화한다.
  이 구조화된 입력은 네트워크에 경계 및 국부 기하학적 단서를 명시적으로 제공한다.
공유 가중치 VMamba 인코더: 이 프레임워크는 RGB 이미지와 구조화된 깊이 지도가 별도의 순전파 과정을 거치되 동일한 VMamba 백본 파라미터를 공유하는 이중 스트림 인코딩 전략을 채택한다. 이 설계는 파라미터 중복을 줄이면서도 듀얼 스트림 아키텍처의 표현 능력을 유지한다. 인코더는 네 단계의 멀티스케일 특징을 출력한다.
깊이 신뢰도 기반 맘바 융합 모듈 (DRMF): 노이즈가 많은 깊이 데이터를 처리하기 위해, DRMF는 레이어별 적응형 융합을 수행한다. 이 모듈은 현재의 RGB 특징, 정렬된 깊이 특징, 교차 모달 불일치, 그리고 크기가 조정된 깊이 에지 단서를 기반으로 신뢰도 게이트( $G_i$ )를 추정한다. 이 게이트는 원소별 곱셈을 통해 신뢰할 수 있는 깊이 정보를 RGB 표현에 선택적으로 주입함으로써, 신뢰할 수 없는 깊이 노이즈가 예측을 저해하는 것을 방지한다. 또한, 융합된 특징 내에서 장거리 의존성 모델링을 강화하기 위해 **컴팩트 맘바 문맥(Compact Mamba Context)**을 포함한다.
맘바 피라미드 디코더: 단일 헤드 디코더는 탑다운(top-down) 방식으로 멀티스케일 융합 특징을 집계한다. 이는 전역 문맥 강화를 위해 컴팩트 맘바 문맥을 활용하며, 세부 사항 정교화를 위해 최종 단계에서 깊이 에지 정보를 도입한다. 모델은 이진 교차 엔트로피(BCE) 및 소프트 IoU 손실만을 사용하여 최종 돌출 예측을 감독하며 학습되므로, 복잡한 보조 손실 함수를 피한다.

주요 기여

이중 스트림 VMamba 프레임워크: 저자들은 RGB-D USOD를 위해 공유 가중치 VMamba 백본을 도입하여, 시각적 상태 공간 모델링을 활용함으로써 복잡한 수중 환경에서의 장거리 문맥 추론 능력을 향와시킨다.
깊이 구조화: DSI 모듈은 가공되지 않은 깊이를 정규화된 깊이, 에지, 국부 대비로 명시적으로 변환하여, 깊이를 단순한 보조 채널로 취급하는 대신 기하학적 및 경계 단서를 완전히 활용한다.
신뢰도 게이트 기반 융합: DRMF 모듈은 교차 모달 불일치와 에지 정보를 통해 깊이 신뢰도를 적응적으로 추정하여, 신뢰할 수 있는 깊이 데이터는 선택적으로 주입하고 노이즈는 억제한다.
효율성 및 단순성: 인코더 가중치를 공유하고 단순한 손실 목적 함수를 가진 단일 헤드 디코더를 사용함으로써, 프레임워크는 정확도와 계산 효율성 사이의 유리한 절충점을 달한다.

실험 결과
이 방법은 USOD10K 및 USOD 데이터셋에서 최신 기술(예: HDANet, Dual-SAM, SPDE)들과 비교 평가되었다.

USOD10K: UDR-Mamba는 $S_m$ (0.9332), $E_{max}$ (0.9713), $F_{max}$ (0.9365)에서 최고 점수를 기록했으며, MAE는 0.0192를 달성했다. 이는 가장 근접한 경쟁 모델인 HDANet의 $S_m$ 및 $F_{max}$ 성능을 상회하는 수치이다.
USOD: 이 방법은 최고 $E_{max}$ (0.9573)와 최저 MAE (0.0359)를 기록했으며, 두 번째로 높은 $F_{max}$ (0.9314)를 달성했다.
절제 연구(Ablation Studies):
- DSI: 구조화된 입력을 가공되지 않은 깊이로 대체했을 때 모든 지표에서 성능이 하락하였다 (예: $S_m$ 이 0.9332에서 0.9236으로 감소). 이는 명시적인 에지 및 대비 모델링의 가치를 확인시켜 준다.
- DRMF: 신뢰도 게이트를 제거하면 성능이 낮아졌으며, 이는 무분별한 융합이 정확도를 저하시킨다는 것을 보여준다.
- 가중치 공유: 공유 가중치 설정은 독립적인 듀얼 백본을 사용할 때보다 파라미터를 약 49.91M 절감하면서도 거의 동일한 정확도를 유지하여, 설계의 효율성을 입증하였다.

의의 및 주장
본 논문은 명시적인 깊이 구조 모델링과 신뢰도 가이드 융합이 수중 장면에서 경계 인지 능력이 뛰어난 멀티모달 표현을 크게 향상시킨다는 점을 입증한다고 주장한다. 저자들은 자신들의 접근 방식이 복잡한 보조 손실이나 과도한 계산 비용 없이도, 저하된 RGB 외형과 신뢰할 수 없는 깊이 측정이라는 이중 과제를 효과적으로 해결한다고 단언한다. 실험 결과는 제안된 프레임워크가 기존 방법들과 비교하여 우수한 구조적 일관성과 경계 국지화 능력을 제공하며, RGB-D 수중 돌출 객체 탐지를 위한 견고하고 효율적인 솔루션을 제공함을 시사한다. 향arian 향후 연구 과제로는 실시간 배포를 위한 경량화된 맘바 아키텍처와 개선된 깊이 품질 평가 메커니즘이 언급되었다.

유사한 논문