기술 요약: 수중 주요 객체 감지를 위한 동적 구조 전문화 학습

1. 문제 정의

수중 주요 객체 감지 (USOD) 는 수중 비전 장면 이해 및 비전 기반 로봇 공학을 위한 근본적인 작업입니다. 그러나 기존 방법들은 수중 환경 고유의 심각한 이미지 열화 (광 흡수, 산란, 색상 왜곡, 낮은 대비, 노이즈 등) 로 인해 상당한 도전에 직면해 있습니다. 이러한 열화는 시각적 단서를 약화시켜 부정확한 객체 위치 추정, 단편화된 주요 영역, 그리고 거친 경계 예측을 초래합니다.

본 논문은 기존 RGB 기반 USOD 방법들의 특정 한계를 지적합니다: 경계 - 영역 얽힘 (boundary–region entanglement). 대부분의 기존 접근법은 경계 민감성 (고주파) 과 영역 일관성 (저주파/맥락) 구조적 단서를 통합된 동질적 표현 내에서 처리합니다. 이러한 공유 처리는 상호 보완적이지만 구별되는 표현 요구 사항들이 서로 간섭하게 만듭니다. 경계 단서가 약하고 영역 일관성이 붕괴된 열화된 수중 장면에서, 이러한 얽힘은 단편화된 주요 영역과 흐릿한 경계로 이어집니다. 일부 방법들은 이를 보상하기 위해 깊이 정보 (RGB-D) 를 도입하지만, 이는 시스템 복잡성을 증가시키고 신뢰할 수 없는 깊이 추정 또는 가짜 깊이 생성에 의존합니다.

2. 방법론: DSS-USOD

저자들은 동적 구조 전문화 (dynamic structural specialization) 를 기반으로 한 새로운 RGB 기반 USOD 프레임워크인 DSS-USOD를 제안합니다. 핵심 철학은 보조 모달리티 (예: 깊이) 에 의존하는 대신, 경계 민감 및 영역 일관 표현을 명시적으로 분리하고 국소 구조적 맥락에 따라 그 기여도를 동적으로 조정하는 것입니다.

아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

A. 다중 스케일 표현 학습

모델은 입력 수중 이미지에서 다중 스케일 특징 맵을 추출하기 위해 계층적 인코더 (PVTv2 기반) 를 사용합니다. 이러한 특징들은 통합된 채널 차원으로 투영되고 상향식 특징 피라미드를 통해 집계되어 공유 기본 표현 ($F_b$) 을 형성합니다.

B. 동적 구조 전문화

$F_b$를 직접 디코딩하는 대신, 프레임워크는 이를 두 개의 상호 보완적인 분기로 분해합니다:

1. 경계 민감 (BS) 분기: 고주파 경계 세부 사항을 포착하도록 설계되었습니다. 고정된 라플라시안 연산자 (경계에 대한 명시적 귀납적 편향 제공) 와 학습 가능한 고역 통과 변환 (작업별 패턴에 적응) 을 통해 $F_b$를 병렬 경로로 처리합니다. 이는 객체 경계 주변의 구조적 반응을 강화합니다.
2. 영역 일관 (RC) 분기: 저주파 구조적 일관성과 영역 수준의 일관성을 포착하도록 설계되었습니다. 확장된 공간 범위에 걸쳐 맥락 정보를 집계하기 위해 잔차 이중 스케일 이방성 대형 커널 모델링 전략 (커널 크기 7 및 15 를 가진 인수화된 이방성 깊이별 연산자 사용) 을 활용합니다. 이는 고립된 노이즈를 억제하고 완전한 주요 영역을 보장합니다.

공간 조정 모듈 (SCM):
서로 다른 공간 위치가 서로 다른 구조적 선호도 (예: 경계는 고주파 단서가 필요하고, 내부는 영역 일관성이 필요함) 를 필요로 한다는 점을 인식하여, SCM 은 BS 및 RC 분기의 기여도를 적응적으로 조절합니다.

• BS 및 RC 특징 간의 요소별 차이를 측정하여 분기 불일치 맵 ($D$) 을 계산합니다.
• $F_b$, 예측된 경계 응답, 그리고 $D$를 통합하여 공간 가중 맵 ($w$) 을 생성합니다.
• 최종 조정된 표현 ($F_d$) 은 가중 합으로 계산됩니다: $F_d = w \otimes F_{bs} + (1-w) \otimes F_{rc}$.

C. 점진적 예측 정제 (PPR)

모델은 거칠게부터 정교하게(coarse-to-fine) 방식으로 전체 해상도 주요성 맵을 복원합니다:

1. $F_d$에서 저해상도 로짓을 예측합니다.
2. $F_d$와 저해상도 로짓을 결합하여 거친 전체 해상도 예측을 생성합니다.
3. 경계 근처 및 모호한 전이 영역의 국소 부정확성을 수정하기 위해 RGB 외관 및 얕은 공간 특징을 활용하여 잔차 정제를 수행합니다.

D. 협력적 구조 감독

전문 분기의 학습과 공간 조정을 안정화하기 위해 훈련 중 협력적 감독 전략이 사용됩니다:

• 다중 레벨 주요성 손실: 최종, 거친, 그리고 저해상도 예측에 적용됩니다.
• 경계 손실: 정답 경계 맵을 사용하여 BS 분기를 감독합니다.
• 조정 손실: 경계/전이 영역 (BS 가 우세해야 함) 과 균질한 내부 (RC 가 우세해야 함) 를 강조하는 목표 맵을 생성하여 SCM 을 감독합니다.

3. 주요 기여

1. 경계 - 영역 얽힘의 식별: 본 논문은 RGB 기반 USOD 에서 경계 민감 및 영역 일관 요구 사항 간의 불충분한 차별화를 주요 과제로 규명하고, 견고한 성능을 위해서는 명시적 분리가 필요함을 제안합니다.
2. 동적 구조 전문화 프레임워크: 저자들은 공유 특징을 전문화된 BS 및 RC 분기로 분해하고, 국소 맥락에 따라 적응적으로 균형을 맞추기 위해 공간 조정 모듈을 사용하는 DSS-USOD 를 제안합니다.
3. 협력적 구조 감독: 효과적인 분기 전문화를 촉진하고 공간 조정 메커니즘을 안정화하기 위한 훈련 전략을 도입했습니다.
4. 성능과 실용성: 이 방법은 깊이 센서의 계산 오버헤드와 불확실성을 피하면서 RGB 입력만 사용하여 벤치마크 데이터셋에서 최첨단 결과를 달성했습니다. 또한 실제 수중 로봇에서 검증되었습니다.

4. 실험 결과

저자들은 DSS-USOD 를 두 개의 벤치마크 데이터셋인 USOD10K와 USOD에서 평가했습니다.

• 정량적 성능: DSS-USOD(특히 DSS-USOD-S 변형) 는 RGB 기반, RGB-D 기반, 그리고 확산 기반 접근법을 포함한 40 개의 최첨단 방법보다 네 가지 지표 (S-measure, E-measure, maxF, MAE) 에서 우수한 성능을 달성했습니다.
  • USOD10K 에서 S-measure 는 0.9338, MAE 는 0.0165를 기록했습니다.
  • 주목할 점은 오직 RGB 입력에만 의존하면서도 강력한 RGB-D 방법들 (예: FSCDiff, SearchNet) 보다 우수한 성능을 보였습니다.
• 일반화: 미세 조정 없이 여섯 개의 지상 SOD 벤치마크 (예: DUTS-TE, ECSSD) 에서 테스트했을 때, DSS-USOD 는 경쟁력 있는 교차 영역 성능을 보여주었으며, 특히 픽셀 수준 오류 (MAE) 를 최소화하는 경향을 보였습니다. 이는 학습된 구조적 단서가 이전 가능함을 시사합니다.
• 절대 실험 (Ablation Studies):
  • BS 또는 RC 분기 중 하나를 제거하면 성능이 저하되어 두 분기의 상호 보완성을 확인했습니다.
  • SCM 을 고정된 평균화 또는 전역 가중치로 대체하면 성능이 낮아져 공간 적응형 조정의 필요성을 입증했습니다.
  • 협력적 감독을 제거하면 경계 및 영역 예측의 정확도가 떨어졌습니다.
  • 점진적 예측 정제 (PPR) 전략이 고해상도 정확도 달성에 결정적임이 입증되었습니다.
• 실제 배포: 모델 (DSS-USOD-T) 은 NVIDIA Jetson TX2 NX 가 장착된 수중 로봇에 배포되었습니다. 21 FPS의 추론 속도를 달성하여 실시간 비전 목표 검사를 성공적으로 수행하고 수중 노이즈를 억제하면서 전경 객체를 강조했습니다.

5. 중요성 및 주장

본 논문은 상호 보완적 구조적 표현을 명시적으로 분리하고 동적으로 조정하는 것이 통합 모델링이나 보조 깊이 모달리티에 의존하는 것보다 더 효과적임을 보여줌으로써 RGB 기반 USOD 에 대한 새로운 관점을 제시한다고 주장합니다.

저자들은 그들의 접근 방식이 경계 - 영역 얽힘이라는 근본적인 문제를 해결하여, 모델이 심각한 수중 열화 하에서도 경계 정밀도와 영역 일관성 사이의 균형을 잡을 수 있게 한다고 주장합니다. 자원 제약이 있는 로봇에서의 성공적인 실제 배포는 복잡한 깊이 감지 하드웨어 없이 환경 모니터링 및 인프라 검사 같은 비전 기반 수중 작업에 대한 방법의 실용적 유효성을 입증합니다.