StereoAdapter-2: Globally Structure-Consistent Underwater Stereo Depth Estimation

본 논문은 선택적 상태 공간 모델 기반의 ConvSS2D 연산자를 도입하여 수중 영역에서의 장거리 시차 전파 및 구조적 일관성을 획기적으로 개선하고, 대규모 합성 데이터셋 UW-StereoDepth-80K 를 구축함으로써 수중 스테레오 깊이 추정 성능을 혁신한 StereoAdapter-2 를 제안합니다.

핵심

이 논문은 **물속에서 로봇이 주변 환경을 얼마나 잘 '보는'지 (깊이 감지)**를 획기적으로 개선한 기술에 대한 이야기입니다.

기존의 기술들이 물속에서 시야가 흐리거나, 물의 색이 변하거나, 빛이 산란되는 문제로 인해 깊이 재정에 실패하는 경우가 많았는데요. 이 논문은 **"StereoAdapter-2"**라는 새로운 시스템을 통해 이 문제를 해결했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "안개 낀 바다에서 눈가리개 하고 걷기"

물속 로봇 (ROV) 이 물속을 돌아다닐 때, 카메라로 사물의 거리를 재는 것은 매우 어렵습니다.

• 빛의 문제: 물속에서는 빛이 빨간색부터 사라지고, 물이 흐려서 (탁도) 사물이 뿌옇게 보입니다.
• 기존 기술의 한계: 기존 인공지능은 "한 번에 멀리 있는 사물을 보려면 여러 번 반복해서 생각해야 한다"는 방식 (GRU 라는 기술) 을 썼습니다. 마치 안개 낀 바다에서 한 걸음씩 천천히 나아가며 "저기 뭐지? 저기 뭐지?"라고 10 번이나 반복해서 확인하는 것과 같습니다. 멀리 있는 물체나 무늬가 없는 벽 앞에서는 이 방식이 느리고 정확하지 않았습니다.

2. 해결책 1: "마법 같은 눈 (ConvSS2D)"을 장착하다

연구진은 기존 방식 대신 **SSM(State Space Model)**이라는 새로운 기술을 도입했습니다. 이를 ConvSS2D라고 부릅니다.

• 비유: 기존 방식이 "한 걸음씩 천천히 확인"하는 방식이라면, 새로운 방식은 **"4 방향에서 동시에 스캔하는 레이저"**를 쏘는 것과 같습니다.
• 어떻게 작동하나요?
  • 물속에서 사물의 거리를 재려면 왼쪽에서 오른쪽으로 (수평) 보는 것도 중요하지만, 위아래 (수직) 구조도 중요합니다.
  • 이 기술은 왼→오, 오→왼, 위→아래, 아래→위 이렇게 네 방향으로 동시에 정보를 훑어봅니다.
  • 덕분에 한 번의 동작으로 멀리 있는 사물까지 정확한 거리를 파악할 수 있게 되었습니다. 마치 안개 낀 바다에서 갑자기 안개가 걷히고, 사방이 훤히 보이는 것과 같습니다.

3. 해결책 2: "가상 현실 (VR) 로 만든 8 만 장의 훈련 데이터"

인공지능을 가르치려면 수많은 '정답이 있는' 물속 사진이 필요합니다. 하지만 실제 물속에서 정확한 거리를 재서 데이터를 모으는 것은 너무 비싸고 어렵습니다.

• 비유: 마치 비행기 조종사를 훈련시킬 때, 실제 하늘을 날게 하지 않고 시뮬레이터 (VR) 로 훈련시키는 것과 같습니다.
• 어떻게 만들었나요?
  1. 스타일 변환: 먼저 땅 위의 아름다운 풍경을 찍은 사진을 AI 가 "물속처럼" 변형시켰습니다. (빛이 흐려지고, 색이 푸르게 변하는 등).
  2. 새로운 각도 생성: 변형된 사진으로 AI 가 "왼쪽 눈"과 "오른쪽 눈"이 본 것처럼 서로 다른 각도의 사진을 만들어냈습니다.
  3. 결과: 이렇게 해서 **8 만 장 (UW-StereoDepth-80K)**이나 되는 다양한 물속 환경 (맑은 물, 탁한 물, 다양한 거리) 을 가진 훈련 데이터를 만들었습니다. 로봇은 이 가상 데이터를 통해 실제 바다에 나가기 전까지 충분히 훈련을 받은 셈입니다.

4. 실제 성과: "BlueROV2" 로봇의 성공

이 기술을 실제 로봇 (BlueROV2) 에 적용해 보았습니다.

• 결과: 실제 물속 실험에서 기존 기술들보다 정확도가 17%~7% 이상 향상되었습니다.
• 의미: 로봇이 물속에서 장애물을 피하거나, 구조물을 검사할 때 훨씬 더 안전하고 정확하게 움직일 수 있게 되었습니다. 마치 안개 낀 바다에서 선글라스를 끼고 선명하게 앞을 보며 항해하는 것과 같습니다.

5. 요약: 왜 이 기술이 특별한가요?

1. 빠르고 정확한 '눈': 멀리 있는 것도 한 번에 파악하는 새로운 알고리즘을 썼습니다.
2. 가상 훈련장: 실제 데이터가 부족하다는 문제를 AI 가 만든 가상의 데이터로 해결했습니다.
3. 실전 적용: 이론뿐만 아니라 실제 로봇에 탑재되어 잘 작동함을 증명했습니다.

한 줄 요약:

"이 연구는 AI 에게 물속의 흐릿한 안개를 뚫고 멀리 있는 사물까지 한눈에 파악하는 능력을 심어주었고, 가상 현실로 수많은 훈련을 시켜 실제 바다에서도 완벽하게 작동하게 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

수중 환경에서의 스테레오 깊이 추정 (Stereo Depth Estimation) 은 로봇의 자율 항해 및 조작에 필수적이지만, 다음과 같은 심각한 도전 과제에 직면해 있습니다.

• 도메인 시프트 (Domain Shift): 파장에 따른 빛의 감쇠, 산란, 굴절로 인해 수중 이미지는 지상 (Terrestrial) 이미지와 근본적으로 다른 특성을 가집니다. 이는 기존 지상용 스테레오 파이프라인의 광학적 일관성 가정을 무효화합니다.
• 기존 방법의 한계: 최근 연구들은 단안 (Monocular) 기초 모델 (Foundation Models) 과 GRU 기반의 반복적 정제 (Iterative Refinement) 를 결합하여 수중 적응을 시도했습니다. 그러나 GRU 의 순차적 게이트 메커니즘과 국소적인 합성곱 커널은 장거리 (Long-range) 시차 (Disparity) 전파에 비효율적입니다. 이로 인해 수중에서 흔히 발생하는 대시차 영역이나 **텍스트가 없는 영역 (Textureless regions)**에서 성능이 저하됩니다.
• 데이터 부족: 정확한 정답 (Ground Truth) 이 포함된 다양한 실제 수중 스테레오 데이터셋이 극히 부족하여, 합성 데이터와 실제 데이터 간의 간극 (Sim-to-Real Gap) 을 해소하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 StereoAdapter-2라는 새로운 프레임워크를 제안하며, 아키텍처 혁신과 데이터 확장 두 가지 축을 통해 문제를 해결합니다.

A. 아키텍처 혁신: ConvSS2D 연산자 도입

기존의 ConvGRU 업데이트 모듈을 선택적 상태 공간 모델 (Selective State Space Models, SSM) 기반의 ConvSS2D 연산자로 대체했습니다.

• 4 방향 스캐닝 전략: SSM 의 특성을 활용하여 수평 (Epipolar line) 및 수직 방향을 모두 포함하는 4 방향 스캐닝을 수행합니다.
  • 수평 스캔: 스테레오 기하학의 시차 제약 (Epipolar constraint) 에 부합하여 장거리 시차 정보를 효율적으로 전파합니다.
  • 수직 스캔: 수직 구조적 일관성을 포착하여 텍스처가 없는 영역에서의 깊이 추정을 정규화합니다.
• 효율성: 단일 업데이트 단계에서 선형 계산 복잡도 (Linear computational complexity) 를 유지하면서 장거리 공간 의존성을 모델링할 수 있어, GRU 의 반복적 게이트 메커니즘보다 효율적입니다.
• 입력 의존적 선택성 (Input-dependent Selectivity): 입력 특징에 따라 동적으로 파라미터를 생성하여 상태 업데이트 역학, 입력 게이트, 출력 프로젝션을 적응적으로 조절합니다.

B. 데이터 확장: UW-StereoDepth-80K 구축

다양한 실제 수중 조건을 시뮬레이션하기 위해 대규모 합성 데이터셋 UW-StereoDepth-80K를 구축했습니다.

• 2 단계 생성 파이프라인:
  1. 의미 인식 스타일 전이 (Semantic-aware Style Transfer): Atlantis 모델을 사용하여 지상 RGB-D 데이터를 수중 광학 효과 (감쇠, 산란, 탁도 등) 가 반영된 수중 이미지로 변환하되, 기하학적 구조는 유지합니다.
  2. 기하학적 일관성 있는 새로운 뷰 합성 (Geometry-consistent Novel View Synthesis): NVS-Solver 를 활용하여 변환된 단안 이미지에서 다양한 베이스라인 (20cm~50cm) 을 가진 스테레오 쌍을 생성합니다.
• 데이터 규모: 기존 UW-StereoDepth-40K 와 새로운 생성 데이터를 결합하여 총 80,000 개의 고품질 스테레오 이미지 쌍을 구성했습니다.

C. 적응 전략

• LoRA (Low-Rank Adaptation): 사전 학습된 Depth Anything 3 모델을 기반으로 파라미터 효율적인 미세 조정 (Fine-tuning) 을 수행하여 지상에서 수중으로의 도메인 적응을 가능하게 합니다.
• 단안 깊이 초기화: 단안 기초 모델을 활용하여 시차 추정의 초기값을 제공하여 수렴 속도를 가속화합니다.

3. 주요 기여 (Key Contributions)

1. ConvSS2D 연산자 제안: 선택적 상태 공간 모델을 기반으로 한 4 방향 스캐닝 전략을 도입하여, GRU 를 대체하고 단일 정제 단계에서 장거리 공간 전파를 가능하게 함.
2. UW-StereoDepth-80K 데이터셋 구축: 의미 인식 스타일 전이와 기하학적 일관성 합성을 결합한 2 단계 파이프라인을 통해 다양한 수중 조건을 포괄하는 대규모 합성 데이터셋을 공개함.
3. State-of-the-Art 성능 달성: 지상 데이터로만 학습된 모델이 수중 벤치마크에서 제로샷 (Zero-shot) 성능을 발휘하며, 실제 수중 로봇 (BlueROV2) 에서도 강력한 일반화 능력을 입증함.

4. 실험 결과 (Results)

• 벤치마크 성능 (Zero-shot):
  • TartanAir-UW: 기존 방법 대비 17% 개선 (REL 0.0440, RMSE 2.4038).
  • SQUID (실제 수중 데이터): 기존 방법 대비 7.2% 개선 (RMSE 1.7481).
  • 모든 기준 (AbsRel, SqRel, Log RMSE, Accuracy thresholds) 에서 기존 SOTA 모델 (FoundationStereo, Stereo Anywhere 등) 을 압도적으로 상회했습니다.
• 실제 환경 평가 (BlueROV2):
  • NVIDIA Jetson Orin NX 에 탑재되어 실시간으로 테스트되었으며, REL 0.1023, RMSE 1.7164의 성능을 기록하여 기존 방법들보다 높은 정밀도와 안정성을 보였습니다.
• 효율성:
  • ConvSS2D 를 도입함으로써 반복 정제 과정을 가속화하여, Jetson Orin NX 에서 초당 1102ms의 낮은 지연 시간 (Latency) 을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 수중 로봇 비전 분야에서 다음과 같은 중요한 의의를 가집니다:

• 아키텍처적 전환: 순환 신경망 (RNN/GRU) 기반의 반복적 정제 방식을 상태 공간 모델 (SSM) 기반으로 전환함으로써, 수중 환경의 복잡한 기하학적 제약 (장거리 시차, 텍스처 부재) 을 효율적으로 해결하는 새로운 패러다임을 제시했습니다.
• 데이터 중심 접근: 실제 데이터의 부족 문제를 해결하기 위해 물리적으로 타당한 광학 특성을 반영한 대규모 합성 데이터셋 구축 방법을 제시하여, 데이터 중심의 수중 로봇 학습 생태계를 확장했습니다.
• 실용성 검증: 이론적 성능 향상을 넘어, 실제 수중 로봇 플랫폼 (BlueROV2) 에서의 성공적인 배포를 통해 이 기술이 실제 임무 (인프라 점검, 생태 모니터링 등) 에 적용 가능한 robust 한 솔루션임을 입증했습니다.

요약하자면, StereoAdapter-2는 SSM 기반의 효율적인 업데이트 메커니즘과 대규모 고품질 합성 데이터셋을 결합하여, 수중 스테레오 깊이 추정 분야에서 새로운 성능 기준 (SOTA) 을 설정하고 실제 적용 가능성을 높인 획기적인 연구입니다.