VISO: Robust Underwater Visual-Inertial-Sonar SLAM with Photometric Rendering for Dense 3D Reconstruction

이 논문은 스테레오 카메라, IMU, 3D 소나를 융합하고 외부 파라미터 보정 및 광도 렌더링 기법을 도입하여 수중 환경에서 강인한 6 자유도 국소화와 고품질 밀도 3D 재구성을 실현하는 'VISO'라는 SLAM 시스템을 제안합니다.

핵심

🌊 물속의 '눈'과 '귀'를 합친 로봇: VISO 의 이야기

이 논문은 물속에서 로봇이 길을 찾고, 주변을 선명하게 그려내는 기술에 대한 것입니다. 물속은 우리가 상상하는 것보다 훨씬 더 어둡고 흐릿하며, GPS 도 들지 않는 '블라인드' 상태와 비슷합니다. 이 논문은 그 문제를 해결하기 위해 **카메라 (눈), 관성센서 (내몸의 균형감각), 그리고 3D 소나 (초음파 귀)**를 하나로 묶은 'VISO'라는 시스템을 소개합니다.

이 시스템을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드릴게요.

---

1. 물속의 문제: "안개 낀 밤에 눈가리개를 하고 걷기"

일반적으로 우리는 길을 찾을 때 **눈 (카메라)**을 가장 많이 씁니다. 하지만 물속은 다릅니다.

• 빛이 약해지고 색이 변합니다: 마치 안개가 끼거나 물이 탁해져서 눈으로 보는 게 거의 불가능한 상황입니다.
• GPS 가 안 됩니다: 물속에서는 위성 신호가 들리지 않아 어디에 있는지 알 수 없습니다.
• 기존 소나의 한계: 물속에서 쓰는 초음파 (소나) 는 탁한 물에서도 잘 들리지만, 마치 손전등 불빛으로 벽을 비추는 것처럼 2 차원 평면만 보여줍니다. 3 차원 입체감을 느끼기엔 부족하고, 소리가 퍼지면서 위치를 정확히 파악하기 어렵습니다.

2. VISO 의 해결책: "세 가지 감각을 합친 슈퍼 로봇"

VISO 는 로봇에게 세 가지 감각을 동시에 주어 이 문제를 해결합니다.

• 👀 스테레오 카메라 (눈): 맑은 물에서는 선명한 사진과 색감을 잡아냅니다.
• ⚖️ IMU (내몸의 균형감각): 로봇이 얼마나 움직였는지, 기울어졌는지를 빠르게 감지합니다.
• 🦻 3D 소나 (초음파 귀): 물이 탁하거나 어둡더라도 소리를 쏘아 주변 물체의 **입체적인 모양 (3D)**을 파악합니다.

핵심 아이디어:
이 세 가지를 따로 쓰는 게 아니라, 서로 부족한 부분을 채워주며 함께 작동시킵니다. 눈이 안 보일 때는 귀 (소나) 가 앞을 보고, 귀가 흐릿할 때는 눈 (카메라) 이 색감을 보충해 주는 식입니다.

---

3. VISO 가 어떻게 작동할까? (세 가지 마법)

🧩 마법 1: "눈과 귀의 위치를 자동으로 맞추기" (온라인 캘리브레이션)

로봇에 카메라와 소나를 붙일 때, 두 기기의 위치가 정확히 일치하지 않으면 지도가 엉망이 됩니다. 보통은 실험실에서 정교하게 맞추는데, VISO 는 움직이면서 자동으로 두 기기의 위치를 맞춰줍니다.

• 비유: 안경을 쓰고 귀마개를 한 채 길을 가다가, "아, 내 눈이 귀보다 조금 왼쪽에 있구나"라고 스스로 깨닫고 고쳐주는 것과 같습니다.

🗺️ 마법 2: "흐릿한 초음파 그림에 색칠하기" (광학적 렌더링)

3D 소나로 만든 지도는 점으로만 되어 있어 회색빛이고 투박합니다. VISO 는 이 점들 위에 카메라가 찍은 실제 색깔을 입혀줍니다.

• 비유: 소나로 그린 흑백 스케치 위에, 카메라가 찍은 선명한 컬러 사진을 얹어서 마치 실제 사진을 본 것처럼 생생한 3D 지도를 만듭니다. 덕분에 로봇은 "저기 빨간 기둥이 있구나"라고 정확히 알 수 있습니다.

🛡️ 마법 3: "잘못된 정보를 걸러내기" (오류 제거)

물속에서는 소나 신호가 반사되어 엉뚱한 곳에 점 (오류) 이 찍히기도 합니다. VISO 는 카메라의 정보와 비교해서 **"이건 진짜 물체야, 저건 소나 착각이야"**를 구분해냅니다.

• 비유: 어두운 방에서 그림자를 보고 "저게 괴물인가?"라고 놀라다가, 손전등 (카메라) 을 비춰보며 "아, 그냥 의자구나"라고 깨닫는 과정입니다.

---

4. 실험 결과: "실제 물속에서 증명된 능력"

연구팀은 실험실 수조와 실제 호수에서 이 시스템을 테스트했습니다.

• 탁한 물에서도 승리: 물이 탁해서 카메라가 거의 안 보이는 상황에서도, VISO 는 소나 덕분에 길을 잃지 않고 정확한 위치를 파악했습니다.
• 실시간 3D 지도: 기존 기술들은 지도를 만들려면 컴퓨터로 몇 시간씩 계산해야 했지만, VISO 는 로봇이 움직이는 동안 실시간으로 생생한 3D 지도를 그려냅니다.
• 정확도: 다른 최신 기술들보다 위치 파악 오차가 훨씬 적었고, 특히 물이 탁할 때 그 차이가 극명했습니다.

5. 결론: 왜 이 기술이 중요한가요?

이 기술은 수중 로봇이 인간의 개입 없이도 복잡한 물속 작업을 할 수 있게 해줍니다.

• 해저 케이블 점검: 탁한 물속에서도 케이블의 손상 부위를 정확히 찾아냅니다.
• 난파선 탐사: 어둡고 탁한 바다에서도 선체의 3D 모습을 생생하게 재현합니다.
• 자율 항법: 물속에서 길을 잃지 않고 안전하게 이동합니다.

한 줄 요약:

VISO 는 물속의 '어둠'과 '탁함'을 이겨내기 위해, 로봇에게 '눈 (카메라)'과 '귀 (소나)'를 동시에 달아주고, 서로의 정보를 합쳐 생생한 3D 지도를 실시간으로 그려내는 똑똑한 시스템입니다.

기술 요약

1. 문제 정의 (Problem)

수중 환경은 GPS 나 LiDAR 와 같은 지상용 센서의 사용이 불가능하며, 수중 광학 센서 (카메라) 는 빛의 감쇠, 산란, 색상 왜곡으로 인해 시야가 제한되거나 심한 경우 사용이 불가능합니다. 기존 수중 SLAM(Simultaneous Localization and Mapping) 방법들은 다음과 같은 한계를 가집니다:

• 비디오 기반 SLAM: 탁한 물 (turbid water) 환경에서 성능이 급격히 저하되어 정확한 위치 추정과 고충실도 밀집 3D 재구성이 어렵습니다.
• 소나 (Sonar) 기반 SLAM: Forward-Looking Sonar(FLS) 는 탁한 물에서도 작동하지만 2D 이미지만 제공하여 3D 위치 모호성이 존재하고, 고도 (elevation) 각도 정보가 부족하여 6 자유도 (6-DoF) 자세 추정과 3D 매핑에 어려움을 겪습니다.
• 기존 센서 융합: 카메라, IMU, DVL 등을 융합한 방법들은 존재하지만, 여전히 시각적 조건에 의존하거나 3D 재구성의 질이 낮습니다.

따라서, 시각적 열악한 조건에서도 견고한 6-DoF 위치 추정과 고해상도 밀집 3D 재구성이 가능한 새로운 SLAM 시스템이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 VISO라는 이름의 새로운 수중 SLAM 시스템을 제안했습니다. 이는 스테레오 카메라, IMU(관성측정장치), 3D 소나를 강하게 결합 (Tightly-coupled) 한 프레임워크입니다.

핵심 알고리즘 및 구성 요소:

1. 온라인 외부 파라미터 보정 (Online Extrinsic Calibration):

   • 3D 소나와 카메라 간의 외부 파라미터를 사전 가정 없이 ** coarse-to-fine(거칠게 -> 정밀하게)** 방식으로 온라인으로 추정합니다.
   • Coarse 단계: 초기 소나 오도메트리와 시각 - 관성 오도메트리를 기반으로 대략적인 변환 행렬을 추정합니다.
   • Refined 단계: 카메라 랜드마크와 소나 점군을 정합하여 정밀한 변환 행렬을 최적화합니다.

2. 3D 소나 데이터 연관 및 잔차 최소화 (Data Association & Residuals):

   • 표면 특징 및 법선 벡터 계산: 3D 소나 점군을 보크셀 (voxel) 로 분할하고 PCA 를 이용해 표면 특징과 법선 벡터를 추출합니다.
   • Scan-to-Map Tracking: IMU 전적분 (pre-integration) 정보를 기반으로 현재 프레임의 소나 데이터를 키프레임과 정합합니다.
   • 이상치 제거 (Outlier Rejection): 정합된 특징점 중 2D-2D RANSAC 을 적용하여 잘못된 매칭을 제거하고 신뢰도를 높입니다.
   • 거리 최소화 잔차: 정합된 특징점 간의 거리 오차를 최소화하여 로봇의 자세를 최적화합니다.

3. 다중 센서 결합 최적화 (Joint Optimization):

   • 카메라 (재투영 오차), IMU (관성 측정 오차), 소나 (점군 거리 오차) 의 잔차들을 로컬 번들 어저스트먼트 (Local Bundle Adjustment) 모듈에서 동시에 최적화합니다.

4. 광학적 렌더링을 통한 밀집 3D 매핑 (Photometric Rendering & Dense Mapping):

   • 최적화된 자세를 이용해 3D 소나 점군을 카메라 이미지 위에 투영 (Back-projection) 합니다.
   • 소나 점군에 카메라의 색상 정보를 부여하여 광학적 렌더링 (Photometric Rendering) 을 수행합니다.
   • 이를 통해 TSDF(Truncated Signed Distance Function) 기반의 실시간 밀집 3D 메쉬 맵을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 사전 가정 없는 온라인 보정: 3D 소나와 카메라 간의 외부 파라미터를 실시간으로 추정하는 coarse-to-fine 보정 기법을 제안했습니다.
2. 강건한 소나 데이터 연관: 희소성과 노이즈가 큰 3D 소나 데이터에 대해 이상치를 효과적으로 제거하는 정밀한 연관 방법을 개발했습니다.
3. 실시간 밀집 3D 재구성: 3D 소나 점군에 시각 정보를 렌더링하여, 탁한 수중 환경에서도 고충실도 (High Photometric Fidelity) 를 가진 실시간 밀집 3D 맵을 생성하는 솔루션을 제시했습니다.
4. 광범위한 실험 검증: 실험실 수조와 실제 오픈 레이크 환경에서 수행된 실험을 통해 기존 SOTA(SOTA) 알고리즘 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 실험실 수조 (12x12m) 와 오픈 레이크 환경에서 VISO 를 평가했습니다. 비교 대상으로는 SVIn2(수중 SLAM SOTA), VINS-Fusion(시각 - 관성 오도메트리), Dead Reckoning 등이 포함되었습니다.

• 위치 추정 정확도:
  • 수조 실험: VISO 는 모든 시퀀스 (정상 조명, 어두운 환경) 에서 SVIn2 와 VINS-Fusion 보다 낮은 이동 (Translation) 및 회전 (Rotation) RMSE 를 기록했습니다. 특히 어두운 환경 (시각 정보 저하) 에서도 카메라가 꺼진 상태 (VISO w/o V) 에서도 다른 알고리즘보다 우수한 견고함을 보였습니다.
  • 오픈 레이크 실험: VINS-Fusion 은 조명 변화로 인해 전체 시퀀스에서 실패했으나, VISO 는 3D 소나를 통해 정확한 궤적을 추적했습니다.
• 밀집 3D 매핑:
  • VISO 는 실시간으로 밀집 3D 맵을 생성하는 반면, 기존 오프라인 SFM(COLMAP) 은 고사양 서버에서 약 20 분이 소요되었습니다.
  • VISO 는 소나의 음향 신호가 구조물을 투과할 수 있는 특성을 활용하여, 카메라만으로는 볼 수 없는 환경 디테일까지 매핑에 포함시켰습니다.
  • 렌더링된 맵은 실제 수중 장면과 매우 유사한 고충실도를 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 VISO를 통해 수중 로봇의 자율 항법과 환경 인식에 있어 중요한 도약이 있음을 보여주었습니다.

• 환경 적응성: 시각 정보가 극도로 열악한 탁한 물이나 어두운 환경에서도 3D 소나와 IMU 를 활용하여 안정적인 위치 추정이 가능합니다.
• 실용성: 실시간 밀집 3D 재구성은 수중 구조물 점검, 해양 고고학, 자율 조작 등 실제 임무 수행에 필수적인 고해상도 환경 정보를 제공합니다.
• 기술적 혁신: 소나 점군에 시각 정보를 융합하는 '광학적 렌더링' 기법은 소나 맵의 해석 가능성을 높이고, 수중 작업자에게 직관적인 3D 환경을 제공합니다.

결론적으로, VISO 는 단일 센서의 한계를 극복하고 다중 센서 융합을 통해 수중 환경에서 **견고성 (Robustness)**과 정확도 (Accuracy), 그리고 고품질 3D 재구성을 동시에 달성한 획기적인 SLAM 시스템입니다.