Towards Versatile Opti-Acoustic Sensor Fusion and Volumetric Mapping

1. 문제 정의 (Problem Statement)

자율 수중 차량 (AUV) 이 장애물이 많은 수중 환경에서 안전하게 항해하기 위해서는 정밀한 3D 체적 매핑 (Volumetric Mapping) 이 필수적입니다. 그러나 기존 센서들은 다음과 같은 한계를 가집니다.

• 광학 카메라: 고해상도 데이터를 제공하지만, 수중의 탁도 (turbidity), 조명 변화, 산란 효과로 인해 시야가 흐려지거나 특징점 추출이 어려워 신뢰성이 떨어집니다.
• 소나 (Sonar): 탁도와 조명 변화에 강인하지만, 해상도가 낮고 수직 방향 (elevation) 정보의 모호성 (ambiguity) 이 존재합니다. 특히 이미징 소나는 3D 장면을 2D 로 투영하므로 수직 시야각 (FOV) 이 제한되고 높이 정보가 손실됩니다.
• 기존 융합 방법의 한계: 대부분의 기존 연구는 시각 정보를 주된 입력으로 사용하고 소나로 보정하거나, 반대의 경우에도 복잡한 수중 환경에서 특징점 매칭이 어렵거나 특정 물체 형상에만 국한되는 문제가 있었습니다.

따라서 가시성 조건이 변하는 환경에서도 안전하고 정확한 3D 매핑을 가능하게 하는 새로운 센서 융합 전략이 필요합니다.

2. 제안 방법론 (Methodology)

이 논문은 **스테레오 소나 쌍 (Stereo Sonar Pair)**과 **단안 카메라 (Monocular Camera)**를 융합하여 수중 3D 매핑을 수행하는 프레임워크를 제안합니다. 핵심 흐름은 다음과 같습니다.

A. 센서 구성 및 데이터 전처리

• 하드웨어: 수평 및 수직으로 배치된 두 개의 전방 주시 이미징 소나와 하나의 카메라를 사용합니다.
• 소나 특징 추출: 소나 이미지에서 잡음과 2 차 반사파를 제거하기 위해 SOCA-CFAR 필터를 적용하여 의미 있는 특징 (Features) 만 추출합니다.
• 광학 이미지 분할: 저조도 및 저대비 환경에 강한 YOLO11n-seg 모델을 사용하여 관심 영역 (ROI, 예: 파일, 구조물) 을 분할합니다. 사전 학습된 가중치와 데이터 증강 (Data Augmentation) 을 통해 소나 데이터셋 없이도 효율적으로 학습합니다.

B. 3D 점군 생성 및 융합 전략

1. 스테레오 소나 매칭 (Stereo Sonar Matching):

   • 수평 및 수직 소나의 중첩된 시야각 (Overlapping FOV) 내에서 거리 (Range) 정보를 기반으로 특징을 매칭합니다.
   • 소나 반사 강도 (Intensity) 는 각 소나의 수직 각도에 따라 달라지므로 신뢰도가 낮아 매칭에 사용하지 않고, 거리와 각도 정보만을 사용하여 3D 점군을 생성합니다.
   • 이 과정에서 생성된 3D 점은 가장 높은 신뢰도를 가집니다.

2. 소나 - 이미지 투영 및 확장 (Sonar-to-Image Projection & Expansion):

   • 근거리 미매칭 특징 처리: 스테레오 매칭이 안 된 근거리 소나 특징들은 수직/수평 FOV 밖의 높이 정보가 누락된 상태입니다.
   • 광학 정보 활용: 카메라에서 분할된 ROI 영역을 마스크로 사용하여, 소나 거리 정보를 유지한 채 광학 이미지의 높이 (elevation) 정보를 추정하여 3D 점을 보충합니다.
   • 시야각 확장: 소나의 제한된 수직 FOV 를 광학 이미지의 수직/수평 라인 정보를 활용하여 확장합니다. (예: 수평 소나의 경우 이미지 열/column 단위로 깊이 평균을 계산하여 확장).
   • 이 단계에서 생성된 점들은 소나만 사용한 경우보다 신뢰도가 낮지만, 시각 정보가 있을 때 유용한 추가 정보를 제공합니다.

3. 신뢰도 기반 가우시안 프로세스 체적 매핑 (Confidence-based GP Volumetric Mapping):

   • 생성된 3D 점들은 각기 다른 신뢰도 (Confidence) 를 가집니다:
     • 스테레오 소나 (SS): 기하학적 가정 없음 $\rightarrow$ 높은 신뢰도
     • 소나 - 이미지 투영 (S): 소나 FOV 내 가정 $\rightarrow$ 중간 신뢰도
     • 이미지 확장 (E): 광학 이미지 전체에 소나 거리 적용 가정 $\rightarrow$ 낮은 신뢰도
   • 이질적 가우시안 프로세스 (Heteroscedastic GP): 모든 관측치를 동일하게 취급하는 기존 GP 와 달리, 각 관측치마다 신뢰도에 비례하는 노이즈 분산 ($\sigma^2_n = 1/\alpha$) 을 할당합니다. 이를 통해 신뢰도가 높은 데이터가 매핑 결과에 더 큰 영향을 미치도록 하여, 불확실한 데이터로 인한 오류를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 융합 전략: 스테레오 소나 쌍과 단안 카메라를 융합한 최초의 수중 센싱 전략을 제시했습니다.
2. 신뢰도 기반 매핑 프레임워크: 측정값의 신뢰도를 가중치로 활용하여 로봇의 안전한 항해를 위한 핵심 정보를 보존하는 체적 매핑 방식을 개발했습니다.
3. 효율적인 학습: 대규모 소나 데이터셋 없이도 전이 학습 (Transfer Learning) 과 데이터 증강을 통해 CNN 기반 분할 모델을 효율적으로 학습시켰습니다.
4. 실증적 검증: 수조 실험 (복잡한 기하학적 구조) 과 실제 마린 (Marina) 환경 (높은 탁도) 에서의 실험을 통해 방법론의 유효성을 입증했습니다.
5. 오픈 소스: 코드와 데이터를 공개하여 커뮤니티의 재현성과 발전을 지원했습니다.

4. 실험 결과 (Results)

• 수조 실험 (Tank Experiments):
  • 단일 및 이중 디스크 구조물을 대상으로 한 실험에서, 제안된 방법 (GPC SS RGB) 은 기존 방법 (OctoMap, 일반 GP, 단일 소나 기반 등) 대비 평균 절대 오차 (MAE) 와 RMSE 에서 가장 높은 정확도를 보였습니다.
  • 특히, 신뢰도 가중치를 적용하지 않은 방법들은 불필요한 노이즈로 인해 정확도가 낮았으며, 제안 방법은 복잡한 기하학적 구조를 정확하게 재구성하면서도 충분한 시야를 확보했습니다.
• 실외 필드 실험 (Marina Field Tests):
  • 높은 탁도를 가진 킹스 포인트 (King's Point) 마리나에서 실험을 수행했습니다.
  • 기존 방법들은 나무 파일 앞의 작은 금속 파이프를 놓치거나, 대각선 구조물을 삼각형으로 왜곡하는 등의 오류를 보였습니다.
  • 반면, 제안 방법은 작은 파이프를 성공적으로 포착하고, 부분적으로 가려진 파일의 내부 행렬을 매핑하며, 안전에 필수적인 근접 객체 정보를 우선시하면서도 배경 정보를 유지했습니다.
• 계산 효율성:
  • 신뢰도 가중치를 추가해도 계산 시간은 기존 GP 기반 방법과 거의 유사하게 유지되었으며, OctoMap 기반 방법보다 계산 효율이 더 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 가시성 조건이 불확실한 수중 환경에서 AUV 의 안전하고 자율적인 항해를 위한 강력한 솔루션을 제시합니다.

• 강건성: 카메라가 실패하는 탁한 환경에서도 스테레오 소나만으로도 매핑이 가능하며, 카메라가 정상 작동할 때는 추가 정보를 융합하여 정확도를 극대화하는 적응형 전략을 제공합니다.
• 안전성: 신뢰도 기반 가중치를 통해 '가장 중요한 정보 (근접 장애물 등)'를 우선적으로 매핑함으로써, 로봇의 충돌 회피 및 경로 계획에 필수적인 데이터를 보존합니다.
• 확장성: 복잡한 수중 구조물 매핑뿐만 아니라, 향후 동적 환경 및 대규모 환경으로의 확장을 위한 기초를 마련했습니다.

결론적으로, 이 연구는 광학 및 음향 센서의 상호 보완적 특성을 최대한 활용하여, 기존 방법들의 한계를 극복하고 수중 로봇의 인식 및 매핑 능력을 비약적으로 향상시켰다는 점에서 중요한 의의를 가집니다.