Single View Seafloor Recovery from Imaging Sonar via Differentiable Rendering

기술 요약: 가분 렌더링을 통한 단일 뷰 해저면 복원

문제 정의
전방향 영상 소나 (FLS) 는 광학 카메라가 작동하지 않는 탁한 물을 투과할 수 있는 능력으로 인해 수중 로봇 공학 및 생태 모니터링에 있어 중요한 모달리티입니다. 그러나 FLS 이미지는 수직 빔 팬에 걸쳐 후방 산란을 통합함으로써 수직 구조를 평평한 2D 이미지로 축소하는 심각한 기하학적 모호성을 겪습니다. 결과적으로 단일 소나 뷰에서 3D 수심 (해저면 깊이) 을 복원하는 것은 잘 정의되지 않은 문제 (ill-posed problem) 입니다. 왜냐하면 많은 다른 해저면 기하학이 동일한 센서 판독값을 생성할 수 있기 때문입니다. 기존 솔루션들은 일반적으로 다중 뷰 파이프라인, 고가의 센서 융합, 또는 광범위한 훈련 데이터를 필요로 하고 새로운 환경이나 센서 구성 (분포 변화) 에 일반화하는 데 어려움을 겪는 지도 학습 딥러닝 모델에 의존합니다.

방법론
저자들은 30 초 미만의 시간 내에 단일 소나 이미지에서 해저면 높이장을 복원하는 훈련이 불필요한 역 렌더링 접근법을 제안합니다. 이 방법은 소나 전방 과정의 가분 물리 시뮬레이션에 기반합니다.

1. 전방 모델 및 해저면 표현:

   • 해저면은 직교 좌표계 또는 소나의 방위 빔과 방사형으로 정렬된 명시적 이산화 높이장으로 표현됩니다.
   • 전방 모델은 각 방위 빔에 대해 빔의 밀집한 광선 팬을 투사하여 소나 과정을 시뮬레이션합니다. 이는 광선 - 표면 교차를 계산하고, 거리 의존적 전송 손실, 기하학적 확산, 그리고 입사각 효과에 의해 조절되는 확산 및 정반사 반사의 조합으로 광선별 후방 산란을 모델링합니다.
   • 렌더러는 구형 확산에 대한 $1/r^4$ 보정을 적용하고 강도를 로그 진폭 (dB) 으로 변환하여 이러한 광선 반환을 거리 - 방위 빈 (bins) 으로 집계합니다.

2. 가분 역 최적화:

   • 시스템은 해저면 기하학을 최적화할 잠재 변수로 간주합니다. 경사 하강법을 사용하여 시뮬레이션된 소나 이미지와 목표 센서 판독값 간의 재구성 오차를 최소화합니다.
   • 가분 광선 교차: 이산 교차 논리를 통한 역전파를 가능하게 하기 위해, 저자들은 광선의 각도 고도와 잠재 해저면의 각도 높이 간의 차이를 기반으로 시그모이드 함수를 사용하여 "소프트 교차 (soft-intersections)"를 구현합니다.
   • 빔 패턴 모델링: 각도 의존적 변동 (예: 깜빡임 또는 화면 밖 가림) 은 각 빔에 대한 별도의 스케일링 파라미터를 학습함으로써 처리되며, 이는 초기 워밍업 단계 동안 기하학 피팅과의 간섭을 방지하기 위해 고정됩니다.

3. 정규화 및 사전 지식:

   • 총 변동 (Total Variation, TV): 가우시안 빈으로 인해 매끄러운 영역을 모방하는 고주파 진동을 억제하기 위해 높이장에 1 차 TV 사전 지식을 부과합니다.
   • 일반적 뷰포인트 가정: 단일 뷰에서는 기본면의 기울기가 본질적으로 모호하므로, 이 방법은 알려진 기울기에 조건부 기하학을 최적화합니다. 특정 기울기에만 적합하는 취약한 솔루션을 피하기 위해, 최적화는 각 단계에서 실현 가능한 기울기 분포에서 기본면 방향을 재샘플링합니다. 이는 특수 정렬 해석보다는 견고한 기하학 (예: 안정적인 그림자를 함몰로 해석) 을 장려합니다.

주요 기여

• 단일 뷰 소나를 위한 최초의 가분 렌더링: 저자들의 지식 범위 내에서, 이는 단일 소나 이미지에서 높이 복원을 위해 가분 렌더링을 적용한 최초의 사례입니다.
• 훈련 불필요 적응성: 이 방법은 사전 훈련 데이터를 필요로 하지 않습니다. 물리 과정과 센서 설정을 명시적으로 매개변수화함으로써 재훈련 없이 다양한 센서 구성 및 환경 통계에 적응합니다.
• 효율성: 이 접근법은 명시적 높이장을 최적화하여 100ms 미만의 장면 렌더링과 5~15 초 내의 완전한 수렴을 가능하게 하며, 이는 암시적 신경장 방법보다 훨씬 빠릅니다.

결과
이 방법은 합성 데이터셋 (HoloOcean 을 사용한 분포 내 및 분포 외) 과 실제 강 이미지에서 평가되었습니다.

• 분포 내 성능: 훈련 및 테스트 조건이 일치하는 합성 데이터에서, 학습된 도메인별 사전 지식을 활용하는 지도 학습 CNN 베이스라인이 제안된 방법보다 우수한 성능을 보였습니다.
• 분포 외 (OOD) 성능: 분포 변화 (예: 다른 지형 통계 또는 센서 설정) 하에서 제안된 방법은 지도 학습 CNN 보다 우수한 성능을 발휘했습니다. 표준 HoloOcean 벤치마크에서 이 방법은 CNN 보다 낮은 Chamfer 거리와 RMSE 를 달성했습니다. 거친 지형에서는 성능이 유사했습니다.
• 데이터 부족: CNN 의 훈련 세트 크기가 감소함에 따라 그 성능은 크게 저하되는 반면, 제안된 방법은 일정하게 유지되어 제한된 레이블 데이터가 있는 시나리오에서의 유용성을 입증했습니다.
• 실제 적용: 이 방법은 Nushagak, Eel, Kenai 강과 같은 실제 강바닥 소나 데이터에서 정답 (ground truth) 없이도 상세한 이미지 구조와 타당한 3D 기하학을 성공적으로 재구성했습니다.

의의 및 한계
이 논문은 소나 과정의 물리 기반 사전 지식을 모델링함으로써 도메인 간 전이가 가능한 신속하고 훈련이 불필요한 기하학 복원이 가능하다고 주장합니다. 이는 희소 관측으로부터 새로운 환경에 빠르게 적응해야 하는 시스템에 특히 유용한 단일 뷰 소나 해석을 위한 가분 렌더링을 실현 가능한 경로로 뒷받침합니다.

저자들은 겸손하게 한계를 인정합니다:

• 본질적 모호성: 이 방법은 데이터를 설명하는 데 필요한 최소 높이를 예측하는 경향이 있어, 깊이 통계를 학습하는 CNN 에 비해 가려진 영역에서 깊이를 과소평가할 수 있습니다.
• 노이즈 민감성: 최적화기가 재구성 손실을 최소화하기 때문에, 목표 이미지의 노이즈는 고주파 기하학적 아티팩트로 해석될 수 있지만, TV 정규화가 이를 완화합니다.
• 기울기 의존성: 이 방법은 해저면 기울기를 알거나 제약해야 하며, 이러한 사전 지식 없이 절대적 전역 방향을 해결하지는 않습니다.