Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting

기술 요약: Underwater360

문제 제기
몰입형 탐사를 위해 수중 3D 장면의 고품질 재구성은 중요하지만, 상당한 장애물에 직면해 있습니다. 표준 원근 카메라에 의존하는 기존 방법들은 불안정한 수중 환경 (해류, 부유 입자) 과 빛의 흡수 및 산란으로 인한 심각한 광학적 열화로 인해 수중에서 어려움을 겪습니다. 이러한 요인들은 교차 뷰 대응 관계를 약화시켜, 신뢰할 수 없는 카메라 포즈 추정 및 재구성 아티팩트를 초래합니다. 또한, 기존의 좁은 시야 카메라는 커버리지를 위해 밀집되고 중첩된 뷰를 필요로 하는데, 이는 수중에서 신뢰성 있게 달성하기 어렵습니다. 3D 가우스 스플래팅 (3DGS) 이 지상 장면 재구성을 혁신했지만, 기존 수중 적응 방법들은 주로 원근 이미지를 위해 설계되어 360° 파노라마에 고유한 구면 투영 왜곡과 매개체 참여로 인한 열화라는 결합된 문제를 해결하지 못합니다. 반면, 기존 전방향 렌더링 방법들은 일반적으로 맑은 공기 조건을 가정하며 수중 빛 전달을 모델링하지 않습니다.

방법론
저자들은 수중 파노라마 장면을 재구성하도록 설계된 물리 정보 기반 전방향 3DGS 프레임워크인 Underwater360을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합합니다:

1. 전방향 가우스 스플래팅:
   2D 정사각형 투영 (ERP) 이미지 (기하학적 왜곡을 유발함) 로 3D 가우스를 투영하는 대신, 이 방법은 구면 카메라 공간에서 직접 광선 추적을 수행합니다. ERP 이미지의 각 픽셀에 대해 구면 좌표계에서 시선 광선이 정의됩니다. 각 가우스의 기여도는 국소 접평면 내에서 이러한 광선을 따라 평가됩니다. SPaGS 프레임워크를 기반으로 한 이 접근 방식은 구면 투영 왜곡을 완화하고, 후속 물리 모델링에 필요한 정확한 광선 - 스플래트 교차 깊이를 제공합니다.

2. 물리 기반 외관 - 매개체 모델링:
   수중 열화를 처리하기 위해 저자들은 수중 이미지 형성 모델 (UIFM) 을 사용하여 깊이 의존적 후방 산란 및 감쇠로부터 고유한 장면 복사도를 분리합니다.

   • 고유 외관: 포즈 조건부 외관 임베딩 모듈이 경량 MLP 를 사용하여 각 가우스의 기본 색상을 조정합니다. 이는 뷰 의존적 효과 및 매개체로 인한 변화로부터 고유한 장면 복사도를 분리하여 기본 가우스 표현이 안정적으로 유지되도록 합니다.
   • 매개체 추정: 두 개의 경량 신경망이 물의 물리적 매개변수를 추정합니다.
     • Backscatter-Net: 깊이 지도를 입력으로 받아 후방 산란에 대한 감쇠 계수를 예측하며, 무한 거리에서의 수중 빛 색상의 점근적 포화 및 근거리 편차를 모델링합니다.
     • DeattenuateNet: 깊이 지도와 뷰 임베딩을 입력으로 받아 공간적으로 변하는 감쇠 계수를 예측하여 비균질 수중 조건을 고려합니다.
       최종 열화된 이미지는 물리 모델에 따라 정제된 복사도, 추정된 감쇠 및 후방 산란을 결합하여 합성됩니다: $I(p) = J(p) \odot A(p) + B(p)$.

3. 연합 최적화:
   시스템은 가우스 속성 (위치, 공분산, 불투명도, 색상) 과 외관 및 매개체 네트워크의 매개변수를 연합적으로 최적화합니다. 손실 함수는 원시 수중 파노라마 관측치에 대한 재구성을 감독하기 위해 픽셀 단위 L1 손실과 구조적 유사성 (L-SSIM) 을 결합합니다.

주요 기여

• 통합 프레임워크: 이 논문은 전방향 가우스 렌더링과 명시적 수중 이미지 형성을 결합하여 파노라마 입력으로부터 기하학, 뷰 의존적 외관 및 매개체 열화의 연합 재구성을 가능하게 하는 최초의 통합 공식을 제시합니다.
• 전방향 가우스 스플래팅: 360° 시야에서 2D 투영 근사화와 관련된 기하학적 왜곡을 효과적으로 줄이는 카메라 공간에서 직접 구면 광선 추적을 수행하는 모듈을 도입했습니다.
• 물리 인식 모델링: 깊이 사전 지식과 포즈 조건부 임베딩을 사용하여 고유한 장면 복사도를 수중 감쇠 및 후방 산란으로부터 명시적으로 분리하는 새로운 아키텍처로, 물리적으로 근거 있는 장면 복원을 가능하게 합니다.
• 새로운 벤치마크: 합성 (Unreal Engine 5 의 5 개 장면) 인 OmniUW와 실제 세계 (Insta360 X4 카메라로 촬영된 5 개 장면) 인 Insta360으로 구성된 새로운 파노라마 수중 벤치마크 데이터셋을 구축하여 합성 및 실제 세계 수중 360° 장면을 모두 포함합니다.

결과
합성 OmniUW 및 실제 세계 Insta360 데이터셋에서 광범위한 실험을 수행하여 Underwater360 을 최첨단 NeRF 기반 및 3DGS 기반 방법 (수중 전용 및 전방향 변형 포함) 과 비교했습니다.

• 정량적 성능: Underwater360 은 두 데이터셋에서 대부분의 장면과 지표 (PSNR, SSIM, LPIPS) 에서 우수하거나 거의 우수한 성능을 달성했습니다. 특히, 다른 방법들이 어려움을 겪거나 불안정한 결과를 산출한 심각한 열화가 있는 장면에서 상당한 견고성을 보여주었습니다.
• 정성적 개선: 시각적 비교에서 이 방법은 더 명확한 국소 세부 사항과 더 충실한 장면 외관을 복원함을 보여주었습니다. 장면을 정제된 복사도, 감쇠 및 후방 산란으로 분해한 것은 이전 작업들에 비해 공간적으로 일관성이 있고 물리적으로 타당한 것으로 확인되었습니다.
• 애블레이션 통찰력: 결과는 전방향 가우스 스플래팅만으로는 맑은 장면에서 효과적이지만, 심각한 감쇠 및 후방 산란을 처리하기 위해서는 명시적 수중 이미지 형성 모델링이 필수적임을 시사했습니다.

의의 및 주장
저자들은 Underwater360 이 명시적 물리 모델링과 파노라마 장면 표현을 통합함으로써 수중 장면 재구성에 대한 새로운 관점을 제시한다고 주장합니다. 전방향 이미징의 풍부한 커버리지와 3DGS 의 효율성을 활용함으로써, 이 방법은 도전적인 수중 환경에서 재구성을 위한 강력한 전역 제약을 제공합니다. 이 작업은 견고한 수중 3D 비전을 향한 기초적인 단계로 위치 지어지며, 커뮤니티에 구면 왜곡과 매개체 열화라는 결합된 문제를 처리할 수 있는 최초의 벤치마크 데이터셋과 프레임워크를 제공합니다. 저자들은 정적 장면 가정, 카메라 하우징에 대한 굴절 모델링 부재, 그리고 극도로 탁하거나 질감이 부족한 환경에서의 불안정성과 관련된 한계를 인정하며, 이를 향후 연구 방향으로 제안합니다.