BALTIC: A Benchmark and Cross-Domain Strategy for 3D Reconstruction Across Air and Underwater Domains Under Varying Illumination
이 논문은 공기와 수중 환경의 조명 및 매체 변화에 따른 3D 재구성을 체계적으로 평가하기 위한 'BALTIC' 벤치마크를 제안하고, 수중 영상에 소량의 공중 뷰를 추가하는 교차 도메인 전략을 통해 Gaussian Splatting 등 현대적 방법론의 성능을 검증합니다.
원저자:Michele Grimaldi, David Nakath, Oscar Pizarro, Jonatan Scharff Willners, Ignacio Carlucho, Yvan R. Petillot
우리가 공중 (땅 위) 에서 물체를 찍으면 선명하게 보이지만, 물속으로 들어가면 상황이 달라집니다.
비유: 마치 안개가 끼고 물이 탁한 방에서 사진을 찍는 것과 같습니다. 빛이 물에 부딪혀 흩어지고 (산란), 색이 변하며 (흡수), 물체 모양이 왜곡됩니다.
결과: 컴퓨터가 "이게 뭐지?"라고 헤매게 되어, 3D 지도를 만들려고 해도 조각조각 나거나 뭉개진 형태만 나옵니다. 기존 기술들은 맑은 날 (공중) 에는 잘 작동하지만, 이런 물속 환경에서는 많이 실패합니다.
2. 해결책 1: 새로운 시험장 'BALTIC' 만들기
연구진들은 이 문제를 해결하기 위해 BALTIC이라는 새로운 실험실을 만들었습니다.
비유: 마치 새로운 게임 레벨을 만든 것과 같습니다.
이 게임에는 '맑은 날 (공중)', '비 오는 날 (물속)', '인공 조명', '자연광' 등 다양한 조건이 섞여 있습니다.
연구진은 이 게임 안에서 로봇이 찍은 사진들을 이용해 3D 모델을 만드는 프로그램들 (COLMAP, NeRF, 3D Gaussian Splatting 등) 을 시험해 보았습니다.
중요한 건, 이 실험실에는 **정확한 정답 (Ground Truth)**이 있다는 점입니다. 로봇이 실제로 어디를 움직였는지 정밀하게 측정했기 때문에, 어떤 프로그램이 잘했는지 나빴는지 정확히 알 수 있습니다.
3. 해결책 2: "물속 사진에 '공중 사진'을 섞어라!" (가장 중요한 발견)
이 연구의 가장 큰 하이라이트는 크로스 도메인 (Cross-Domain) 전략입니다.
상황: 물속에서 물체를 찍으려는데 너무 흐릿해서 3D 모델이 안 만들어집니다.
해법: "그럼, 물속에 넣기 전에 물체를 공중에서 몇 장만 찍어볼까?"
비유:
물속에서 안개 낀 사진만 보고 그림을 그리려니 어렵죠.
하지만 맑은 날에 찍은 그 물체의 선명한 사진 10 장을 함께 주면, 컴퓨터는 "아! 이 물체는 원래 이런 생겼구나!"라고 기억하게 됩니다.
마치 미스터리 소설을 읽을 때, 마지막 장 (정답) 을 미리 살짝 보여주고 다시 읽으면 이야기가 훨씬 잘 이해되는 것과 같습니다.
결과: 물속 사진만 쓸 때보다 훨씬 선명하고 정확한 3D 모델이 만들어졌습니다.
4. 어떤 프로그램이 가장 잘했나?
연구진은 여러 최신 기술들을 시험해 보았습니다.
구식 기술 (COLMAP): 맑은 날에는 완벽하지만, 물속에서는 조각이 많이 떨어집니다.
최신 AI 기술 (NeRF, 3D Gaussian Splatting):
특히 3D Gaussian Splatting이라는 기술이 물속에서도 surprisingly(놀랍게도) 잘 작동했습니다.
비유: 마치 레고 블록처럼 물체를 작은 점 (가우스) 들로 표현하는 방식인데, 이 방식이 물속의 흐릿함에도 불구하고 형태를 잘 잡아냈습니다.
다만, 물속의 빛이 너무 복잡하면 여전히 약간의 오류가 생기기도 했습니다.
5. 결론: 우리가 배운 것
물속 3D 복원은 어렵다: 물의 특성 때문에 기존 기술로는 한계가 명확합니다.
간단한 전처리가 도움 된다: 사진의 색을 보정하거나 대비를 높이는 간단한 작업만으로도 결과가 좋아집니다.
가장 강력한 비법은 '혼합'이다: 물속에서 찍은 사진에, 물속에 넣기 전에 찍은 맑은 공중 사진 몇 장만 섞어도 3D 모델의 완성도가 비약적으로 상승합니다.
한 줄 요약:
"물속에서 3D 지도를 만들 때, 맑은 날에 찍은 사진 몇 장만 섞어주면, 안개 낀 물속에서도 선명한 지도를 만들 수 있다는 것을 증명했습니다!"
이 연구는 해양 로봇이 침몰선이나 해저 구조물을 점검할 때, 더 정확하고 빠르게 3D 모델을 만들 수 있는 길을 열어주었습니다.
1. 문제 정의 (Problem Statement)
배경: 로봇 비전, 매핑, 항법 및 장면 이해를 위한 고품질 3D 재구성은 컴퓨터 비전 및 로봇공학의 핵심 요소입니다. 최근 SfM(Structure-from-Motion), NeRF(Neural Radiance Fields), 3D Gaussian Splatting(3DGS) 등의 기술이 발전하여 재구성 정밀도가 크게 향상되었습니다.
한계: 기존 방법론들은 주로 통제된 지상 (공기 중) 환경과 안정적인 조명 하에서 평가되었습니다. 그러나 해양 로봇공학, 수중 고고학, 인프라 점검 등 수중 및 공기 - 수중 (Cross-domain) 환경에서는 다음과 같은 심각한 시각적 열화가 발생합니다.
빛의 산란 (Scattering) 과 흡수 (Absorption) 로 인한 대비 감소 및 색상 불일치.
굴절 (Refraction) 로 인한 기하학적 왜곡.
방향성, 인공, 혼합 조명 등 조명 조건의 급격한 변화.
현황: 이러한 환경에서의 재구성 방법론의 성능과 실패 모드를 체계적으로 평가할 수 있는 데이터셋과 벤치마크가 부족합니다. 기존 데이터셋들은 조명이나 운동 중 하나의 요소만 분리하여 평가하거나, 매체 (Medium) 와 조명의 체계적인 변화를 동시에 다루지 못했습니다.
2. 방법론 (Methodology)
가. BALTIC 벤치마크 구축
실험 환경: 2.2m × 1m × 0.8m 크기의 맞춤형 수조 (Water Tank) 를 구축했습니다.
장비: 돔 포트 (Dome port) 가 장착된 단안 카메라, HTC Vive 트래커 (정확한 Ground-truth 포즈 추정용), 50W Wasler 조명 (자연광 시뮬레이션), Ulanzi L2 Lite 이동 조명 (인공광 시뮬레이션).
수질 제어: Baltic Sea 의 녹색 톤을 모방하기 위해 염료를 사용했고, Maalox 를 산란제 (Scattering agent) 로 사용하여 현실적인 수중 가시도 효과를 재현했습니다.
데이터셋 구성: 총 13 개의 데이터셋 (E1–E13) 으로 구성되며, 다음 변수들을 체계적으로 변화시켰습니다.
매체: 공기 (Air) vs 수중 (Water).
조명: 방향성 (Directional), 혼합 (Mixed), 인공 (Artificial).
운동 패턴: 잔디 깎기 (Lawn-mower, 구조화된 스캔) vs 자유 3D 궤적 (Free-form).
초기화: 초기화 기동 (Initialization maneuver) 포함 여부.
보정: 수중 굴절 효과를 물리적으로 제거하기 위해 돔 중심 정렬 (Dome centering) 및 별도의 수중/공기 중 캘리브레이션을 수행하여, 재구성 성능 차이가 매체 및 조명 열화에서 기인하도록 했습니다.
나. 평가 파이프라인
SfM (Structure-from-Motion): COLMAP 을 사용하여 카메라 포즈 및 희소 3D 점군을 재구성.
밀집 재구성 (Dense Reconstruction): COLMAP 의 출력을 기반으로 NeRF (Nerfacto, SeaThru-NeRF) 및 3D Gaussian Splatting (3DGS, WaterSplat, SeaSplat) 모델을 학습.
크로스 도메인 증강 (Cross-Domain Augmentation): 수중 시퀀스에 유사한 조명 조건에서 촬영된 소수의 공기 중 (In-air) 이미지를 추가하여 재구성 성능을 개선하는 전략을 검증.
평가 지표:
궤적 정확도: ATE (Absolute Trajectory Error), RPE (Relative Pose Error).
기하학적 완전성: 삼각형 수, 표면적, 평균 곡률, Chamfer RMS.
이미지 충실도: PSNR, SSIM, LPIPS.
색상 복원: CIE Lab 공간에서의 ΔE (색차).
3. 주요 기여 (Key Contributions)
BALTIC 오픈소스 벤치마크: 조명, 매체, 운동 패턴을 체계적으로 변화시키며 정확한 Ground-truth 궤적을 제공하는 최초의 통제된 3D 재구성 데이터셋.
포괄적인 평가 및 비교: SfM, NeRF, 3DGS 방법론에 대한 수중 및 혼합 조명 조건에서의 강건성 (Robustness) 과 실패 모드에 대한 심층 분석.
크로스 도메인 재구성 전략: 수중 재구성을 개선하기 위해 소수의 공기 중 이미지를 활용하는 실용적인 전략을 제시하고, 이것이 기하학적 구조와 방사계 (Radiometric) 사전 지식을 제공하여 성능을 획기적으로 향상시킨다는 것을 입증.
4. 실험 결과 (Results)
가. SfM 및 COLMAP 성능
공기 중: COLMAP 은 대부분의 프레임이 등록되어 밀집되고 일관된 재구성을 보임.
수중: 산란과 흡수로 인해 등록된 점의 수가 10 배 이상 감소하고, 재구성이 여러 개의 서브맵 (Submaps) 으로 분열됨.
전처리 효과: 수중 이미지에서 빛의 원뿔을 자르고 (Cropping) CLAHE(Contrast Limited Adaptive Histogram Equalization) 를 적용하면 점군 밀도와 궤적 정확도가 크게 향상됨.
나. 밀집 재구성 및 렌더링 성능
3D Gaussian Splatting (3DGS): 단순한 전처리 (화이트 밸런스 등) 만으로도 공기 중, 수중, 크로스 도메인 환경 전반에서 가장 일관된 높은 성능 (PSNR, SSIM) 을 보임. 특히 3DGS 는 희소한 뷰나 포즈 드리프트에 더 강건한 것으로 확인됨.
NeRF 및 수중 특화 모델: WaterSplat, SeaSplat 등은 인공 조명 하에서 경쟁력 있는 결과를 보이지만, 전반적으로 공기 중 데이터셋에 비해 성능이 떨어짐.
크로스 도메인 효과 (E12 vs E14): 수중 데이터 (E12) 에만 의존할 경우 재구성이 파편화되지만, 소수의 공기 중 이미지 (E6) 를 추가한 E14 는 단일하고 밀집된 글로벌 맵을 생성하며 궤적 드리프트를 줄임.
다. 색상 및 방사계 분석
색상 복원: WaterSplat 과 SeaSplat 은 대비와 색채 정보를 복원하는 데 강점이 있으나, SeaThru-NeRF 는 더 부드러운 색상 전환을 보임.
전처리 영향: 화이트 밸런스 보정은 PSNR 을 높였으나 SSIM 과 LPIPS 는 일부 감소시켜 픽셀 단위 충실도와 구조적 일관성 간의 트레이드오프가 존재함을 시사.
5. 의의 및 결론 (Significance & Conclusion)
실용적 전략: 복잡한 물리 모델이나 재학습 없이도, 수중 작업 전 공기 중 데이터를 미리 획득하여 수중 재구성을 증강하는 것이 저렴하고 효과적인 전략임을 입증했습니다. 이는 실제 해양 로봇 임무 (예: 파이프 점검, 고고학 유물 매핑) 에 직접 적용 가능한 인사이트를 제공합니다.
방법론적 통찰: 현대적인 재구성 파이프라인 (특히 3DGS) 은 적절한 전처리와 초기화만으로도 수중 환경에서도 유의미한 성능을 낼 수 있음을 보였으나, 산란과 흡수로 인한 시각 정보의 근본적 손실은 여전히 해결 과제로 남았습니다.
미래 방향: 통제된 수조 실험의 한계를 극복하기 위해 더 큰 규모의 현장 (In-situ) 데이터셋 구축, 다양한 수질 조건 반영, 그리고 물리 기반 렌더링 모델과의 통합 연구가 필요함을 강조합니다.
요약하자면, 이 논문은 수중 3D 재구성의 난제를 해결하기 위한 표준 벤치마크 (BALTIC) 를 제시하고, 공기 중과 수중 데이터를 결합한 크로스 도메인 전략이 재구성의 강건성과 완전성을 획기적으로 개선할 수 있음을 실증적으로 증명했습니다.