BathyFacto: Refraction-Aware Two-Media Neural Radiance Fields for Bathymetry

당신이 수영장 바닥에 놓인 보물 상자를 사진으로 찍으려고 한다고 상상해 보세요. 위에서 똑바로 내려다본다면 상자는 거의 제자리에 있는 것처럼 보일 것입니다. 하지만 옆에서 본다면, 물은 마치 이상하고 투명한 렌즈처럼 작용할 것입니다. 물은 당신의 눈으로 전달되는 상자의 빛줄기를 굴절시켜, 상자가 실제보다 더 높이 떠 있고 다른 위치에 있는 것처럼 보이게 만듭니다. 이 빛의 굴절 현상은 **굴절(refraction)**이라고 불리며, 빛이 공기와 물을 통과할 때 서로 다른 속도로 이동하기 때문에 발생합니다.

수십 년 동안 과학자들은 드론에 탑재된 카메라를 이용해 해저나 강바닥을 매핑하는 과정, 즉 사진측량술(photogrammetry)을 사용해 왔습니다. 이 기술은 수천 장의 사진을 하나로 합쳐 세상의 3D 모델을 구축합니다. 하지만 여기에는 문제가 하나 있습니다. 3D 모델을 만드는 데 사용되는 표준 컴퓨터 프로그램들은 빛이 진공 상태에서의 레이저 빔처럼 완벽하게 직선으로 이동한다고 가정합니다. 따라서 이 프로그램들이 수중 장면을 매핑하려고 할 때, 굴절되는 빛 때문에 혼란을 겪게 됩니다. 결과적으로 3D 지도는 체계적으로 잘못 생성되며, 강바닥이 실제보다 더 얕고 옆으로 치우친 것처럼 보이게 만듭니다. 이는 마치 사물을 왜곡시키는 안경을 쓴 채 방의 지도를 그리려는 것과 같습니다.

이를 해결하기 위해 연구자들은 **신경 복사장(Neural Radiance Fields, NeRF)**을 실험해 왔습니다. NeRF를 단순한 카메라가 아니라, 모든 가능한 각도에서 장면이 어떻게 보이는지 학습하는 매우 똑똑한 디지털 "유령"이라고 생각해보세요. 여러 장의 사진을 입력하면, 이 유령은 세상의 연속적인 3D 볼륨을 학습하며, 카메라가 직접 방문하지 않았던 각도에서도 새로운 사진을 생성할 수 있게 해줍니다. 하지만 대부분의 디지털 유령들은 빛이 오직 직선으로만 이동하는 세상에서 훈련되었습니다. 그들은 물속의 "구부러진" 물리 법칙을 이해하지 못합니다. 바로 이 지점에서 새로운 연구가 등장하여, 이 디지털 유령들에게 물을 통해 올바르게 보는 법을 가르치고자 합니다.

논문: BathyFacto – AI에게 물속을 보는 법 가르치기

이 논문은 BathyFacto(수심을 측정하는 'Bathymetry'와 인기 있는 유형의 NeRF인 'Nerfacto'의 재미있는 합성어)라고 불리는 새로운 도구를 소개합니다. 마르쿠스 브레조프스키(Markus Brezovsky)와 동료들이 이끄는 연구팀은 공기-물 계면에서 발생하는 빛의 굴절 물리 법칙을 이해하는 특별한 버전의 AI를 구축했습니다.

그들이 해결한 핵심 문제는 다음과 같습니다. 드론이 강 위를 비행할 때, 강바닥에서 나오는 빛은 물을 통과하고, 표면에 부딪힌 뒤, 카메라에 도달하기 위해 공기 중으로 들어오면서 굴절되어야 합니다. 표준 AI 모델은 빛이 전 구간을 직선으로 이동했다고 가정하며, 이로 인해 약 1.37미터만큼 더 얕고 옆으로 치우친 "유령" 지도를 만들어냅니다. BathyFacto는 AI에게 다음과 같이 명시적으로 알려줌으로써 이를 해결합니다. "이봐, 빛은 공기 중에서 직선으로 이동하다가, 물 표면에 부딪히면 스넬의 법칙(굴절 법칙)에 따라 꺾인 뒤에야 바닥에 도달해."

작동 원리 ("꺾인" 광선)
레이저 포인터의 경로를 그리는 상황을 상상해 보세요. 공기 중에서는 직선을 그리다가, 선이 물 표면에 닿으면 멈추는 것이 아니라 특정 각도로 선을 꺾어서 수중에서도 계속 그려 나갑니다. Bathy-Facto도 정확히 이와 같이 작동하지만, 매우 영리한 방식을 사용합니다. 두 개의 분리된 세계(공기와 물)를 관리하는 대신, "단일 샘플러(single-sampler)" 구조를 사용합니다. AI가 학습할 수 있도록 전체 장면을 관통하는 "가상의" 직선을 그리되, "꺾인 밀도 래퍼(kinked density wrapper)"를 사용합니다. 이것은 마치 마법의 자와 같아서, 측정 지점이 물선을 넘어서는 순간 해당 위치를 즉시 교정하여, AI가 가짜 직선 위치가 아닌 실제 수중 위치에서 밀도와 색상을 계산하도록 보장합니다.

결과: 시뮬레이션에서 현실로
연구팀은 컴퓨터 그래픽(Blender)으로 생성된 시뮬레이션 환경에서 테스트를 진행했습니다. 이 환경에서는 모든 것의 정확하고 완벽한 깊이(Ground Truth)를 알고 있습니다. 결과는 놀라웠습니다.

• 기존 방식 (표준 NeRF): AI는 깊이가 +1.370미터만큼 차이가 난다고(너무 얕다고) 예측했으며, 수중 장면의 **11.6%**만을 정확하게 재구성했습니다. 나중에 수동으로 깊이를 수정하려 해도 여전히 약 0.4미터의 오차가 있었습니다.
• 새로운 방식 (굴절을 적용한 BathyFacto): AI는 깊이를 거의 완벽하게 맞추었으며, 편차는 단 -0.001미터(1밀리미터 수준!)에 불 달랐습니다. 또한 0.2미터의 허용 오차 범위 내에서 수중 장면의 **85.7%**를 성공적으로 재구성했습니다.

또한 논문은 이들의 방법을 오늘날 측량사들이 사용하는 표준 방식인 "다중 뷰 스테레오(Multi-View Stereo, MVS)" 방식과 비교했습니다. 연구 결과, 전통적인 방식은 드론이 수직 아래(nadir)를 내려다볼 때는 잘 작동하지만, 드로가 비스듬한 각도로 물을 바라볼 때는 무너진다는 것을 발견했습니다. 시뮬레이션 테스트에서, BathyFacto는 수직 하향 뷰부터 가파른 측면 뷰까지 전체 카메라 각도 범위에서 일관된 기하학적 구조를 복원해낸 반면, 전통적인 방식은 수직 근처의 뷰에서만 신뢰할 수 있었습니다. 저자들은 이러한 성공이 시뮬레이션 데이터에서 입증되었음을 강조하며, 실제 UAV 영상에 이 방법을 검증하는 것은 향후 과제로 남겨두었다고 언급했습니다.

의미와 한계 (그리고 하지 않는 것)
저자들은 자신들의 연구 한계를 매우 명확히 밝히고 있습니다. 그들은 BathyFacto가 물 표면이 평평하고 잔잔하며 물이 투명한 시뮬레이션 데이터에서 믿기 힘들 정도로 잘 작동한다는 것을 증명했습니다. 그들은 단순히 수학적 트릭으로 나중에 깊이를 "수정"할 수 있다는 생각에 반박하며, 훈련 과정 중에 빛의 굴절을 모델링하지 않으면 3D 기하 구조 자체가 근본적으로 망가진다는 것을 논문을 통해 보여주었습니다.

하지만 그들은 또한 실제의 물은 훨씬 더 복잡하다는 점도 인정합니다. 그들의 시뮬레이션에는 탁한 물, 떠다니는 잎사귀, 또는 표면에 물결치는 파도가 포함되지 않았습니다. 실제 강이나 바다의 경우, 물 표면이 완벽하게 평평한 평면이 아닐 수 있고 물이 흐릴 수 있어 AI를 혼란스럽게 할 수 있다고 언급했습니다. 그들은 향후 연구가 이러한 "물결치고 탁한" 도전 과제들을 다루어야 한다고 제안했습니다.

요약하자면, BathyFacto는 AI에게 왜곡된 반영이 아닌, 실제 수중 세계를 보는 법을 가르치는 중요한 진전입니다. 이는 흐릿하고 치우친 추측을 정밀하고 미터 단위로 정확한 지도로 바꿔놓았습니다. 다만, 현재로서는 통제된 컴퓨터 시뮬레이션 환경의 챔피언이며, 이제 막 거칠고 요동치는 실제 세계로 뛰어들 준비를 하고 있습니다.