$\pi$-SUB: A Physics-Informed Synthetic Underwater Benchmark Dataset for Underwater Image Enhancement

완벽한 난파선 사진을 찍으려고 노력한다고 상상해 보세요. 하지만 잠수할 때마다 물이 거대하고 심술궂은 필터처럼 작동합니다. 물은 붉은 색조를 앗아가고, 떠다니는 먼지로 디테일을 흐리게 만들며, 모든 것을 마치 꿈속의 수중 장면처럼 보이게 만드는 뿌연 베일을 씌웁니다. 이것이 로봇과 카메라가 바다를 탐사하며 겪는 일상의 사투입니다. 컴퓨터가 이 흐릿하고 푸른 빛이 도는 사진들을 수정하는 법을 가르치기 위해서는, 지저다운 수중 사진과 비교할 수 있는 '교사의 정답지', 즉 완벽하고 깨끗한 버전의 장면이 필요합니다. 하지만 문제는, 물 앞에 아무것도 없는 상태에서 난파선 사진을 찍는 것은 불가능하다는 점입니다. 사진 한 장을 찍기 위해 마법처럼 바닷물을 다 빼낼 수는 없으니까요. 그래서 수년 동안 과학자들은 AI를 훈련시키기 위해 컴퓨터 속에 가짜 수중 세계를 구축하려고 노력해 왔습니다. 문제는 대부분의 이 가짜 세계들이 마치 형편없는 영화 세트장 같다는 것입니다. 멀리서 보면 괜찮아 보일지 몰라도, 빛이 실제로 어떻게 움직이는지에 대한 물리 법칙을 따르지 않기 때문에, AI가 그 가짜 세트에서 배운 내용을 실제 바다 사진을 고치는 데 사용하려고 할 때 혼란에 빠지게 됩니다.

이 논문은 이러한 가짜 수중 세계를 구축하는 새롭고 매우 똑똑한 방법인 π-SUB를 소개합니다. 이것은 숲의 판지 입체 인형에서 업그레이드하여, 모든 나뭇잎, 햇살, 그리고 떠다니는 먼지 한 점이 실제 물리 법칙을 따르는 완전하게 시뮬레이션된 생태계로 진화시킨 것이라고 생각하면 됩니다. 저자들은 단순히 수중 모습이 어떠할지 추측하는 것이 아니라, 다양한 유형의 물(맑은 푸른 바다부터 탁한 연안 만까지)이 빛을 어떻게 흡수하는지, 카메라가 얼마나 깊은 곳에 있는지, 심지어 아주 작은 해양 식물(클로로필 같은 것들)이 물의 색을 어떻게 변화시키는지에 대한 실제 과학을 사용하여 계산하는 시스템을 만들었습니다. 그들은 이 '물리 기반' 데이터셋을 기존의 더 단순한 가짜 데이터셋들과 테스트하였으며, π-SUB가 훨씬 더 현실적이라는 것을 발견했습니다. 이들은 네 가지 유형의 AI 이미지 수정 도구에 π-SUB를 사용하여 훈련시켰고, 그 결과 해당 도구들이 실제 수중 사진을 훨씬 더 잘 정화해 낸다는 것을 증명했습니다. 이는 만약 로봇에게 완벽하고 과학적으로 정확한 시뮬레이션으로 가르친다면, 로봇이 실제 세상을 훨씬 더 잘 볼 수 있게 된다는 것을 의미합니다.

문제점: "가짜" 바다의 함정

오랫동안 수중 사진을 수정하려는 연구자들에게는 큰 골칫거리가 있었습니다. 컴퓨터에게 흐릿한 이미지를 정화하는 법을 가르치려면, 보통 흐릿한 사진과 그 사진의 완벽하고 깨끗한 버전을 동시에 보여주어야 합니다. 하지만 바다에서는 "완벽한" 버전이 존재할 수 없습니다. 물이 항상 그곳에 있기 때문입니다. 그래서 과학자들은 컴퓨터로 생성한 합성 데이터셋, 즉 가짜 수중 이미지를 만들기 시작했습니다.

그러나 이러한 이전의 시도들은 대개 카드의 집을 짓는 것과 같았습니다. 이들은 빛이 깊이에 따라 어떻게 변하는지(하향 조사량, downwelling irradiance), 빛을 흡수하는 미세한 생물학적 입자들(조류의 클로로필 등)이 무엇인지 무시하는 경우가 많았고, 모든 물이 동일한 것처럼 취급했습니다. 또한 빛이 어떻게 차단되는지에 대해 복잡한 실제 세계의 수학을 사용하는 대신, 단 하나의 단순한 공식만을 사용하곤 했습니다. 결과적으로, 이러한 "판지" 데이터셋으로 훈련된 AI 모델들은 잘못된 교훈을 배웠습니다. 그들은 자신이 본 특정 가짜 이미지를 고치는 데는 능숙해졌지만, 실제 바다에서 찍은 사진을 고치려 할 때는 종종 실패했습니다. 왜냐하면 실제 바다는 가짜 모델이 고려하지 못한 복잡하고, 깊고, 생물학적 변수가 가득한 곳이기 때문입니다.

해결책: 물리 엔진의 힘을 빌린 시뮬레이터, π-SUB

이 논문의 저자들은 더 나은 시뮬레이터를 구축하기로 결정했고, 이를 π-SUB라고 명명했습니다. 단순히 추측하는 대신, 그들은 Jaffe–McGically 모델이라 불리는 고전적인 물리 모델의 확장 버전을 기반으로 프레임워크를 구축했습니다. 하지만 여기서 멈추지 않고, 이전 모델들이 놓쳤던 세 가지 주요한 "초능력"을 추가하여 업그레이드했습니다:

1. 깊이가 중요하다: 그들은 장면을 비추는 빛이 단순히 물체로부터의 거리가 아니라, 카메라가 얼마나 깊이 있느냐에 따라 달라진다는 점을 깨달았습니다. 그들은 햇빛이 수직 방향으로 내려가면서 어떻게 약해지는지를 시뮬레이션하는 층을 추가하여, 깊이에 따라 조명이 사실적으로 변하도록 만들었습니다.
2. 물의 생물학적 구성: 그들은 물의 "성분"을 세분화했습니다. 단순히 "물"이라고 말하는 대신, 물을 초록색으로 만드는 클로로필이나 용존 유기물(CDOM)과 같은 구체적인 생물학적 물질들을 모델링했습니다. 이를 통해 시뮬레이터는 맑고 푸른 바다 혹은 조류가 가득한 초록빛 만의 모습을 각각의 색 변화와 함께 정확하게 구현할 수 있습니다.
3. "지저분한" 추가 요소들: 실제 수중 사진은 단순히 빛이 약해지는 것뿐만 아니라, 떠다니는 먼지, 뿌연 안개, 기묘한 발광 효과 등을 포함합니다. π-SUB 프레임워크는 이러한 "잔여(residual)" 현상들을 별도의 제어 가능한 레이어로 추가합니다. 마치 요리에 향신료를 넣듯, "떠다니는 먼지"를 켜거나 끌 수 있고, "체적 안개(volumetric haze)"를 추가할 수도 있습니다.

이 시스템은 세 단계로 작동합니다. 첫째, 깨끗한 이미지(실제 데이터베이스의 사진 또는 언리얼 엔진과 같은 게임 엔진의 3D 렌더링)를 가져와 모든 픽셀의 거리를 계산합니다. 둘째, 그 깨끗한 이미지에 새로운 정밀 물리 모델을 적용하여, 물의 종류와 깊이에 따라 빛이 어떻게 보여야 하는지 정확히 계산함으로써 사실적인 수중 이미지를 만듭니다. 셋째, 실제 세계와 더욱 흡사하게 만들기 위해 앞서 언급한 "지저분한" 효과들을 추가합니다.

결과: 실제로 효과가 있는가?

저자들은 단순히 구축하는 데 그치지 않고, 이를 검증했습니다. 그들은 두 가지를 확인하고자 했습니다. 그것은 바로 "현실적인가?" 그리고 "AI가 더 잘 학습하도록 돕는가?"였습니다.

현실성을 확인하기 위해, 그들은 π-SUB를 다른 유명한 합성 데이터셋들과 비교했습니다. 그들은 두 이미지 그룹이 컴퓨터에게 얼마나 유사하게 보이는지를 측정하는 지표인 FID(Fréchet Inception Distance)를 사용했습니다. 점수가 낮을수록 이미지가 더 현실적임을 의미합니다. 결과는 인상적이었습니다. π-SUB는 그다음으로 우수한 합성 데이터셋(Syrea)보다 46% 낮은 FID 점수를 기록했습니다. 이는 π-SUB가 생성한 이미지가 기존의 것들보다 실제 수중 사진과 훨씬 더 유사하다는 것을 뜻합니다.

일반화 능력(이 데이터로 훈련된 AI가 실제 사진을 정말로 고칠 수 있는지)을 확인하기 위해, 그들은 네 가지 최첨단 AI 모델(FUnIE-GAN, Pix2Pix, PUIE-Net, Phaseformer)을 가져와 π-SUB로 훈련시켰습니다. 그런 다음 이 훈련된 모델들을 여섯 개의 서로 다른 실제 수중 데이터셋으로 테스트했습니다. 결과는 π-SUB로 훈련된 모델들이 가장 우수한 성능을 보였다는 것입니다. 구체적으로, 이 모델들은 품질 점수인 UIQM을 그다음 우수한 데이터셋(PHISWID)보다 4.18%, Syrea보다 9.46% 개선했습니다. 또한 노이즈 점수인 NIQE를 각각 **48.78%**와 23.98% 감소시켰습니다.

더 쉽게 말하자면, 이 새로운 물리 기반 데이터셋으로 훈련된 AI 모델들은 오래되고 단순한 가짜 데이터로 훈련된 모델들보다 실제 수중 사진을 훨씬 더 잘 정화해 냈습니다. 이들은 중요한 디테일(예: 산호초의 가장자리)을 더 잘 보존하면서도, 짜증스러운 푸른 안개와 색 왜곡을 더 효과적으로 제거했습니다.

이것이 왜 중요한가

이 논문은 π-SUB가 "초현실적이고 일반화 가능한 벤치마크"라고 결론짓습니다. 이는 컴퓨터 시뮬레이션의 가짜 세계와 실제 바다의 복잡한 현실 사이의 간극을 메워줍니다. 빛, 수심, 해양 생물학의 실제 물리 법칙을 존중하는 시뮬레이터로 AI를 가르침으로써, 저자들은 로봇과 카메라가 수중에서 더 잘 볼 수 있도록 돕는 도구를 만들어냈습니다. 이것은 단순히 예쁜 사진을 만드는 문제가 아닙니다. 자율 수중 이동체(AUV)나 원격 조종 수중 드론(ROV)이 파이프라인을 점검하거나, 난파선을 탐사하거나, 산호초를 모니터링하는 등의 임무를 더 효과적으로 수행할 수 있도록 돕는 일입니다. 이 논문은 만약 우리가 AI가 진정으로 수중 세계를 이해하기를 원한다면, 추측하는 것을 멈추고 물리 법칙을 통해 시뮬레이션해야 한다고 제언합니다.