Looking Into the Water by Unsupervised Learning of the Surface Shape

이 논문은 수면의 굴절로 인한 왜곡을 제거하기 위해 수면 높이와 이미지 색상을 예측하는 두 개의 신경장 (neural-field) 네트워크를 활용한 비지도 학습 기반의 새로운 복원 방법을 제안하며, SIREN 을 통해 수면 구조를 효과적으로 모델링하여 기존 방법보다 우수한 성능을 입증했습니다.

핵심

물속을 맑게 보는 마법: 수면의 파도를 읽는 AI

이 논문은 **"하늘에서 물속을 내려다볼 때, 물결 때문에 왜곡되어 보이는 물체를 원래 모습대로 되돌리는 방법"**을 소개합니다. 마치 거울에 비친 상이 흔들리는 것처럼, 물속의 산호나 물고기는 수면의 파도 때문에 찌그러져 보입니다. 이 연구는 그 찌그러진 영상을 AI로 분석해 원래의 선명한 모습을 복원하고, 동시에 물결의 높낮이까지 계산해냅니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제: 흔들리는 유리창 뒤에 있는 그림

상상해 보세요. 여러분이 수영장 바닥에 떨어진 동전을 보려고 합니다. 하지만 물이 잔잔하지 않고 파도가 일고 있죠.

• 현상: 물결이 빛을 휘게 만들어 (이걸 '굴절'이라고 해요), 동전은 실제 위치가 아닌 다른 곳에 있거나 찌그러져 보입니다.
• 난관: 물결은 계속 움직이므로, 한 장의 사진만으로는 "어디가 진짜 동전이고 어디가 왜곡된 것인지" 알 수 없습니다. 마치 흔들리는 유리창 뒤에 있는 그림을 한 번에 보는 것과 같습니다.

2. 해결책: "시간의 마법"을 쓴 AI

이 연구팀은 **짧은 영상 (몇 초 분량)**을 입력으로 받아 문제를 해결합니다. 핵심 아이디어는 **"물속의 대상은 움직이지 않지만, 물결은 계속 변한다"**는 사실입니다.

• 비유: 만약 여러분이 흔들리는 유리창을 통해 정지해 있는 사물을 여러 번 본다면, 유리창이 흔들리는 패턴을 분석하면 결국 사물의 진짜 모습을 추측할 수 있습니다. 이 AI 는 바로 그 '유리창의 흔들림 패턴'을 찾아내는 마법사입니다.

3. 어떻게 작동할까? 두 명의 AI 파트너

이 시스템은 두 가지 역할을 하는 AI(신경망) 가 팀을 이뤄 작동합니다.

1. 첫 번째 파트너 (물결 예측자):

   • 이 AI 는 **"지금 물결이 얼마나 높고, 어떤 모양으로 흔들리고 있는가?"**를 계산합니다.
   • 마치 바다의 파도를 실시간으로 지도에 그리는 것처럼, 수면의 높이와 기울기를 숫자로 만들어냅니다.
   • 이 논문에서는 이 작업을 위해 SIREN이라는 특별한 AI 기술을 썼는데, 이는 물결처럼 부드럽고 연속적인 파동을 표현하는 데 아주 능숙합니다.

2. 두 번째 파트너 (원래 그림 그리기):

   • 이 AI 는 **"물결이 없다면 물속은 어떻게 생겼을까?"**를 상상합니다.
   • 첫 번째 파트너가 "여기 물결이 1cm 올라갔고, 빛이 5 도 휘어졌다"고 알려주면, 이 파트너는 그 왜곡을 거꾸로 풀어 원래의 선명한 그림을 그려냅니다.

4. 학습 방법: 스승이 없는 공부 (비지도 학습)

보통 AI 는 정답이 있는 데이터 (예: 왜곡된 사진과 원래 사진이 짝지어진 것) 로 배웁니다. 하지만 물속의 '진짜 모습'을 알 수 없는 경우가 대부분입니다.

• 이 연구의 clever 한 점: 정답을 몰라도 됩니다. AI 는 **"내가 복원한 원래 그림을 다시 물결로 왜곡시켜 보면, 실제 찍은 영상과 똑같아야 한다"**는 원리로 스스로 학습합니다.
• 비유: 마치 미로에서 길을 찾을 때, "내가 선택한 길이 다시 돌아오면 내가 들어온 입구와 일치해야 한다"는 원리로 길을 찾는 것과 같습니다. 정답지 없이도 스스로 길을 찾아내는 것입니다.

5. 성과: 왜 이 기술이 특별한가?

• 더 선명한 그림: 기존 방법들보다 물속의 숫자, 격자무늬, 물고기 비늘 등 디테일을 훨씬 더 선명하게 되살립니다.
• 물결 지도까지 제공: 단순히 그림만 고치는 게 아니라, **"어떤 순간에 물결이 얼마나 높았는지"**에 대한 지도도 함께 만들어냅니다. 이는 해양 과학 연구나 수면 상태 분석에 매우 유용합니다.
• 실제 환경에서도 작동: 실험실처럼 완벽한 조건이 아니더라도, 실제 바다나 수영장에서 찍은 흐릿하고 흔들리는 영상에서도 잘 작동했습니다.

6. 실생활에 어떤 도움이 될까?

이 기술은 단순한 호기심을 넘어 실용적입니다.

• 해양 조사: 드론으로 바다 위를 날며 산호초의 백화 현상이나 해양 쓰레기를 정밀하게 관찰할 수 있습니다.
• 안전: 수영장에서 익사 사고를 감지하거나, 수중 구조 활동을 돕는 데 활용될 수 있습니다.
• 수중 촬영: 다이버 없이도 물속의 아름다운 풍경을 왜곡 없이 기록할 수 있게 됩니다.

요약

이 논문은 **"흔들리는 물결이라는 장벽을 AI 가 읽어내고, 그 장벽 뒤에 숨겨진 진짜 모습을 찾아내는 기술"**을 개발했습니다. 마치 흐릿한 안개 속을 걷는 사람에게 안개를 걷어주는 선명한 안경을 써주는 것과 같습니다. 이제 우리는 하늘에서 물속을 더 선명하게, 그리고 더 깊이 볼 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 항공 플랫폼 (드론 등) 에서 수중을 관측하는 것은 해양 과학, 산호초 모니터링, 수중 구조 활동 등에 매우 유용합니다.
• 핵심 문제: 공기와 물 사이의 굴절 (Refraction) 로 인해 수면의 파도 형태가 수중 물체의 위치와 모양을 왜곡시킵니다. 이 왜곡은 스넬의 법칙 (Snell's law) 에 따라 수면의 기울기 (gradient) 와 직접적으로 연결됩니다.
• 현재의 한계:
  • 실제 해저 지형에 대한 정밀한 기준 데이터 (Ground Truth) 를 얻기 어렵습니다.
  • 실제 파도는 다양한 주기와 진폭을 가진 파형의 중첩이므로, 시뮬레이션 데이터로만 학습하는 지도 학습 (Supervised Learning) 방법은 실제 환경에 일반화하기 어렵습니다.
  • 기존 비지도 학습 방법들은 복잡한 훈련 설정을 요구하거나 수면 높이 추정 기능을 제공하지 못했습니다.

2. 제안 방법론 (Methodology)

저자들은 짧은 입력 영상 시퀀스 (단일 관측점) 를 사용하여 왜곡된 수중 장면을 복원하고 동시에 수면의 높이를 추정하는 비지도 학습 (Unsupervised Learning) 프레임워크를 제안합니다.

A. 핵심 가정

• 수면 아래에는 고정된 평면 장면이 존재하며, 수면은 동적인 파도 형태를 가집니다.
• 수면의 요동 (fluctuation) 은 평균 수심에 비해 작습니다.
• 카메라는 물 밖에서 수직 (orthographic) 으로 촬영합니다. (단, 실험 결과에서 이 가정이 완벽하지 않아도 작동함을 보임)

B. 아키텍처: 두 개의 신경장 (Neural Fields)

모델은 두 개의 SIREN (Sinusoidal Representation Networks) 네트워크로 구성됩니다. SIREN 은 주기적 활성화 함수를 사용하여 연속 신호와 그 미분값을 효율적으로 모델링하는 데 특화되어 있습니다.

1. 수면 높이 모델 ($H_\theta$):

   • 입력: 2D 공간 좌표 $x$와 시간 $t$.
   • 출력: 해당 시점의 수면 높이 $h(x, t)$.
   • 역할: 수면의 높이와 공간적 기울기 ($\nabla h$) 를 동시에 예측합니다. 이 기울기를 통해 스넬의 법칙에 기반한 픽셀 왜곡 벡터 $d(x, t)$를 계산합니다.
   • 수식: $d(x, t) = (1 - \frac{1}{n}) h_0 \nabla h(x, t)$ (여기서 $n$은 굴절률, $h_0$는 평균 수심).

2. 이미지 모델 ($I_\phi$):

   • 입력: 2D 공간 좌표 $x$.
   • 출력: 왜곡이 제거된 원래 장면의 픽셀 값 $I_\phi(x)$.
   • 역할: 수면 높이 모델이 계산한 왜곡 벡터를 사용하여 왜곡된 픽셀 위치로 이미지를 샘플링함으로써 관측된 왜곡 영상을 재구성합니다.
   • 재구성 수식: $I^t_{\theta, \phi} = I_\phi (x_{reg} + d (H_\theta(x_{reg}, t)))$

C. 훈련 전략 (Training)

• 비지도 학습: 라벨이 없는 왜곡된 영상 시퀀스만 사용합니다.
• 손실 함수 (Loss):
  1. 초기화 단계: 왜곡이 0 인 높이와 평균 왜곡된 이미지를 예측하도록 초기화합니다.
  2. 주 훈련 단계: 재구성된 왜곡 영상 ($I^t_{\theta, \phi}$) 과 실제 관측된 왜곡 영상 ($I^t$) 간의 차이 (L1 Norm) 를 최소화합니다.
  • 기존 방법 (NDIR 등) 이 3 가지 손실 항을 필요로 했던 것과 달리, 본 방법은 단일 손실 항으로 안정적으로 훈련됩니다. 이는 SIREN 이 신호와 그 미분 (기울기) 을 동시에 잘 모델링하기 때문입니다.

3. 주요 기여 (Key Contributions)

1. 수면 형태 기반의 물리 모델링: 수면의 높이와 기울기를 명시적으로 모델링하여 굴절 왜곡을 물리 법칙 (스넬의 법칙) 에 따라 정확하게 보정합니다.
2. 동시 복원 및 추정: 왜곡 제거된 수중 이미지를 복원함과 동시에 **수면 높이 지도 (Surface Height Map)**를 추정할 수 있습니다.
3. 간소화된 비지도 학습: 복잡한 손실 함수나 사전 학습된 데이터셋 없이, SIREN 을 활용한 신경장 표현으로 단일 손실 함수만으로 SOTA(최신) 성능을 달성합니다.
4. 실제 데이터 적용: 시뮬레이션 데이터뿐만 아니라, 실제 수조 (Real1, TianSet) 에서 촬영된 복잡한 파도와 모션 블러가 포함된 데이터에서도 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 실제 데이터 (Real1, TianSet) 와 시뮬레이션 데이터 (Gaussian, Ripple, Ocean wave) 를 사용했습니다.
• 성능 비교:
  • 비지도 학습 기준 (NDIR [11]): PSNR, SSIM, LPIPS(지각적 품질) 모든 지표에서 NDIR 보다 우수한 성능을 보였습니다. 특히 LPIPS 점수에서 큰 개선을 보였습니다.
  • 지도 학습 기준 (Li et al. [12]): 단일 이미지 기반의 최신 지도 학습 방법보다도 더 나은 복원 결과를 보여주었습니다.
• 정량적 지표:
  • Real1 데이터셋에서 평균 PSNR 19.78, SSIM 0.61, LPIPS 0.12 를 기록하여 기존 방법들을 상회했습니다.
  • 시뮬레이션 데이터에서도 모든 파형 유형 (Gaussian, Ripple, Ocean) 에서 NDIR 보다 높은 정확도를 보였습니다.
• 정성적 결과:
  • 직선, 숫자, 격자 무늬 등의 왜곡이 제거되어 선명한 이미지를 복원했습니다.
  • 추정된 수면 높이는 실제 파도의 곡률과 왜곡 정도를 잘 반영했습니다.
  • 수면이 평행하지 않거나 모션 블러가 있는 실제 환경 (Fig. 7) 에서도 견고한 (Robust) 복원 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 과학적/실용적 가치: 드론을 이용한 해양 관측, 양식장 모니터링, 수중 구조 활동 (실종자 탐색) 등 다양한 분야에서 수면 왜곡을 제거하여 정확한 관측을 가능하게 합니다.
• 기술적 혁신: 물리 법칙을 신경망 아키텍처에 통합하여, 라벨 데이터 없이도 복잡한 물리 현상 (굴절) 을 해결할 수 있음을 보여주었습니다.
• 미래 전망: 복원된 이미지를 기반으로 한 특징점 매칭 (Feature Matching) 이나 모노큘러 SLAM 등 하위 작업의 전처리 단계로 활용될 수 있습니다.

이 논문은 수중 영상 복원 분야에서 비지도 학습과 신경장 (Neural Fields) 기법의 결합을 통해 물리 기반의 정확한 복원과 추가적인 물리량 (수면 높이) 추정을 동시에 달성한 획기적인 연구로 평가됩니다.