A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning

이 논문은 딥러닝 기반 수중 이미지 향상 (UIE) 기술의 물리 모델, 알고리즘 분류, 평가 지표 및 최신 기법들의 정량적·정성적 비교 분석을 체계적으로 제공하여 향후 연구 방향을 제시합니다.

핵심

🌊 1. 문제 상황: "안개 낀 바다 속 카메라"

바다 속은 빛이 물에 흡수되고 산란되면서 매우 까다롭습니다.

• 색깔이 사라집니다: 물속으로 깊게 들어갈수록 빨간색, 주황색, 노란색 빛이 먼저 사라지고, 파란색과 초록색 빛만 남습니다. 마치 빨간색 안경을 끼고 세상을 보는 것처럼 모든 것이 초록빛으로 보입니다.
• 흐릿하고 탁합니다: 물속에 떠 있는 미세한 입자들 (진흙, 플랑크톤 등) 이 빛을 방해합니다. 마치 안개 낀 날이나 더러운 유리창을 통해 보는 것과 같습니다.
• 빛이 부족합니다: 햇빛이 닿지 않는 깊은 곳에서는 어둡기만 합니다.

이런 환경에서 찍은 사진을 보정해서 원래의 선명한 모습으로 되돌리는 작업을 **'수중 이미지 향상 (UIE)'**이라고 합니다.

🔍 2. 이 논문이 한 일: "전설적인 요리사들의 레시피 모음집"

과거에는 수중 사진을 보정할 때 물리 법칙을 이용해 수학적 공식을 적용하는 전통적인 방법들이 있었습니다. 하지만 물속 환경은 너무 복잡해서 공식 하나로 해결하기 어려웠습니다.

최근에는 **인공지능 (딥러닝)**이 이 문제를 해결하기 위해 등장했습니다. 이 논문은 **"지금까지 개발된 모든 인공지능 보정 기술들을 한곳에 모아 정리한 백과사전"**입니다.

저자들은 이 기술들을 6 가지 카테고리로 나누어 분석했습니다.

🏗️ 6 가지 보정 기술의 종류 (요리사의 도구)

1. 네트워크 구조 (요리 도구):

   • 이미지를 처리하는 인공지능의 '몸체'를 어떻게 만들었나요?
   • 전통적인 회로 (Convolution): 기본적이고 효율적인 도구.
   • 주의 집중 (Attention): 중요한 부분 (예: 물고기의 눈) 에만 집중하는 도구.
   • 변환기 (Transformer): 언어 번역처럼 이미지의 먼 부분까지 연결해서 이해하는 최신 도구.
   • 파장 분석 (Fourier/Wavelet): 이미지를 주파수나 파동으로 쪼개서 세부적인 결함을 찾아내는 정교한 도구.

2. 학습 전략 (요리법):

   • 적대적 학습 (GAN): '위조지폐단속반 (판별자)'과 '위조지폐범 (생성자)'이 서로 경쟁하며 더 완벽한 사진을 만들어내는 방식.
   • 순위 학습: "이 사진이 저 사진보다 더 낫다"는 순위를 매겨 학습시키는 방식.
   • 대조 학습: 비슷한 사진과 다른 사진을 비교하며 특징을 배우는 방식.

3. 학습 단계 (단계별 요리):

   • 한 번에 해결: 한 번에 선명하게 만드는 방법.
   • 거칠게 → 정교하게: 먼저 대략적인 색을 고친 뒤, 세부적으로 다듬는 방법.
   • 확산 모델: 잡음을 하나하나 제거하며 선명한 이미지를 만들어내는 최신 방식.

4. 도움 작업 (조수):

   • 사진 보정만 하는 게 아니라, **물고기의 위치 (객체 인식)**나 **깊이 (Depth)**를 함께 추정하면서 보정 정확도를 높이는 방법입니다.

5. 영역 관점 (다른 세계의 지식):

   • 지식 전수: 물속이 아닌 맑은 땅 위의 사진 (지상 이미지) 에서 배운 지식을 물속에 적용하는 방법.
   • 다양한 출력: 하나의 사진으로 여러 가지 스타일 (더 밝게, 더 선명하게 등) 을 선택해 줄 수 있는 방법.

6. 분해와 결합 (해부학):

   • 이미지의 '색깔', '빛', '질감'을 분리 (Disentanglement) 해서 각각을 고친 뒤 다시 합치는 방법입니다.

📊 3. 실험 결과: "누가 가장 잘하나?"

논문 작성자들은 수많은 인공지능 알고리즘을 **동일한 조건 (공정한 경기)**에서 시험해 보았습니다.

• 결과: 어떤 알고리즘이 무조건 최고라는 것은 없습니다.
  • 선명한 데이터 (정답이 있는 경우): 'UIE-DM'이라는 알고리즘이 가장 잘 맞췄습니다.
  • 실제 흐릿한 사진 (정답이 없는 경우): 'UGAN'이라는 알고리즘이 가장 자연스럽게 보였습니다.
• 교훈: 단순히 숫자 (점수) 가 높다고 해서 사람이 보기 좋은 사진은 아닙니다. 사람 눈이 좋아하는 자연스러운 색감과 디테일이 중요합니다.

🔮 4. 앞으로의 과제: "아직 해결되지 않은 미스터리"

이 기술은 아직 완벽하지 않습니다. 논문은 앞으로 연구해야 할 중요한 문제들을 제시합니다.

• 게임 엔진을 활용한 데이터 만들기: 실제 바다에서 짝 (원본과 보정된 사진) 을 구하는 건 불가능에 가깝습니다. 대신 **게임 엔진 (Unreal 등)**을 이용해 가상의 바다를 만들어 완벽한 학습 데이터를 만드는 것이 필요합니다.
• 下游 작업 (다른 작업) 과의 관계: 사진을 보정하면 물고기를 찾는 AI 가 더 잘 작동할 거라고 생각했는데, 오히려 보정된 사진이 물고기 찾기를 방해할 수도 있다는 놀라운 발견이 있었습니다. 이 관계를 연구해야 합니다.
• 텍스트와의 협력: "이 물고기는 붉은색이고, 저것은 파란색이다"라는 텍스트 설명을 AI 에게 알려주면 더 잘 보정할 수 있을까요? (이미지 + 언어 모델)
• 불균일한 조명: 인공 조명을 켜면 빛이 한쪽으로 치우쳐서 그림자가 생깁니다. 이런 복잡한 빛 조건을 어떻게 고칠지 연구해야 합니다.

💡 요약

이 논문은 **"바다 속 흐릿한 사진을 AI 로 선명하게 만드는 기술의 현재와 미래"**를 정리한 보고서입니다.
다양한 AI 기술들이 등장했지만, 아직 완벽한 해결책은 없습니다. 앞으로는 더 똑똑한 학습 데이터, 다른 작업과의 협력, 그리고 사람이 진짜로 좋아하는 자연스러운 결과를 만드는 것이 핵심 열쇠가 될 것입니다.

이 논문은 연구자들에게 "지금까지 무엇을 했는지"를 알려주고, "무엇을 더 해야 할지"에 대한 나침반을 제공한다고 볼 수 있습니다.

기술 요약

제시된 논문 "A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning" (딥러닝 기반 수중 이미지 향상 (UIE) 에 대한 포괄적 조사) 에 대한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem Definition)

수중 이미징은 컴퓨터 비전 분야에서 중요한 과제이지만, 물의 흡수 (absorption) 와 산란 (scattering) 효과로 인해 이미지 품질이 심각하게 저하됩니다. 주요 왜곡 요소는 다음과 같습니다.

• 색 왜곡 및 대비 감소: 파장에 따른 빛의 감쇠 차이로 인해 이미지가 청록색 (blue-green) 으로 변합니다.
• 흐림, 노이즈, 흐릿한 효과: 부유 입자나 탁한 물로 인해 이미지가 흐릿하거나 노이즈가 발생합니다.
• 저조도: 수심이 깊어질수록 자연광이 부족하여 조명이 어두워집니다.

기존의 비딥러닝 기반 (NDL-UIE) 방법들은 물리 모델이나 사전 가정에 의존하지만, 복잡한 수중 환경에서 정확한 물리 모델링의 부재와 파라미터 추정 오차로 인해 한계가 있었습니다. 이에 따라 데이터 기반의 딥러닝 (DL-UIE) 방법들이 주목받고 있으나, 이를 체계적으로 정리하고 공정한 비교를 위한 연구는 부족했습니다.

2. 방법론 및 분류 체계 (Methodology & Taxonomy)

저자들은 기존 DL-UIE 알고리즘들을 6 가지 주요 관점에서 분류하고 심층적으로 분석했습니다.

1. 네트워크 아키텍처 (Network Architecture):

   • 합성곱 (Convolution): UWCNN, UWNet 등 기본 구조부터 잔차 연결 (Residual), 다중 스케일 융합 등.
   • 어텐션 메커니즘 (Attention): 공간 및 채널 차원의 어텐션을 활용한 WaveNet, ADMNNet 등.
   • Transformer: 장기 의존성 (long-distance dependency) 을 모델링하는 U-Trans, Spectroformer 등.
   • 푸리에 변환 (Fourier) 및 웨이블릿 (Wavelet): 주파수 영역과 공간 영역을 결합하거나 주파수 대역을 분리하여 처리하는 UHD, UIE-WD 등.
   • 신경 아키텍처 탐색 (NAS): AutoEnhancer 와 같이 자동화된 네트워크 구조 탐색 시도.

2. 학습 전략 (Learning Strategy):

   • 적대적 학습 (Adversarial Learning): GAN 기반의 생성자와 판별자를 통해 시각적 품질 향상 (FUnIEGAN, UIE-cGAN 등).
   • 순위 학습 (Rank Learning): 완벽한 정답 (Ground Truth) 이 부재할 때, 이미지 간의 상대적 품질 순위를 학습하여 최적화 (URanker 등).
   • 대조 학습 (Contrastive Learning): 레이블이 없는 데이터를 활용하여 긍정/부정 샘플 간의 거리를 최적화 (TACL, HCLR-Net 등).
   • 강화 학습 (Reinforcement Learning): 무참조 평가 지표를 보상 함수로 활용 (HPUIE-RL).

3. 학습 단계 (Learning Stage):

   • 단일 단계 (Single Stage): 한 번의 매핑으로 향상.
   • 거친 것에서 정밀한 것 (Coarse-to-fine): 초기 추정 후 세부 조정 (MBANet, CUIE 등).
   • 확산 과정 (Diffusion Process): 노이즈 제거 과정을 역으로 활용하여 고품질 이미지 생성 (UIE-DM).

4. 보조 작업 (Assistance Task):

   • 시맨틱/깊이 보조: 분할, 객체 감지, 깊이 추정 (Depth Estimation) 과의 결합을 통해 수중 환경의 맥락 정보를 활용 (SGUIE, Joint-ID 등).

5. 도메인 관점 (Domain Perspective):

   • 지식 전이 (Knowledge Transfer): 합성 데이터와 실데이터 간의 도메인 격차 해소 (TUDA).
   • 도메인 번역 (Domain Translation): 비쌍합 (Unpaired) 데이터를 활용한 이미지 변환.
   • 다양한 출력 (Diversified Output): 사용자 선택에 따른 다양한 향상 결과 제공 (PWAE, CECF).

6. 분리 및 융합 (Disentanglement & Fusion):

   • 물리적 임베딩: 물리 모델 (Atmospheric Scattering Model 등) 을 네트워크에 직접 통합.
   • Retinex 모델: 반사율과 조명 성분으로 분해하여 처리.
   • 색 공간 융합: RGB, HSV, LAB 등 다양한 색 공간의 장점을 결합.
   • 수종 (Water Type) 초점: 다양한 수중 환경 (연안, 심해, 탁한 물) 에 적응.

3. 주요 기여 (Key Contributions)

• 포괄적 조사: 수중 이미지 향상 (UIE) 에 대한 최초의 체계적이고 포괄적인 딥러닝 기반 조사 논문 제공.
• 공정한 비교 실험: 기존 문헌의 실험 설정 불일치 문제를 해결하기 위해, 여러 벤치마크 데이터셋 (UIEB, LSUI, EUVP 등) 에서 통일된 환경 (배치 크기, 이미지 크기, 데이터 증강, 평가 코드 등) 하에 최신 알고리즘 (SOTA) 들을 재학습 및 평가.
• 정량적 및 정성적 평가: PSNR, SSIM 과 같은 정참조 (Full-reference) 지표와 UIQM, UCIQE, URANKER 와 같은 무참조 (No-reference) 지표를 모두 활용하여 성능을 다각도로 분석.
• 리소스 공개: 관련 코드, 모델, 데이터셋을 포함한 UIE 리소스 모음집 (GitHub) 제공.

4. 실험 결과 (Results)

• 정참조 데이터셋 (Synthetic/Paird Data):
  • UIE-DM (Diffusion 모델 기반) 이 PSNR 및 SSIM 지표에서 가장 우수한 성능을 보였습니다.
  • 그러나 상위 5~10 개 알고리즘 간의 성능 차이는 미미하여, 단순한 정량적 지표 향상이 더 이상 쉬운 목표가 아님을 시사합니다.
• 무참조 데이터셋 (Real-world/No-reference Data):
  • UGAN이 UIQM 및 UCIQE 지표에서 전반적으로 가장 좋은 일반화 능력을 보였습니다.
  • URANKER (데이터 기반 순위 평가) 에서는 UIE-DM이 가장 높은 점수를 기록했습니다.
  • 시각적 결과에서는 알고리즘마다 색상 보정, 디테일 복원, 아티팩트 제거 등에서 뚜렷한 차이가 관찰되었습니다.
• 결론: 현재까지의 연구는 합성 데이터에서의 적합성 (Fitting) 과 실데이터에서의 일반화 (Generalization) 사이에서 균형을 찾는 단계이며, 단일 알고리즘이 모든 측면에서 최우위를 차지하지는 않습니다.

5. 의의 및 향후 연구 방향 (Significance & Future Work)

• 의의: 이 논문은 UIE 분야의 현재 상태를 명확히 하고, 연구자들이 기존 방법론을 쉽게 비교하고 발전시킬 수 있는 기준을 마련했습니다. 특히 실험 설정의 불일치를 해결한 공정한 비교는 향후 연구의 신뢰성을 높이는 데 기여합니다.
• 향후 연구 방향:
  1. 고품질 쌍합 데이터 합성: 게임 엔진 (Unreal Engine 등) 을 활용한 현실적인 수중 환경 시뮬레이션 및 데이터 생성.
  2. 하류 작업 (Downstream Tasks) 영향: 이미지 향상 알고리즘이 객체 감지 등 다른 컴퓨터 비전 작업의 성능에 미치는 영향 (일부 연구에서는 오히려 성능 저하가 발생하기도 함) 에 대한 심층 분석.
  3. 대규모 사전 학습된 비전 - 언어 모델 (Vision-Language Models) 과의 협력: CLIP 등의 모델을 활용하여 텍스트 기반의 고수준 시맨틱 정보를 UIE 에 통합.
  4. 비균일 조명 (Non-uniform Illumination): 인공 조명 하에서의 수중 이미지 향상 문제 해결.
  5. 신뢰할 수 있는 평가 지표: 인간의 주관적 미감과 일치하는 무참조 평가 지표 개발.
  6. 다른 이미지 복원 작업과의 결합: 안개 제거, 빗물 제거, 노이즈 제거 등 다른 저수준 이미지 복원 작업과의 지식 공유.

이 논문은 수중 이미지 향상 분야의 현재 기술 수준을 종합적으로 정리하고, 미래 연구가 나아가야 할 방향을 제시하는 중요한 가이드라인 역할을 합니다.