Downstream Task Inspired Underwater Image Enhancement: A Perception-Aware Study from Dataset Construction to Network Design

이 논문은 인간 시각 모델을 활용하여 하류 작업 (객체 감지, 분할 등) 의 인식 성능을 극대화하기 위해 태스크 인지형 주의를 갖춘 양분지 네트워크와 태스크 기반 데이터셋을 제안하는 'DTI-UIE'프레임워크를 소개합니다.

핵심

이 논문은 **"물속에서 찍은 흐릿하고 색이 바랜 사진을 어떻게 하면 로봇이나 AI 가 더 잘 볼 수 있게 만들까?"**라는 질문에 대한 해답을 제시합니다.

기존의 방법들은 "사람이 보기엔 예쁘게" 사진을 보정하는 데 집중했지만, 이 논문은 "AI 가 사물을 인식하는 데 도움이 되도록" 사진을 보정하는 새로운 방식을 제안합니다.

이 내용을 쉽게 이해할 수 있도록 비유를 들어 설명해 드릴게요.

---

1. 문제점: "사람 눈"과 "로봇 눈"은 다릅니다

우리가 물속 사진을 볼 때는 "색이 선명하고, 대비가 뚜렷하면 예쁘다"라고 생각합니다. 그래서 기존 기술들은 사진을 보정할 때 사람 눈에 예쁘게 보이도록 색을 교정하고 흐릿한 부분을 선명하게 만들었습니다.

하지만 **로봇이나 AI(컴퓨터)**는 사람과 다릅니다.

• 사람: "아, 이 물고기가 예쁘네!"라고 색과 전체적인 느낌을 보고 판단합니다.
• 로봇: "저기 물고기의 모서리가 어디고, 무늬가 어떻게 연결되는지"를 분석해서 물고기를 찾습니다.

기존 기술로 사진을 보정하면 사람은 예쁘다고 생각하지만, 로봇은 오히려 중요한 모서리나 질감 정보가 흐려지거나 노이즈가 생겨서 물고기를 못 찾게 되는 경우가 많았습니다. 마치 안경을 쓴 사람이 선명하게 보이지만, 카메라 렌즈에는 반사광이 너무 강해 찍히지 않는 것과 비슷합니다.

2. 해결책: "AI 를 위한 사진관" (DTI-UIE)

저자들은 이 문제를 해결하기 위해 DTI-UIE라는 새로운 시스템을 만들었습니다. 이 시스템은 세 가지 핵심 아이디어로 작동합니다.

① 새로운 지도 만들기: "AI 가 직접 고른 정답" (TI-UIED)

기존에는 사람이 "이 사진이 가장 예쁘다"라고 투표해서 정답 (Ground Truth) 을 만들었습니다. 하지만 저자들은 **"이 사진이 AI 가 물고기를 가장 잘 찾을 수 있게 해주는가?"**를 기준으로 정답을 만들었습니다.

• 비유: 시험 문제를 만들 때, "사람이 보기 좋은 문제"를 내는 게 아니라, **"학생 (AI) 이 가장 잘 풀 수 있는 문제"**를 내는 것과 같습니다. 여러 AI 모델이 다양한 보정된 사진을 보고, "어떤 사진으로 보정했을 때 내가 물고기를 가장 잘 찾았는가?"를 계산해서 그 사진을 '정답'으로 삼았습니다.

② 두 개의 전문가 팀 (이중 구조 네트워크)

사진을 보정할 때 한 가지 방법만 쓰지 않고, 두 가지 역할을 나누어 전문적으로 처리합니다.

• 팀 A (의미 파악 팀): 물속의 큰 그림을 봅니다. "저게 물고기인가, 해초인가?"를 파악하는 **전체적인 의미 (Semantic)**를 복원합니다.
• 팀 B (디테일 팀): 물고기의 비늘이나 모서리 같은 **세부적인 질감 (Detail)**을 잃지 않고 선명하게 만듭니다.
• 결과: 이 두 팀이 협력해서, AI 가 물고기를 인식하는 데 필요한 '의미'와 '세부 정보'를 모두 갖춘 사진을 만들어냅니다.

③ 경험의 힘: "과거의 지식을 활용" (TA-CTB 모듈)

AI 는 물속 사진을 보정할 때, "물고기 모양은 이런 거야"라는 **미리 알고 있는 지식 (Prior)**을 활용합니다.

• 비유: 어두운 방에서 물체를 찾을 때, 우리는 "아, 저건 의자일 거야"라고 추측하며 찾아봅니다. 이 시스템도 마찬가지로, "물속에서 물고기를 찾으려면 이런 특징이 중요해"라는 지식을 보정 과정에 주입해서, AI 가 인식하기 좋은 형태로 사진을 변형시킵니다.

3. 학습 방법: "세 단계 훈련" (3-Stage Training)

이 시스템을 가르치는 과정도 사람처럼 단계별로 배웁니다.

1. 1 단계: AI 가 물속 사진을 보고 "어떤 특징이 중요한지"를 먼저 학습합니다. (지식 습득)
2. 2 단계: 그 지식을 바탕으로 사진을 보정합니다. 이때 "보정한 사진으로 AI 가 물고기를 잘 찾았는가?"를 확인하며 보정 기술을 다듬습니다.
3. 3 단계: 보정된 사진과 원래 사진을 섞어서 훈련합니다. 이렇게 하면 AI 가 보정된 사진에만 의존하지 않고, 어떤 상황에서도 잘 작동하도록 유연성을 기릅니다.

4. 결론: 왜 이것이 중요한가요?

이 연구는 **"사진을 예쁘게 만드는 것"이 아니라 "사진을 유용하게 만드는 것"**에 초점을 맞췄습니다.

• 기존: 사람이 보기에 예쁜 사진 → AI 는 못 봄.
• 이 연구: 사람이 보기에 평범할 수도 있지만, AI 가 물고기, 로봇, 난파선 등을 정확히 찾아낼 수 있는 사진 → AI 가 잘 봄.

이 기술은 수중 로봇이 난파선을 수색하거나, 해양 생물을 연구하거나, 수중 구조물을 점검할 때 정확도와 효율을 획기적으로 높여줄 것으로 기대됩니다. 결국, 로봇의 눈을 위해 사진을 다시 찍는 것과 같은 혁신입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 수중 이미지 향상 (UIE, Underwater Image Enhancement) 방법들은 주로 인간의 시각적 지각 (Human Visual Perception) 을 최적화하는 데 초점을 맞추고 있습니다. 대비, 색상 균형, 가시성 등을 개선하여 인간이 보기 좋게 만드는 것을 목표로 합니다. 그러나 이러한 접근 방식은 다음과 같은 한계를 가집니다:

• 하류 작업 (Downstream Tasks) 과의 불일치: 인간의 시각적 품질 향상이 반드시 수중 로봇의 객체 감지 (Object Detection), 의미 분할 (Semantic Segmentation) 등의 컴퓨터 비전 작업 성능 향상으로 이어지지 않습니다.
• 고주파 정보 손실: 기존 방법들은 종종 배경의 산란 노이즈를 증폭하거나, 과도하게 날카로운 경계를 생성하여 실제 작업에 중요한 고주파 세부 정보 (텍스처, 에지) 를 왜곡하거나 흐리게 만듭니다.
• 데이터셋 부재: 기존 수중 이미지 데이터셋은 인간의 주관적 선호도에 기반하여 구축되었기 때문에, 특정 하류 작업 (예: 분할, 감지) 에 최적화된 기준 이미지 (Ground Truth) 를 제공하지 못합니다.

2. 제안 방법 (Methodology)

저자들은 DTI-UIE (Downstream Task-Inspired Underwater Image Enhancement) 프레임워크를 제안하며, 이는 데이터셋 구축부터 네트워크 설계, 학습 전략까지 하류 작업의 요구사항에 맞춰 설계되었습니다.

A. 작업 영감형 UIE 데이터셋 (TI-UIED) 구축

• 개념: 인간의 주관적 투표 대신, 다양한 의미 분할 네트워크 (Semantic Segmentation Networks) 의 성능을 기준으로 최적의 향상 이미지를 자동 선택하는 데이터셋을 구축했습니다.
• 프로세스:
  1. 다양한 전통적 및 딥러닝 기반 UIE 알고리즘으로 원본 수중 이미지를 향상시킵니다.
  2. 여러 분할 모델 (UNet, Segformer 등) 로 학습 및 테스트하여 mIoU(평균 교집합 비율) 점수가 가장 높고 일관되게 향상된 이미지를 '기준 이미지 (Ground Truth)'로 선정합니다.
  3. 이를 통해 인간의 시각적 품질이 아닌, 작업 수행 능력 (Task Performance) 을 극대화하는 데이터셋 (TI-UIED) 을 생성합니다.

B. DTI-UIE 네트워크 아키텍처

인간의 시각 처리 메커니즘 (전역적 의미 정보와 국소적 세부 정보의 통합) 에서 영감을 받아 이중 분기 (Two-Branch) 구조를 설계했습니다.

1. 특징 복원 분기 (Feature Restoration Branch, FRB):
   • UNet 형태의 인코더-디코더 구조를 사용하며, Conv-attention Transformer Block (CTB) 을 적용합니다.
   • 전역적인 의미적 특징 (Semantic Features) 을 추출하고 복원하여 하류 작업에 중요한 고수준 정보를 유지합니다.
2. 세부 향상 분기 (Detail Enhancement Branch, DEB):
   • 원본 이미지 해상도를 유지하며 작동하여 에지, 텍스처, 미세한 구조적 세부 사항을 보존합니다.
   • 인코더-디코더 구조에서 발생할 수 있는 공간 정보 손실을 방지합니다.
3. 작업 인식 Conv-attention Transformer Block (TA-CTB):
   • 하류 작업 네트워크 (Task Network) 로부터 추출된 작업 관련 사전 지식 (Task-specific Priors) 을 향상 과정에 주입합니다.
   • 이 모듈은 이질적인 작업 표현 간의 상호작용을 가능하게 하여, 인식에 가장 중요한 특징을 선택적으로 강조합니다.

C. 3 단계 학습 프레임워크 및 TDP Loss

인간의 지각의 피드백 메커니즘을 모방한 3 단계 학습 전략을 도입했습니다.

1. 1 단계: 사전 작업 네트워크 (Segpri) 를 학습하여 원본 이미지로부터 작업 관련 사전 특징 (Prior Features) 을 추출합니다.
2. 2 단계: 추출된 사전 특징을 활용하여 향상 네트워크 (Enc) 를 학습합니다. 이때 작업 주도 지각 손실 (Task-Driven Perceptual Loss, TDP Loss) 을 사용합니다. TDP Loss 는 향상된 이미지와 기준 이미지의 특징 공간 (Feature Space) 에서의 차이를 최소화하여, 향상된 이미지가 하류 작업의 인식 정확도에 기여하도록 유도합니다.
3. 3 단계: 향상된 이미지, 기준 이미지, 그리고 혼합된 이미지 (Mix Image) 를 사용하여 작업 네트워크 (Segtask) 를 업데이트합니다. 이는 단축 학습 (Shortcut Learning) 을 방지하고 일반화 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. TI-UIED 데이터셋: 하류 비전 작업 (분할, 감지 등) 에 특화되어 자동으로 구축된 최초의 수중 이미지 향상 데이터셋을 제안했습니다.
2. DTI-UIE 프레임워크: 전역적 의미 복원과 국소적 세부 향상을 동시에 수행하는 이중 분기 네트워크와, 작업 사전 지식을 주입하는 TA-CTB 모듈을 설계했습니다.
3. TDP Loss 및 3 단계 학습: 향상 목표와 하류 작업 요구사항 간의 정렬을 강화하기 위해 학습 가능한 TDP Loss 와 피드백 기반의 3 단계 학습 전략을 도입했습니다.

4. 실험 결과 (Results)

수중 이미지 분할 (SUIM, LIACi), 객체 감지 (RUOD), 인스턴스 분할 (UIIS) 등 다양한 하류 작업에서 기존 방법들 (UDCP, HUPE, TFUIE, TACL 등) 과 비교 평가되었습니다.

• 성능 향상: DTI-UIE 는 모든 하류 작업에서 일관되게 가장 높은 성능을 기록했습니다.
  • 의미 분할 (Semantic Segmentation): UNet 기준 mIoU 에서 기존 최상위 방법 대비 약 0.5~1.0%p 이상 향상 (예: SUIM 에서 67.61% 달성).
  • 객체 감지 (Object Detection): Faster R-CNN, SSD, DINO 모델 모두에서 mAP가 향상되었으며, 특히 작고 가려진 객체의 감지율이 크게 개선되었습니다.
  • 인스턴스 분할 (Instance Segmentation): Mask R-CNN 에서 mAP가 0.40~0.30 포인트 향상되었습니다.
• 시각적 품질: 기존 인간 지각 중심 방법들은 배경 노이즈를 증폭하거나 에지를 흐리게 만드는 반면, DTI-UIE 는 목표와 배경의 명확한 구분과 노이즈 감소 효과를 보여주었습니다.
• 복잡도: 모델 파라미터 수와 FLOPs 측면에서 경쟁력 있는 복잡도를 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 수중 이미지 처리 분야에서 "시각적 품질 (Visual Quality)" 과 "작업 수행 능력 (Task Performance)" 사이의 간극을 해소하는 중요한 전환점을 제시합니다.

• 패러다임 전환: 인간의 주관적 선호도가 아닌, 실제 컴퓨터 비전 작업의 성공을 기준으로 이미지 향상 알고리즘을 설계하고 데이터셋을 구축해야 함을 증명했습니다.
• 실용성: 수중 로봇, 해양 탐사, 수중 감시 등 실제 응용 분야에서 더 정확한 인식과 결정을 내릴 수 있는 고품질 전처리 이미지를 제공합니다.
• 일반화: 분할 작업에 기반하여 학습되었음에도 불구하고, 객체 감지와 인스턴스 분할 등 다른 작업으로도 우수한 성능이 전이됨을 보여주어, 작업 중심의 접근 방식이 수중 환경에서 강력한 일반화 능력을 가진다는 것을 입증했습니다.

결론적으로, DTI-UIE 는 데이터셋 구축부터 네트워크 설계, 학습 전략에 이르기까지 하류 작업의 요구사항을 체계적으로 반영함으로써, 수중 이미지 인식 시스템의 성능을 획기적으로 개선한 혁신적인 프레임워크입니다.