⚡ electrical engineering

Enhancing Underwater Images via Adaptive Semantic-aware Codebook Learning

이 논문은 수중 환경의 영역별로 상이한 퇴화 특성을 해결하기 위해, 시맨틱 정보를 활용한 적응형 이산 코드북 표현과 3단계 학습 패러다임을 도입하여 색상 왜곡을 줄이고 세부 질감을 효과적으로 복원하는 SUCode 네트워크를 제안합니다.

원저자: Bosen Lin, Feng Gao, Yanwei Yu, Junyu Dong, Qian Du

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bosen Lin, Feng Gao, Yanwei Yu, Junyu Dong, Qian Du

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 기술의 문제점: "모두에게 똑같은 안경을 씌워준다"

바닷속은 위치마다 상황이 완전히 다릅니다. 바로 앞에 있는 물고기는 비교적 잘 보이지만, 저 멀리 있는 산호초는 물의 탁도와 빛의 흡수 때문에 아주 흐릿하고 푸르스름하게 보이죠.

기존의 AI 방식은 마치 **'모든 사람에게 똑같은 도수의 선글라스를 씌워주는 것'**과 같았습니다.

앞에 있는 물고기를 선명하게 만들려고 안경을 조절하면, 저 멀리 있는 배경은 너무 과하게 밝아져서 색이 번져버립니다.
반대로 배경에 맞추면 앞의 물고기가 흐릿해지죠. 즉, '장소마다 다른 환경'을 고려하지 못하는 게 문제였습니다.

2. SUCode의 해결책: "맞춤형 색칠 공부 세트 (Semantic-aware Codebook)"

SUCode는 이 문제를 해결하기 위해 **'의미(Semantic)를 아는 맞춤형 색칠 공부 세트'**라는 개념을 도입했습니다.

이 AI는 사진을 보자마자 "아, 여기는 물고기 구역이고, 여기는 산호 구역이고, 여기는 그냥 바닷물 구역이구나!"라고 먼저 파악합니다. 그리고 각 구역에 딱 맞는 **'색상과 질감 카드(Codebook)'**를 따로 준비합니다.

물고기 카드: 반짝이는 비늘의 질감과 선명한 색상 위주
산호 카드: 복잡한 모양과 자연스러운 색감 위주
바닷물 카드: 탁함을 제거하고 맑게 만드는 색상 위주

사진의 각 픽셀(점)마다 "너는 물고기니까 '물고기 카드'에서 가장 비슷한 색을 가져와!"라고 명령하는 방식입니다. 덕분에 사진 전체를 통째로 바꾸는 게 아니라, 구역별로 맞춤형 수술을 하는 것처럼 아주 정교하게 색과 형태를 되살릴 수 있습니다.

3. 핵심 기술: "두 가지 마법의 도구"

SUCode 안에는 사진을 더 완벽하게 만드는 두 가지 마법 도구가 들어있습니다.

GCAM (색상 조절 마법사): 바닷속에서는 붉은색 빛이 가장 먼저 사라져서 사진이 온통 푸르스름해집니다. GCAM은 이 문제를 알고 있어서, 사라진 붉은색 채널을 똑똑하게 다시 채워 넣어 색깔의 균형을 맞춥니다.
FAFF (질감 복구 마법사): 사진의 '뼈대(형태)'는 그대로 유지하면서, 그 위에 '살(선명한 질감)'만 아주 자연스럽게 입히는 기술입니다. 덕분에 사진이 뭉개지지 않고 아주 날카롭고 선명하게 보입니다.

4. 요약하자면?

이 논문의 핵심은 **"바닷속 사진을 그냥 통째로 고치려 하지 말고, 사진 속 물체가 무엇인지 먼저 파악한 뒤, 물체마다 각기 다른 '맞춤형 색상/질감 카드'를 꺼내서 정교하게 색칠하자!"**는 것입니다.

결과적으로:
이 기술을 사용하면 기존 AI보다 훨씬 더 자연스러운 색감, 선명한 디테일, 그리고 실제 눈으로 보는 것과 유사한 깨끗한 이미지를 얻을 수 있습니다. 이는 나중에 해양 로봇이 바닷속을 탐사하거나, 심해 유물을 조사할 때 아주 중요한 기술이 될 것입니다.

[기술 요약] SUCode: 적응형 시맨틱 인지 코드북 학습을 통한 수중 이미지 개선

1. 문제 정의 (Problem Statement)

수중 이미지 개선(Underwater Image Enhancement, UIE)은 다음과 같은 두 가지 핵심적인 난제를 안고 있습니다.

부정치 문제 및 깨끗한 참조 데이터(Ground-Truth)의 부재: 수중 환경의 빛 흡수, 산란, 탁도 등으로 인해 완벽하게 깨끗한 참조 이미지를 획득하는 것이 불가능합니다. 따라서 기존 연구에서 사용하는 'Ground-Truth'는 인간이 선택한 '의사 정답(Pseudo Ground-Truth)'에 불과하며, 이는 학습 시 모델에 노이즈를 유입시키는 원인이 됩니다.
비균일한 열화 패턴 (Spatially Varying Degradation): 수중 장면은 깊이, 탁도, 객체의 종류(전경 vs 배경)에 따라 색상 왜곡과 대비 손실이 위치마다 다르게 나타납니다. 기존의 글로벌 모델(Global Model) 방식은 이미지 전체에 동일한 매핑을 적용하므로, 전경은 과도하게 개선되고 배경은 여전히 흐릿한 현상이 발생합니다.

2. 제안 방법론 (Methodology: SUCode)

본 논문은 시맨틱 정보(Semantic Information)를 코드북 학습에 통합하여, 이미지의 각 영역(객체, 물, 바닥 등)에 최적화된 이산적 표현을 학습하는 **SUCode (Semantic-aware Underwater Codebook Network)**를 제안합니다. 학습은 세 단계의 점진적 패러다임으로 진행됩니다.

Stage I: 시맨틱 인지 코드북 사전 학습 (Semantic-aware Codebook Pretraining)
- 시맨틱 마스크(Semantic Mask)를 가이드로 사용하여, 픽셀 수준에서 카테고리별(예: 잠수부, 물고기, 암초 등)로 특화된 **이산적 코드북(Discrete Codebooks)**을 학습합니다.
- 이를 통해 각 시맨틱 영역의 고유한 열화 특성을 별도의 코드북에 담아낼 수 있습니다.
Stage II: 수중 이미지 표현 학습 (Underwater Image Representation Learning)
- 자기 재구성(Self-reconstruction) 방식을 채택하여, 깨끗한 이미지(GT)가 아닌 **원본 수중 이미지(Raw Image)**로부터 직접 특징을 추출합니다. 이는 의사 정답(Pseudo GT)에 의한 오염을 방지합니다.
- 학습된 카테고리별 코드북들을 'Weight Predictor'를 통해 가중 합산하여, 특정 이미지에 적응된 통합된 이산 표현( $\hat{z}_q$ )을 생성합니다.
- GCAM (Gated Channel Attention Module): 수중에서 파장에 따른 빛 흡수 차이(색상 불균형)를 해결하기 위해 채널별로 적응적인 가중치를 부여하여 색상 복원을 돕습니다.
Stage III: 이미지 개선 학습 (Image Enhancement Learning)
- 이산 표현을 깨끗한 이미지 도메인으로 변환하는 단계입니다.
- FAFF (Frequency-Aware Feature Fusion): 원본 이미지의 구조적 정보(Phase)는 유지하면서, 개선된 이미지의 질감 및 색상 정보(Magnitude)를 주파수 영역에서 결합합니다. 이를 통해 구조적 왜곡 없이 세밀한 디테일을 복원합니다.

3. 주요 기여 (Key Contributions)

시맨틱 기반 코드북 학습: UIE 분야 최초로 시맨틱 마스크를 활용하여 픽셀 수준의 카테고리별 코드북을 도입, 비균일한 열화에 대응했습니다.
의사 정답 오염 방지: 원본 이미지로부터 직접 코드북을 학습하는 3단계 학습 전략을 통해, 불완전한 Ground-Truth에 의존하지 않는 강건한 표현 학습을 구현했습니다.
주파수 및 채널 어텐션 통합: GCAM과 FAFF 모듈을 통해 색상 복원(Color Fidelity)과 질감 복원(Texture Recovery)을 동시에 최적화했습니다.

4. 실험 결과 (Results)

정량적 성능: UIEB 및 SUIM-E 벤치마크 데이터셋에서 기존의 최신 모델(SOTA)들(WaterNet, UColor, SS-UIE 등)을 압도하는 성능을 보였습니다. 특히 SSIM, PSNR, LPIPS와 같은 참조 지표(Full-reference)에서 최고점을 기록했습니다.
일반화 능력 (Cross-dataset): UIEB에서 학습된 모델을 LSUI 및 UFO120 데이터셋에 적용했을 때도 우수한 성능을 유지하여, 미학습 환경에 대한 강건한 일반화 능력을 입증했습니다.
하위 작업(Downstream Task) 활용성: SUCode로 개선된 이미지는 시맨틱 세그멘테이션(Semantic Segmentation) 성능을 향상시켰습니다. 이는 모델이 단순히 시각적 개선을 넘어 객체의 경계와 의미론적 정보를 잘 보존하고 있음을 의미합니다.

5. 의의 (Significance)

본 연구는 수중 영상 처리의 고질적인 문제인 **'비균일한 열화'**와 **'부정치 데이터 문제'**를 **시맨틱 인지 이산 표현(Semantic-aware Discrete Representation)**이라는 독창적인 방식으로 해결했습니다. 이는 자율 수중 로봇의 검사, 해양 생태계 모니터링, 심해 고고학 등 고품질 수중 영상이 필수적인 다양한 해양 원격 탐사 분야에 실질적인 기여를 할 수 있는 기술입니다.