기술 요약: 주파수 유도 이중 경로 어텐션을 통한 실시간 수중 이미지 향상

문제 정의

실시간 수중 이미지 향상(UIE)은 모바일 사진 촬영, 자율 수중 이동체(AUV), 임베디드 비전 시스템에 필수적입니다. 이러한 애플리케이션은 낮은 지연 시간, 컴팩트한 메모리 점유율, 최소한의 전력 소비를 요구하는 모델을 필요로 합니다. 구조적 재매개변수화(예: RepVGG, MobileOne)를 기반으로 하는 최근의 초경량 합성곱 신경망(CNN)들은 이러한 효율성 제약을 충족하지만, 주로 공간 영역(spatial domain)에서 작동합니다. 이러한 접근 방식은 빛의 흡수가 전역적 스펙트럼 분포를 재형성하고(색상에 영향), 산란이 고주파 성분을 감쇠시키는(에지 침식) 주파수에 민감한 수중 열화 특성을 간과합니다. 기존의 주파수 인지 방법들은 실시간 및 자원 제한적인 엣지 배포와 호환되지 않는 무거운 아키텍처나 복잡한 주파수 분해에 의존하는 경우가 많습니다. 또한, 고전적인 경량 어텐션 메커니즘(예: SENet, CBAM)은 명시적인 주파수 모델링 기능이 부족하며, 현재의 재매개변수화 모델들은 추론 시 브랜치가 단일 커널로 병합될 때 방향성 및 스펙트럼 다양성을 상실하는 경향이 있습니다.

방법론

저자들은 추론 오버헤드 없이 재매개변수화 가능한 CNN 아키텍처에 주파수 영역 모델링을 통합하는 경량 UIE 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 고정된 DCT 사전 지식을 갖는 다중 브랜치 재매개변수화 가능 합성곱 (MBRConv-DCT)

이 모듈은 표준 재매개변수화 가능 합성곱의 스펙트럼 표현 능력을 향상시킵니다.

• 메커니즘: 훈련 중에 MBRConv-DCT는 고정된 비-DC(non-DC) $3 \times 3$ 이산 코사인 변환(DCT) 커널을 포함하는 전용 선형 브랜치를 추가합니다. 이 커널들은 저주파에서 고주파에 이르는 구조화된 방향성 주파수 응답(수평, 수직, 대각선)을 인코딩합니다.
• 훈련: 이 브랜치는 학습 가능한 포인트와이즈 합성곱(pointwise convolution)과 스칼라 게이트(0으로 초기화됨)를 포함하여, 브랜치가 초기 훈련을 방해하지 않도록 보장합니다.
• 추론: 결정적으로, DCT 브랜치는 완전히 선형입니다. 재매개변수화 단계 동안, 이 고정된 커널과 학습된 가중치는 표준 $3 \times 3$ 합성곱 커널로 분석적으로 융합됩니다. 결과적으로 MBRConv-DCT는 훈련 중에 방향성 주파수 큐에 대한 모델의 민감도를 풍부하게 만들지만, 추론 시에는 추가적인 파라미터나 FLOPs를 전혀 발생시키지 않습니다.

2. 주파수 유도 이중 경로 어텐션 (FGDPA)

이 모듈은 공간 및 스펙트럼 큐를 융합하여 적응형 특징 변조를 수행합니다.

• 주파수 경로: 해상도 불변성과 안정성을 보장하기 위해, 입력 특징 맵은 고정된 $32 \times 32$ 그리드로 다운샘플링됩니다. 2D 고속 푸리에 변환(FFT)이 적용되어 로그 압축된 크기 스펙트럼(magnitude spectrum)을 얻습니다. 전역 평균 풀링은 이러한 통계치를 집계하여 컴팩트한 스펙트럼 기술자를 형성합니다. 이 기술자는 역 FFT의 계산 비용을 피하면서 주파수 영역에서 직접 채널 변조를 유도합니다.
• 공간 경로: 평행한 브랜치는 맥스 풀링(max pooling)과 평균 풀링(average pooling)을 사용하여 공간적 돌출 맵(saliency map)을 생성하며 순수하게 공간 영역에서 작동합니다.
• 융합: 두 경로는 정적이고 학습 가능한 하이브리드 게이팅 메커니즘을 통해 결합됩니다. 최종 어텐션 맵은 주파수 유도 채널 어텐션과 공간 돌출 맵의 가중 합 및 요소별 곱입니다.
• 효율성: 주파수 브랜치는 일정한 $32 \times 32$ 해상도에서 작동하며, 모든 합성곱은 $1 \times 1$이므로 실행 오버헤드가 매우 적습니다.

프레임워크는 비선형 특징 상호작용을 강화하기 위해 MobileIE의 특징 자기 변환(FST) 모듈을 유지합니다. 전체 네트워크는 재매개변수화 가능한 훈련 구조를 채택하여 추론 시에는 경량 피드포워드 모델로 축소됩니다.

핵심 기여

1. FGDPA 모듈: 고정 해상도 FFT 크기를 통해 해상도 불변 스펙트럼 기술자를 구축하는 초경량 어텐션 메커니즘입니다. 이는 역 FFT 없이 전역 스펙트럼 통계를 활용하여 채널 변조를 효율적으로 가이드하며, 전역적 열화 큐를 포착합니다.
2. MBRConv-DCT: 훈련 중에 고정된 비-DC DCT 방향성 사전 지식을 주입하는 다중 브랜치 재매개변수화 가능 합성곱입니다. 이 선형 브랜치는 분석적으로 축약 가능하여, 추론 비용을 추가하지 않고도 스펙트럼 다양성을 풍부하게 합니다.
3. 주파수 가이드 통합: 명시적인 주파수 가이드가 어떻게 초경량 재매개변수화 가능 CNN에 매끄럽게 통합될 수 있는지를 입증하였으며, 4.23K개의 파라미터만으로 최첨단 성능을 달면 달성했습니다.

실험 결과

제안된 방법은 UIEB 데이터셋(지도 학습)과 EUVP 및 UIQS 데이터셋(비지도/무참조)에서 평가되었습니다.

• 성능: UIEB 벤치마크에서 모델은 23.97 dB PSNR과 0.9155 SSIM을 달성하였으며, 이는 가장 강력한 경량 경쟁 모델인 MobileIE보다 1.1 dB 이상 높으면서도 유사한 파라미터 수(~4.2K)를 유지한 결과입니다. 또한 왜곡 기반 및 지각 지표 모두에서 훨씬 더 큰 U-Shape Transformer(31.5M 파라미터)를 능가했습니다(최저 LPIPS 0.1188).
• 일반화: 실제 데이터셋(EUVP 및 UIQS)에서 모델은 우수한 강건성을 보여주었으며, EUVP에서 최첨단 UIQM 및 UCIQE 점수를 기록했고 UIQS에서 전체 2위를 차지했습니다.
• 효율성: 모델은 NVIDIA RTX 3090에서 $480 \times 640$ 해상도로 628+ FPS로 작동합니다. 임베디드 플랫폼(Jetson AGX Orin)에서는 9.35 ms의 지연 시간과 함께 106.9 FPS를 달성합니다.
• 절제 연구(Ablation Studies): 어텐션 경로에서 주파수 크기를 제거했을 때 성능이 크게 하락(23.97 dB에서 22.81 dB로)하여, 주파수 인지 채널 변조가 필수적임을 확인했습니다. 고정된 DCT 커널은 견고한 스펙트럼 유도 편향을 제공하였으며, 성능은 서로 다른 커널 수($K=2$에서 $8$까지)에 대해 안정적으로 유지되었습니다.

의의 및 주장

본 논문은 명시적인 주파수 모델링이 실시간 성능을 희생하지 않고도 초경량 CNN에 효과적으로 통합될 수 있다고 주장합니다. 구조적 스펙트럼 사전 지식(MBRConv-DCT를 통해)과 경량 FFT 기반 통계(FGDPA를 통해)를 활용함으로써, 제안된 프레임워크는 공간 전용 모델이 놓치는 수중 이미지의 특정 주파수 민감 열화 문제를 해결합니다.

저자들은 이 연구를 현재의 초경량 재매개변수화 가능 모델들의 "효율성-효과성 간극"에 대한 솔루션으로 포지셔닝합니다. 이들은 이 영역에서의 성능 향상이 반드시 모델의 깊이나 파라미터 수를 늘려야 하는 것이 아니라, 주파수 인지 설계를 통해 각 파라미터의 표현 효율성을 개선함으로써 달성될 수 있음을 입증합니다. 결과는 이러한 모델을 수중 드론이나 임베디드 로봇 시스템과 같은 자원 제한적인 플랫폼에 배포할 수 있는 강력한 잠재력을 시사합니다.