기술 요약: 다중 스케일 어텐션과 푸리에 변환을 결합한 저조도 이미지 향상 (MSFT)

1. 문제 정의

저조도 이미지 향상(LLIE)은 불충분한 조명으로 인해 발생하는 어두운 실내 환경이나 극적인 밝기 변화가 있는 실외 장면과 같이 도전적인 환경에서 촬영된 입력으로부터 고품질의 정상 조명 이미지를 복원하는 것을 목표로 한다. 이러한 조건은 휘도 저하, 상당한 이미지 블러(blur), 그리고 노이즈를 유발한다.

기존의 딥러닝 기반 LLIE 방식들은 다음과 같은 몇 가지 한계점에 직면해 있다:

• 텍스처 및 조명 복원: 많은 모델이 실제 세계의 조명 분포를 정확하게 포착하는 동시에 미세한 텍스처 디테일을 복원하는 데 어려움을 겪는다.
• 적응성 제한: 주류 방법론들은 지역적 텍스처 정보에 따라 밝기를 적응적으로 조절하는 데 실패하는 경우가 많으며, 이는 과노출 또는 저노출 문제로 이어진다.
• 계산 및 사전 지식(Prior) 의존성: 확산 모델(Diffusion models)은 높은 사실성을 제공하지만, 종종 가정된 열화 과정이나 무거운 사전 학습된 프라이어에 의존하여, 열화 과정이 모호한 실제 시나리오에서의 적용성을 제한한다. 또한, 시맨틱 프라이어에 의존하는 방법들은 과도한 계산 자원을 요구한다.
• 노이즈 및 배경 처리: SNR 인식 최적화와 같은 기술은 신호 대 잡음비를 개선하지만, 심층 스케일 정보를 포착하거나 오로라 형태의 전경 요소가 포함된 배경 영역을 충분히 향상시키는 데 실패하는 경우가 많다.

2. 방법론

저자들은 **MSFT (Multi-scale Attention combined with the Fourier Transform)**를 제안한다. 이는 푸리에 변환 원리에 의해 가이드되는 CNN과 Transformer가 통합된 2단계 U-자형 구조의 지도 학습 기반 주파수 영역 딥러닝 네트워크이다.

핵심 아키텍처 구성 요소

A. 푸리에 변환 가이드 다중 스케일 어텐션 (FTG-MSA)
이는 네트워크의 스케일 내에 내장된 핵심 복구 모듈이다. 이 모듈은 주파수 영역의 진폭(amplitude)은 밝기 정보를 인코딩하고, 위상(phase)은 구조적 디테일과 관련이 있다는 관찰에 기초한다.

• 가이드 구성: 네트워크는 저조도 이미지와 최대 회색값 프라이어 맵(Retinex 이론을 통해 조명 레이어로부터 도출됨)을 결합하여 4채널 특징 밝기 맵을 생성한다.
• 주파수 융합: 모듈은 저조도 이미지 특징과 4채널 가이드 맵 모두에 대해 고속 푸리에 변환(FFT)을 수행한다. 저조도 이미지의 위상은 유지하면서 가이드 맵의 진폭 스펙트럼을 저조도 이미지의 진폭 스펙트럼에 더한다.
• 역변환: 역 푸리에 변환(IFFT)을 통해 가이드된 특징 맵을 재구성하며, 이는 과노출 또는 저노출을 방지하기 위한 밝기 프라이어 역할을 한다.
• 어텐션 메커니즘: 이 융합된 진폭 정보는 멀티 헤드 셀프 어텐션 메커니즘을 가이드한다. 어텐션 가중치는 동적으로 계산되어 관련 특징을 선택적으로 추출함으로써, 텍스처를 보존하면서 이미지 콘텐츠를 풍부하게 만든다.

B. 다중 형상 시너지 어텐션 (MSSA)
심층 스케일 텍스처 정보를 추출하고 고차원 희소 특징을 통합하도록 설계된 MSSA 모듈은 가장 높은 채널 스케일에 삽입된다. 이는 세 가지 직렬 연결된 구성 요소로 이루어져 있다:

1. 공간 및 채널 시너지 어텐션 (SCSA): 채널 중요도를 적응적으로 가중치 부여하고 중요한 공간 정보를 증강한다.
2. 다중 형상 어텐션 (MSA): 병렬 구조인 **확장 정방형 어텐션 (DSA)**과 **확장 직사각형 어텐션 (DRA)**으로 구성된다.
   • DSA: 저역 통과 필터의 제한을 피하기 위해 Softmax 대신 하이퍼볼릭 탄젠트(Tanh) 활성화 함수를 사용하여 고주파 성분을 강화한다.
   • DRA: 직사각형 영역에서 정보를 집계하여 다중 형상 특징을 포착한다.
3. CMUNeXt: 모든 채널에 걸쳐 글로벌 정보를 동시에 추출하는 경량 모듈로, 파라미터와 계산 비용을 줄이면서 공간-채널 정보를 통합한다.

C. 네트워크 구조
전체 프레임워크는 3-스케일 U-자형 아키텍처이다.

• 인코딩: 저조도 이미지와 4채널 가이드 맵은 컨볼루션 레이어와 FTGT (Fourier Transform-Guided Transformer) 블록을 거쳐 계층적 특징을 생성한다.
• 디코딩: 인코더의 다중 스케일 특징은 디코더 채널로 직접 전달되어 재구성을 가이드하며, 이는 추가적인 특징 추출의 필요성을 없애고 중복성을 줄인다.
• 손실 함수: 향상된 출력과 그라운드 트루스(Ground Truth) 사이의 오차를 최소화하기 위해 Charbonier 손실을 사용하여 모델을 학습시킨다.

3. 주요 기여

1. MSFT 아키텍처: 푸리에 변환과 CNN-Transformer 혼합 U-net 프레임워크를 결합한 2단계 통합 네트워크를 제 제안하였다. 이 하이브리드 설계는 로컬 특징 포착에 효율적인 CNN과 글로벌 컨텍스트 모델링 능력을 갖춘 Transformer 사이의 균형을 맞춘다.
2. FTG-MSA 모듈: 주파수 영역의 진폭 정보를 동적 가이드 신호로 포함하는 셀프 어텐션 메커니즘을 설계하였다. 이를 통해 네트워크는 저조도 영역의 최대 회색값에 따라 향상 가중치를 적응적으로 조절하여 노출 아티팩트를 방지할 수 있다.
3. MSSA 모듈: 가장 높은 차원의 가이드 공간에서 작동하는 다중 형상 시너지 어텐션 모듈을 도입하였다. 이 모듈은 SCSA, MSA (DSA/DRA), CMUNeXt의 조합을 통해 희소 정보를 효과적으로 통합하고, 채널 밀도를 균질화하며, 심층 스케일 텍스처 정보를 추출한다.
4. 우수한 성능: 광범위한 실험을 통해 MSFT가 여러 데이터셋(LOL, SID, SMID, SDSD)에서 PSNR 및 SSIM 측면에서 SOTA(State-of-the-art) 방식들을 능가함을 입증하였다. 특히 텍스처 디테일 보존과 과노출 없는 조명 복원에서 탁월한 성능을 보였다.

4. 실험 결과

저자들은 7개의 데이터셋(LOL-v1, LOL-v2-real, LOL-v2-synthetic, SID, SMID, SDSD-indoor, SDSD-outdoor)에 대해 MSFT를 평가하였다.

• 정량적 성능:
  • SDSD-outdoor 데이터셋에서 MSFT는 41.76 dB의 PSNR과 0.988의 SSIM을 달성하였다. 이는 Retinexformer 대비 11.92 dB 향상되었으며, SSIM은 13.80% 개선된 수치이다.
  • 지도 학습 방식인 Retinexformer와 비교했을 때, MSFT는 모든 벤치마크에서 0.11 dB에서 11.92 dB 사이의 유의미한 PSNR 이득을 보였다.
  • 비지도 학습 방식인 Retinexformer와 비교했을 때는 특정 데이터셋에서 최대 16.48 dB의 차이를 보이며 더욱 두드러진 개선을 나타냈다.
• 효율성:
  • MSFT는 1.25백만 개의 파라미터와 18.07 GFLOPs를 가진다. 이는 SNR-Net(4.01M 파라미터, 26.35 GFLOPs)과 같은 다른 고성능 모델들에 비해 상대적으로 낮으며, 성능과 계산 비용 사이의 더 나은 균형을 제공한다.
• 절제 연구 (Ablation Studies):
  • Retinex 가이드(4채널 입력)를 제거했을 때 성능이 크게 하락하였으며(예: SDSD-outdoor에서 약 9 dB), 이는 조명 프라이어의 중요성을 입증한다.
  • MSSA 모듈을 제거하면 PSNR과 SSIM 모두에서 상당한 감소가 발생하여, 구조적 유사도와 텍스처 복원에서의 역할을 확인시켜 주었다.
  • FTGT 내의 FFT 구성 요소를 제거했을 때 가장 심각한 성능 저하가 나타났으며, 이는 주파수 영역 가이드가 글로벌 일관성을 위해 필수적임을 증명한다.
• 정성적 결과: 시각적 비교 결과, MSFT는 배경 텍스처를 효과적으로 포착하고 현실적인 조명을 유지하는 반면, 다른 방법들은 어두운 부분, 아티팩트 또는 밝은 영역의 과노출을 유발하는 경우가 많았다.

5. 의의 및 한계점

의의:
본 논문은 MSFT가 주파수 영역의 진폭 정보와 다중 스케일 어텐션 메커니즘을 효과적으로 융합함으로써 저조도 향상을 위한 견고한 솔루션을 제공한다고 주장한다. 이는 주파수 영역 가이드 어텐션을 사용하여 저하된 이미지를 복원하는 모델 구축의 참조점을 제공하며, 확산 모델의 무거운 계산 부담이나 고정된 ViT 구조의 한계 없이 정밀한 조명 복원과 상세한 텍스처 향상 사이의 균형을 달성한다.

한계점:
저자들은 다음과 같은 몇 가지 제약을 인정한다:

• 빛 공해: 강한 빛에 의한 오염이 있는 이미지를 처리하는 데 한계가 있으며, 과노출된 부분의 노이즈를 제거하는 데 어려움을 겪는다.
• 실시간 처리: 자연광 시나리오에서 실시간 처리를 수행하기에는 충분히 효율적이지 않다.
• 데이터 의존성: 모델 학습을 위해 대량의 쌍(paired) 데이터가 필요하며, 현재 쌍 데이터가 없는 비지도 학습 증강 분야에는 적합하지 않다.
• 노이즈 민감도: 심각한 노이즈 오염이 있는 환경에서 획득된 이미지를 고려하지 않았으며, 상대적으로 깨끗한 쌍 데이터 또는 사전 정제 작업이 필요하다.

향후 연구 방향:
저자들은 다음과 같은 향후 연구 방향을 제시한다:

• 푸리에 변환을 어텐션 레이어에 진정으로 통합하여, 주파수 영역(진폭 및 위상 스펙트럼 사용)에서 직접 어텐션 계산을 수행하는 것.
• 확산 모델을 주파수 영역에 적용하는 것으로, 확산 구조를 최적화하여 계산 자원을 줄이면서 생성 능력을 활용하여 비지도 학습 기반의 향상을 탐구하는 것.