Real-World Scene Recovery for Scattering-Degraded Images Using Spatial and Frequency Priors

기술 요약: 공간 및 주파수 사전 정보를 활용한 산란 열화 이미지의 실제 장면 복원

문제 제기
안개, 모래폭풍, 수중 환경, 원격 탐사 환경과 같은 산란 효과로 열화된 이미지로부터 장면을 복원하는 것은 컴퓨터 비전 분야에서 근본적인 과제로 남아 있습니다. 이러한 열화는 가산 베일링 성분을 도입하고 직접 투과를 감소시켜 대비도 저하, 색상 왜곡, 구조적 세부 사항 손실을 초래합니다. 이는 시각적 지각과 객체 감지 및 분할과 같은 하류 작업의 성능을 크게 저해합니다. 기존 솔루션은 일반적으로 사전 기반 방법과 학습 기반 방법 두 가지 범주로 나뉩니다. 사전 기반 접근법은 주로 낮 시간 안개와 같은 특정 시나리오를 위해 설계된 단일 사전 정보에 의존하여 다양한 이질적인 산란 열화에 대해 일반화되지 못합니다. 반면, 학습 기반 방법은 강력하지만 대규모 합성 훈련 데이터를 필요로 하며, 실제 세계 시나리오에 적용될 때 도메인 간극을 겪고 상당한 계산 자원을 요구합니다.

방법론: 공간 및 주파수 사전 정보 (SFP)
저자들은 대규모 훈련 데이터에 의존하지 않고 실제 세계의 산란 열화 이미지로부터 장면을 복원하도록 설계된 새로운 프레임워크인 공간 및 주파수 사전 정보 (Spatial and Frequency Priors, SFP) 를 제안합니다. 이 프레임워크는 세 가지 주요 단계를 통해 작동합니다:

1. 공간 영역 사전 정보 (SDP):

   • 관찰: 저자들은 산란 열화 이미지 ($1 - I(x)$) 의 역수는 기본 장면 투과율과 상관관계를 갖는 스펙트럼 방향을 따라 투영된 것을 보여준다고 관찰합니다.
   • 메커니즘: 스펙트럼 방향 $S(x)$ 는 세 가지 색상 채널의 기울기로 모델링됩니다. 이 방법은 역산된 열화 이미지를 이 스펙트럼 방향에 투영하여 장면 투과율 지도 $t(x)$ 를 추정합니다.
   • 복원: $t(x)$ 와 전역 대기 광 $A$ 가 추정되면, 대기 산란 모델 (ASM) 을 역전시켜 장면 복사도 $J(x)$ 를 복원합니다.

2. 주파수 영역 사전 정보 (FDP):

   • 관찰 1 (DC 성분): 선명한 이미지에서 채널 간 직류 (DC) 성분의 평균 강도는 해당 열화 이미지의 평균 DC 값과 근사합니다.
   • 관찰 2 (저 방사 주파수): 선명한 이미지에서 저 방사 주파수 (좁은 대역 내, $\rho(x) < 0.001$) 는 전체 스펙트럼의 작은 비율 (약 1%) 만 기여합니다. 더 높은 비율은 심각한 열화를 나타냅니다.
   • 메커니즘: 이러한 관찰을 바탕으로 적응형 마스크 $M_C(x)$ 를 구성하여 주파수 영역 향상을 수행합니다. 마스크 파라미터는 DC 성분을 정렬하고 저주파 비율을 예상되는 1% 기준선으로 복원하도록 적응적으로 결정되어 산란으로 인한 감쇠를 효과적으로 보상합니다.

3. 가중치 융합 전략:

   • 최종 복원 이미지는 공간 영역에서 복원된 이미지, 주파수 영역에서 향상된 이미지, 그리고 원본 입력을 융합하여 얻습니다.
   • 융합은 Lab 색상 공간에서 수행됩니다. $a$ 및 $b$ 채널의 경우 색상 중립성 (평균값이 0 에 근접함) 에 기반하여 가중치가 할당됩니다. $L$ (휘도) 채널의 경우 이산 웨이블릿 변환 (DWT) 을 사용하여 공간 결과에서 저주파 성분을 유지하고 최대값 전략을 사용하여 고주파 성분을 융합합니다.
   • 시각적 일관성을 개선하기 위해 후처리 (감마 보정 및 HDR 압축) 가 적용됩니다.

주요 기여

• 새로운 프레임워크: 단일 영역 또는 단일 사전 정보 접근법의 한계를 넘어 공간 및 주파수 영역 모두에서 상호 보완적인 사전 정보를 공동으로 활용하는 SFP 의 도입.
• 새로운 사전 정보:
  • 역산된 열화 이미지를 스펙트럼 방향에 투영하여 장면 투과율을 근사하는 스펙트럼 특성을 활용하는 공간 사전 정보.
  • DC 성분과 저 방사 주파수의 통계적 특성을 활용하여 열화 인식 향상을 위한 적응형 마스크를 구성하는 두 가지 주파수 사전 정보.
• 일반화: 대규모 합성 훈련 데이터셋 없이 안개, 모래폭풍, 수중, 원격 탐사와 같은 다양한 실제 세계 시나리오에서 우수한 성능을 달성합니다.
• 플러그 앤 플레이 기능: 주파수 영역 사전 정보는 기존 공간 영역 사전 정보와 통합하여 그 성능을 향상시킬 수 있어 유연성을 입증합니다.

실험 결과
FTD, DHQ, HSTS, Fattal(안개); DID, DAWN(모래폭풍); UIEB, U45, UCCS, UHTS(수중); UAV, RRSHID, RRSD(원격 탐사) 를 포함한 다양한 실제 세계 데이터셋에서 광범위한 실험이 수행되었습니다. 또한 혼합 열화 데이터셋 (RUSH) 과 복잡한 야간 안개 장면 (NHRW, RealNightHaze) 에서도 방법이 테스트되었습니다.

• 정량적 성능: SFP 는 여러 지표 (NIMA, FADE, NIQE, UCIQE) 를 통해 50 개 이상의 기존 최첨단 방법 (사전 기반 및 학습 기반 모두) 보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 실제 세계 안개 데이터셋에서 평균 NIMA 점수를 약 0.66% 향상시키고 FADE 를 17.64% 감소시켰습니다. 수중 데이터셋에서는 UCIQE 점수를 6.70% 향상시켰습니다.
• 시각적 품질: 시각적 비교는 SFP 가 미세한 구조적 세부 사항을 보존하고 자연스러운 색상 외관을 유지하면서 안개와 색상 편향을 효과적으로 제거함을 보여주었으며, 다른 방법에서 흔히 발생하는 헤일로 아티팩트나 과도한 향상을 방지했습니다.
• 하류 작업: 이 프레임워크는 고급 비전 작업의 성능을 크게 향상시켰습니다. 객체 감지 (YOLOv8) 를 위한 전처리 단계로 사용될 때, SFP 는 다른 안개 제거 방법들보다 모든 카테고리 (사람, 자전거, 자동차, 오토바이, 버스) 에서 가장 높은 평균 정밀도를 달성했습니다. 또한 키포인트 감지 및 이미지 분할 결과도 향상시켰습니다.

의의 및 주장
본 논문은 SFP 가 기존 방법들의 중요한 한계인 단일 영역 사전 정보의 적응성 부족과 데이터 기반 방법의 실제 세계 시나리오에 대한 낮은 일반화 능력을 해결한다고 주장합니다. 공간 및 주파수 영역 모두에서 열화 특성을 공동으로 모델링함으로써 SFP 는 무거운 계산 자원이나 합성 데이터에 의존하지 않는 견고하고 파라미터가 없는 솔루션을 제공합니다. 저자들은 이 방법이 야간 안개와 같은 복잡하고 결합된 열화 시나리오에서 특히 효과적이며, 실제 응용 분야에서 비전 기반 시스템의 신뢰성을 높이는 신뢰할 수 있는 전처리 단계로 작용한다고 강조합니다.