Single Image Reflection Removal with Patch Reflectance Prior

기술 요약: 패치 반사도 사전 정보를 활용한 단일 이미지 반사 제거

문제 정의
단일 이미지 반사 제거 (SIRR) 는 장면이 반사 ($R$) 와 중첩된 단일 입력 이미지 ($I$) 에서 깨끗한 투과 이미지 ($T$) 를 복원하는 것을 목표로 합니다. 이는 $I = g(T) + f(R)$로 수식화되며, 여기서 $g(\cdot)$와 $f(\cdot)$는 흐림, 빛 흡수, 굴절, 심도 효과 등 다양한 열화를 나타냅니다. 알려지지 않은 변수와 실제 환경에서의 정답 (ground truth) 부재로 인해 이 작업은 잘 정의되지 않은 (ill-posed) 문제입니다.

기존 방법들은 주로 이미지 기울기 희소성, 고스트 (ghosting) 단서, 또는 상대적 부드러움과 같은 특정 사전 가정 (prior assumptions) 에 의존하여 레이어를 분리합니다. 그러나 이러한 가정들은 반사 특성이 크게 변하는 복잡한 실제 환경 (예: 선명한 반사 대 흐린 반사, 다양한 물체 거리, 자연 조명) 에서 자주 실패합니다. 또한, 실제 데이터의 부족으로 인해 합성 데이터셋에 대한 과도한 의존이 초래되어, 모델이 다양하고 비구조화된 실제 장면에서 적용될 때 견고성이 결여되는 결과를 낳았습니다.

방법론
저자들은 특정, 경직된 사전 가정 대신 일반적인 **반사 강도 사전 정보 (Reflection Intensity Prior)**를 선호하는 프레임워크를 제안합니다. 이 사전 정보는 흐림이나 고스트와 같은 특정 열화 유형을 가정하는 대신, 지역적 영역에서의 반사 현상의 강도를 정의합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 반사 강도 사전 정보 정의:
   강한 반사의 경우 무한한 값을 산출할 수 있는 표준적인 반사 대 투과 비율 대신, 저자들은 반사 강도를 0 과 1 사이의 정규화된 점수로 재정의합니다:
   $$\text{ReflectionIntensity} = \frac{\text{Mean}(R)}{\text{Mean}(R) + \text{Mean}(T)}$$
   이 지표는 중첩된 이미지에서 반사의 비균일한 특성을 고려하기 위해 지역적 패치 (regional patch) 단위로 계산됩니다.

2. 반사 사전 정보 추출 네트워크 (RPEN):
   RPEN 은 입력 이미지의 각 패치에 대한 반사 강도 사전 정보를 추정하도록 설계되었습니다.

   • 아키텍처: 정규적이고 반사가 없는 이미지를 이해하기 위해 ImageNet 에서 사전 훈련된 ResNext101 백본을 활용합니다.
   • 훈련: 네트워크는 CEILNet 의 반사를 PASCAL VOC 이미지에 중첩하여 생성된 합성 이미지와 CDR 데이터셋의 실제 이미지로 구성된 데이터셋에서 미세 조정 (fine-tuning) 됩니다.
   • 정제: 고수준 특징에 아트러스 공간 피라미드 풀링 (ASPP) 을 사용한 캐스케이드 방식이 도입되어 패치 간의 전역적 관계를 포착하고 49 개 ($7 \times 7$) 패치 각각에 대한 강도 추정을 정제합니다.

3. 사전 정보 기반 반사 제거 네트워크 (PRRN):
   PRRN 은 추정된 반사 강도 사전 정보를 활용하여 반사를 적응적으로 제거합니다.

   • 아키텍처: 이미지 복원 작업에서의 성공으로 알려진 간단한 Transformer U-Net 구조를 사용합니다.
   • 사전 정보 임베딩: 각 패치의 반사 강도 사전 정보는 트랜스포머의 위치 인코딩과 유사한 정현파 임베딩 메커니즘을 사용하여 특징으로 인코딩됩니다.
   • 적응적 처리: 인코딩된 사전 정보 특징은 ResBlock 내의 Feature Wise Affine (FWA) 레이어를 통해 네트워크에 주입됩니다. 이는 네트워크가 반사 영역에 집중하도록 안내하고, 업샘플링 및 다운샘플링 과정에서 노이즈를 영역에 적응적으로 제거하도록 합니다.

주요 기여

• 일반적인 반사 강도 사전 정보: 이 논문은 흐림이나 고스트와 같은 반사 유형에 대한 특정 가정을 배제한 사전 정보 정의를 도입하여, 반사 현상의 지역적 강도에 집중합니다.
• RPEN 및 PRRN 프레임워크: 저자들은 RPEN 이 지역적 반사 강도 사전 정보를 추출하고, PRRN 이 이러한 사전 정보를 Transformer U-Net 아키텍처 내에서 활용하여 제거를 수행하는 2 단계 파이프라인을 제안합니다.
• 패치 기반 분석: 이 연구는 이미지를 패치로 분할함으로써 비균일한 반사 사전 정보를 학습할 수 있음을 보여주며, 이는 다양한 실제 시나리오를 처리하는 데 필수적입니다.
• 데이터셋 생성: RPEN 모듈을 훈련하기 위해 반사 강도 사전 정보 데이터셋이 생성되었습니다.

실험 결과
이 방법은 **CDR (Categorized, Diverse, and Real-world)**데이터셋뿐만 아니라 Real20, SIR2, Nature벤치마크에서 평가되었습니다.

• 성능: 제안된 PRRN+RPEN은 대부분의 벤치마크에서 최첨단 (SOTA) 정확도를 달성했습니다. CDR 테스트 세트에서 PSNR 24.31(이전 최강인 YTMT-UCS 의 22.04 대비) 과 SSIM 0.815를 기록했습니다.
• 견고성: 이 방법은 고스트와 같은 특정 단서가 부재하여 많은 사전 기반 방법들이 실패하는 SRST(선명한 반사, 선명한 투과) 카테고리에서 탁월한 성능을 보였습니다. 또한 BRST(흐린 반사) 와 강한 반사 시나리오에서도 잘 수행되었습니다.
• 애블레이션 연구:
  • 패치 해상도: 실험은 더 작은 패치 (더 높은 해상도) 로 RPEN 을 훈련하는 것이 더 어렵지만, PRRN 에 더 세밀한 사전 정보 정답을 입력으로 사용하면 제거 정확도가 크게 향상됨을 보여주었습니다.
  • RPEN 영향: RPEN 모듈을 PRRN 에 추가한 결과 PSNR 이 0.87 dB 증가했습니다. LayerCAM 을 사용한 시각적 분석은 RPEN 이 네트워크가 실제 반사 영역에 주의를 집중하도록 안내하는 반면, RPEN 이 없는 PRRN 은 비반사 영역에 집중하는 경향이 있음을 확인시켜 주었습니다.

의의 및 주장
이 논문은 기존 SIRR 방법들의 한계를 해결하는 데 그 주요 의의가 있다고 주장합니다. 기존 방법들은 종종 취약한 특정 사전 가정에 의존했습니다. 일반적인 반사 강도 사전 정보를 정의하고 RPEN 을 통해 이를 학습함으로써, 제안된 접근법은 반사 특성이 예측 불가능한 다양한 실제 시나리오에서 견고성을 달성합니다. 저자들은 그들의 접근 방식이 SOTA 정확도를 달성하지만, 특정 경우의 반사 강도 사전 정보 예측 정확도는 향후 다중 해상도 RPEN 설계를 통해 잠재적으로 개선될 수 있다고 지적합니다. 이 연구는 고정된 가정 대신 학습된 강도 사전 정보에 의해 안내되는 영역 적응적 반사 제거가 실제 이미지 복원을 위한 중요한 발전 단계임을 강조합니다.