ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation

1. 문제 정의 (Problem)

단일 이미지 반사 제거 (Single Image Reflection Separation, SIRS) 는 반사 (Reflection, $R$) 와 투과 (Transmission, $T$) 가 혼합된 단일 이미지 ($I$) 를 두 개의 층으로 분리하는 작업입니다. 기존 방법들은 다음과 같은 근본적인 한계를 겪고 있습니다.

• 비선형 혼합 (Nonlinear Mixing) 에 대한 취약성: 실제 세계의 반사는 단순한 선형 합 ($I = T + R$) 이 아닌 복잡한 비선형 상호작용을 포함합니다. 기존 모델들은 이를 충분히 모델링하지 못합니다.
• 전송 - 반사 혼동 (Transmission-Reflection Confusion): 특히 디코더의 깊은 층 (deep decoder layers) 에서 두 층의 특징이 서로 섞여 구분되지 않는 현상이 발생합니다. 이는 비선형 효과를 모델링하는 능력을 약화시키고, 심한 아티팩트나 세부 정보 왜곡을 초래합니다.
• 계층적 특징 불일치: 기존 방법들은 다중 스케일 특징을 효과적으로 통합하지 못하거나, 암시적 (implicit) 인 융합 메커니즘을 사용하여 심층 네트워크에서 특징의 분리가 점진적으로 무너집니다.

2. 제안 방법 (Methodology: ReflexSplit)

저자들은 ReflexSplit이라는 듀얼 스트림 (Dual-stream) 프레임워크를 제안하며, 전송과 반사 층의 명확한 분리를 위해 세 가지 핵심 혁신을 도입했습니다.

2.1. 크로스 스케일 게이트 퓨전 (Cross-scale Gated Fusion, CrGF)

• 목적: 심층 네트워크에서의 특징 분해 (degradation) 를 방지하고 그라디언트 흐름을 안정화합니다.
• 작동 원리: MuGI 와 같은 기존 방법들이 단일 스케일 내에서만 특징을 교환하는 것과 달리, CrGF 는 계층적 깊이 (hierarchical depths) 전반에 걸쳐 의미론적 사전 지식 (Semantic Priors, GFEB), 텍스처 세부 정보 (Texture Details, LFEB), 그리고 디코더 컨텍스트를 적응적으로 집계합니다.
• 메커니즘: 양방향 게이트 (Bidirectional Gating) 를 사용하여 현재 레벨의 특징과 컨텍스트를 상호 조절하며, 이를 통해 전송 - 반사 혼동을 방지하고 일관된 특징 표현을 유지합니다.

2.2. 레이어 퓨전 - 분리 블록 (Layer Fusion-Separation Block, LFSB)

• 목적: 공유 구조 추출 (Fusion) 과 층별 분해 (Separation) 를 교차하여 수행합니다.
• 작동 원리:
  1. 초기 퓨전 (Early Fusion): 양방향 프로젝션을 통해 전송과 반사 스트림의 의미 공간을 정렬하여 상호 보완적인 정보를 공유합니다.
  2. 차분 이중 차원 어텐션 (Differential Dual-Dimensional Attention): Diffential Transformer 에서 영감을 받아, 전송 ($A_t$) 과 반사 ($A_r$) 스트림 간의 차분 연산 ($A_t - \lambda A_r$) 을 수행합니다.
  3. 효과: 이 차분 연산은 스트림 간 간섭을 억제하고, 공간적 및 층간 의존성을 모델링하여 각 층에 특화된 특징을 명확하게 분리합니다.

2.3. 커리큘럼 학습 (Curriculum Training)

• 목적: 네트워크가 전체적인 재구성을 먼저 학습한 후, 층별 분리에 집중하도록 유도합니다.
• 메커니즘:
  • 깊이 의존 초기화 (Depth-Dependent Initialization): 깊은 층일수록 강한 분리 강도 ($\lambda$) 를, 얕은 층은 약한 강도를 적용합니다.
  • 에포크 단위 웜업 (Epoch-wise Warmup): 학습 초기에는 분리 강도를 낮게 유지하여 전역 재구성을 학습하게 하고, 학습이 진행됨에 따라 분리 강도를 점진적으로 높입니다.
  • 이를 통해 초기 학습 단계에서의 불안정성을 줄이고, 후기 단계에서 강력한 층별 분리를 달성합니다.

3. 주요 기여 (Key Contributions)

1. 명시적 레이어 퓨전 - 분리 프레임워크: 공유 저하 추출을 위한 퓨전과 층별 분리를 위한 차분 분리를 교차하는 새로운 패러다임을 제시하여, 네트워크 전체에서 전송 - 반사 혼동을 방지합니다.
2. 크로스 스케일 게이트 퓨전 및 차분 어텐션: CrGF 를 통한 다중 스케일 특징의 적응적 집계와 LFSB 를 통한 명시적 층 분리를 결합하여, 기존 방법들의 점진적 특징 혼란 문제를 해결했습니다.
3. 최고 수준의 성능 (State-of-the-Art): 합성 및 실제 세계 벤치마크에서 기존 최첨단 방법들 (DSIT, RDNet 등) 보다 우수한 PSNR, SSIM, LPIPS 점수를 기록하며, 뛰어난 지각적 품질과 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • Synthetic Datasets (Real20, Nature, SIR2 등): 평균 PSNR 과 SSIM 에서 기존 방법들 (RDNet, DSIT 등) 을 상회했습니다. 특히 174M 파라미터로 RDNet(266M) 보다 효율적이면서도 더 높은 성능을 보였습니다.
  • Real-world Benchmarks (OpenRR-1K): 실제 환경 데이터셋에서 가장 높은 SSIM 과 가장 낮은 LPIPS (지각적 차이) 를 기록하여, 실제 적용 시 뛰어난 시각적 품질과 구조적 충실도를 보여주었습니다.
• 정성적 평가: 강렬한 반사나 모호한 시나리오 (예: 벽에 비친 달 그림을 반사로 오인하는 경우) 에서도 전송과 반사 층을 명확히 분리하여 아티팩트를 제거하고 세부 정보를 보존했습니다.
• Ablation Study: CrGF 와 LFSB 의 각 구성 요소 (초기 퓨전, 차분 분리 등) 가 성능에 결정적인 기여를 함을 확인했습니다. 특히 LFSB 를 제거할 경우 전송 - 반사 혼동이 발생하여 성능이 급격히 저하되었습니다.

5. 의의 및 결론 (Significance)

ReflexSplit 은 단일 이미지 반사 제거 분야에서 비선형 혼합 환경에서의 층별 분리 난제를 해결하는 중요한 이정표입니다.

• 이론적 기여: 단순한 특징 교환을 넘어, 차분 어텐션 (Differential Attention) 과 커리큘럼 학습을 결합하여 네트워크가 점진적으로 층을 분리하도록 유도하는 메커니즘을 제시했습니다. 이는 기존 방법들이 겪던 깊은 층에서의 특징 혼란 (Feature Entanglement) 문제를 근본적으로 해결합니다.
• 실용적 가치: 자율 주행, 산업 검사 등 반사 제거가 필수적인 분야에서 높은 신뢰성과 일반화 능력을 제공하며, 실제 환경의 복잡한 조명 조건에서도 견고한 성능을 발휘합니다.

결론적으로, ReflexSplit 은 명시적인 퓨전 - 분리 메커니즘과 적응적 학습 전략을 통해 기존 방법들의 한계를 극복하고, 단일 이미지 반사 제거 분야에서 새로운 표준 (SOTA) 을 제시한 연구입니다.