Structural Guidance for Unified Joint Demosaicing and Denoising

기술 요약: 통합 조인 디모자이킹 및 디노이징을 위한 구조적 가이드

문제 정의
조인 디모자이킹 및 디노이징(JDD)은 카메라 이미지 신호 처리의 핵심 단계로, 노이즈가 포함된 컬러 필터 어레이(CFA) 관측값으로부터 깨끗한 RGB 이미지를 복원하는 작업을 수행한다. 이 과정은 본질적으로 까다로운데, 누락된 색상 정보를 보간하는 동시에 센서 노이즈를 억제해야 하기 때문이다. 기존의 통합 복원 네트워크들은 다양한 CFA 레이아웃(예: Single-, Quad-, Nona-Bayer)을 처리할 수 있음에도 불구하고, 주로 픽셀 수준의 재구성 감독(supervision)에 의존한다. 저자들은 이러한 접근 방식의 주요 한계점을 지적한다. 즉, 픽クセル 수준의 제약 외에 명시적인 구조적 가이드가 부족하다는 점이다. 결과적으로, 이러한 모델들은 사선 방향의 에지, 반복되는 텍스처, 모아레 현상이 발생하기 쉬운 패턴 등 국부적인 CFA 증거가 신뢰할 수 없는 영역에서 어려움을 겪으며, 이는 종종 가짜 색상(false colors), 지퍼링(zippering) 아티팩트, 왜곡된 주기적 구조를 초래한다.

방법론
본 논문은 사전 학습된 구조적 지식을 CFA 인식 이미지 복원에 주입하는 **구조적 가이드 통합 복원 프레임워크(Structurally Guided Unified Restoration Framework)**를 제안한다. 아키텍처는 두 개의 상호 보완적인 경로와 하나의 공유 디코더로 구성된다:

1. 패턴 및 노이즈 인식 복원 브랜치:

   • 저자들은 이질적인 센서 관측값을 처리할 수 있는 통합 백본 역할을 하도록 SwinIR을 재설계하였다.
   • 입력 표현: 모델은 원시 노이즈 모자이크, 세 개의 CFA 마스크(샘플링 기하학의 원-핫 인코딩), 그리고 노이즈 레벨 맵을 포함하는 통합 5채널 관측값($X$)을 수용한다.
   • 아키텍처: 별도의 얕은 인코더들이 원시 강도(intensity), 희소한 색상 배치, 그리고 센서 조건을 처리한다. 이들은 딥 스케일 앤 시프트 변조(deep scale-and-shift modulation)를 통해 연속적인 잔차 Swin 트랜스포머 블록(RSTB)으로 융합 및 변조된다. 이를 통해 네트워크는 네이티브 $H \times W$ 센서 해상도를 유지하면서도, 서로 다른 CFA 패밀리, 공간 위상 및 노이즈 레벨에 적응하여 중간 응답을 조정할 수 있다.

2. 구조적 추론 브랜치:

   • 구조적 모호성을 해결하기 위해, 밀집된 구조적 단서를 추출하는 동결된 사전 학습 구조 인코더(DINOv3 ViT-S/16으로 구현)를 사용한다.
   • 입력: 이 브랜치는 동일한 노이즈 관측값의 희소 의사-RGB 투영(sparse pseudo-RGB projection, $P$)을 처리한다. 여기서 관측된 측정값은 해당 색상 채널에 배치되고, 관측되지 않은 채널은 0으로 설정된다.
   • 적응: 경량화된 학습 가능 어댑터(trainable adapter)는 (본래 밀집된 자연 이미지로 학습된) 사전 학습된 패치 토큰을 복원 특징의 공간 해상도 및 채널 공간으로 매핑한다.
   • 융합: 적응된 구조적 특징은 복원 의존적 잔차 융합 모듈(restoration-dependent residual fusion module)을 통해 복원 경로로 통합된다. 이는 구조적 컨텍스트를 단순한 대체가 아닌 학습된 교정으로서 주입한다.

3. 공유 디코더 및 학습 목표:

   • 공유 디코더 트렁크는 복원된 RGB 이미지와 보조 클린 모자이크(auxiliary clean mosaic)를 모두 예측한다.
   • 보조 모자이크 헤드는 센서 도메인에서의 감독을 제공하여, 융합된 표현이 원래의 센서 측정값에 대한 정보를 유지하도록 유도한다.
   • 학습 목표는 전체 이미지 RGB 손실, 유지된 센서-색상 위치를 강조하는 손실, 그리고 보조 모자이크 손실을 결합한다.

주요 기여

• 구조적 한계 식별: 저자들은 픽셀 수준의 감독을 넘어선 명시적 구조 가이드의 부재가, 특히 모호한 패턴에서 발생하는 성능 저하의 주요 원인임을 밝혀냈다.
• 구조 가이드 프레임워크: 패턴 및 노이즈 조건부 복원 백본과 동결된 사전 학습 구조 인코더를 결부터 하는 새로운 프레임워크를 도입하였다. 이 방식은 훈련 중에 클린 타겟 특징에 대한 감독 없이도 밀집된 표현(via DINOv3)을 복원 과정에 주입한다.
• 통합 SwinIR 백본: 이질적인 센서 인코딩과 딥 컨디션 변조를 사용하는 재설계된 SwinIR을 제시하여, 단일 모델이 네이티브 그리드 특징을 유지하면서 다양한 CFA 패밀리와 노이즈 레벨에 적응할 수 있게 하였다.
• 성능 향상: 제안된 방법은 구조적으로 까다로운 영역(에지 및 반복적 텍스처)에서 눈에 띄는 이득을 보이며, 최신 통합 및 CFA 특화 베이스라인 모델들보다 일관된 개선을 입증하였다.

실험 결과
다양한 데이터셋(BSD100, Urban100, Kodak24, MIT-Hard)과 CFA 패턴(Single-, Quad-, Nona-Bayer)에 대해 제로 노이즈 및 노이즈 조건(Gaussian noise $\sigma \in \{5, 15, 25\}/255$) 하에서 광범적인 실험을 수행하였다.

• 제로 노이즈 성능: 제안된 방법은 모든 데이터셋에서 가장 높은 PSNR 및 SSIM 점수를 달성하였다. MIT-Hard 데이터셋에서 ESUM 베이스라인 대비 2.19 dB, All-in-One SwinIR 베이스라인 대비 3.60 dB의 성능 향상을 보였다.
• 노이즈 성능: 합성 센서 노이즈 환경에서, 이 방법은 평균적으로 ESUM보다 3.84 dB, All-in-One SwinIR보다 4.13 dB 더 높은 성능을 기록하였다.
• 정성적 분석: 시각적 비교 결과, 구조적 가이드가 가짜 색상 모아레, 지퍼링, 대각선 에일리어싱을 효과적으로 억제함을 보여준다. 모델은 베이스라인들에 비해 모호한 미세 패턴을 더 잘 해결하고 곡선 및 주기적 구조를 그라운드 트루스에 가깝게 복원한다.
• 어블레이션/개발: 분석 결과, 구조적 인코더가 점진적인 이득을 제공하기는 하지만, 가장 큰 성능 도약은 전체 시스템 아키텍처와 훈련 레시피에서 비롯되며, 구조적 브랜치는 보완적인 구성 요소로서 작용함을 확인하였다.

의의 및 주장
본 논문은 제안된 프레임워크가 희소하고 노이즈가 섞인 센서 데이터와 구조적 인코더의 자연 이미지 사전 학습 도메인 사이의 간극을 효과적으로 메운다고 주장한다. 적응된 구조적 사전 지식을 활용함으로써, 모델은 샘플링 구성이 알려진 후에도 남아있는 구조적 모호성을 해결하고 카메라 이미지 복원의 견고성을 높인다. 저자들은 이 접근 방식이 어려운 시나리오에서 재구성 품질을 크게 향상시키는 동시에, 하나의 모델로 여러 CFA 레이아웃을 처리함으로써 배포 비용을 줄이는 통합 솔루션을 제공한다고 단언한다.

한계점
저자들은 합성 가우시안 노이즈 및 sRGB 유도 모자이크에 대한 의존성, 보정된 실제 멀티 CFA RAW 데이터의 부재, 그리고 구조적 경로와 관련된 추론 비용을 포함한 현재의 한계를 인정하였다. 향후 연구로는 다른 구조적 인코더, 현실적인 신호 의존적 노이즈, 그리고 더 효율적인 가이드 메커니즘을 탐구하는 것이 제안되었다.