Lightweight Unpaired Smartphone ISP Transfer with Semantic Pseudo-Pairing

기술 요약: 의미적 의사-쌍을 활용한 경량 비쌍화 스마트폰 ISP 전이

문제 제기
본 논문은 비쌍화 (unpaired) 환경에서 스마트폰 이미지 신호 처리기 (ISP) 를 학습하는 과제를 다룹니다. 기존의 학습 기반 ISP 방법들은 동일한 장면에서 얻은 RAW–RGB 쌍 데이터에 의존하는데, 이는 수집 비용이 높고 종종 기기별 특성에 종속적입니다. 비쌍화 시나리오에서는 모델이 정렬된 정답 (ground truth) 없이 RAW 센서 데이터를 목표 sRGB 이미지로 매핑하도록 학습해야 합니다. 이러한 장면 및 색상 정렬의 부재는 단순한 매칭 전략이 사용될 경우 불안정한 학습, 노이즈가 많은 감독, 그리고 색상 불일치를 초래합니다. 구체적인 맥락은 NTIRE 2026 학습형 스마트폰 ISP 챌린지이며, 여기서 목표는 쌍화된 타겟 없이 패치 단위의 입력으로부터 풀-퀄리티 이미지를 재구성하는 것입니다.

방법론
제안된 접근법은 신뢰할 수 있는 의사-쌍 (pseudo-pairs) 을 구축하고 컴팩트한 색상 매핑 네트워크를 학습하도록 설계된 2 단계 파이프라인입니다.

1. 전처리 및 전역 컨텍스트 복원:

   • 입력 RAW 패치 (256×256) 는 고정된 파이프라인을 통해 의사-RGB 로 변환됩니다: 화이트/블랙 레벨 정규화, 화이트 밸런스 (이득 1,1,1,1), 디모자이싱 (DemoisacNet), 노이즈 제거 (FFDNet), 그리고 감마 보정 ($\gamma=2.2$).
   • 데이터셋이 패치로 구성되어 있으므로, 이 방법은 먼저 훈련 패치로부터 전체 이미지를 재구성하여 의미적 매칭에 필수적인 전역 장면 컨텍스트를 복원합니다.

2. 의미적 의사-쌍 구성 (거친 것에서 정밀한 것으로):

   • 이미지 레벨 매칭: 이 방법은 DINOv2(ViT-S/14) 특징을 사용하여 의미적으로 유사한 소스 RAW 및 목표 RGB 전체 이미지를 검색합니다. RAW 와 sRGB 간의 도메인 간격을 처리하기 위해 Fused Gromov-Wasserstein (FGW) 최적 수송을 적용합니다. 이는 소스 및 목표 세트 내의 도메인 내 구조적 일관성 (스타일/텍스처 유사성) 과 도메인 간 쌍화 비용을 결합합니다. 수송 계획은 후보를 순위 매겨 상위 10 개 매칭을 유지합니다.
   • 패치 레벨 정제: 상위 10 개 매칭된 목표 이미지 내에서 두 번째 매칭 단계가 특정 패치를 선택합니다. 이 단계는 국소 대응이 전역 통계보다 의미에 의해 더 잘 포착되므로 DINOv2 의미 기술자만 사용합니다.
   • 일관성: 패치 레벨 수송 가중치는 전역적 일관성을 보장하기 위해 이미지 레벨 검색 점수에 의해 조절됩니다. 희소 매칭 그래프가 사전 계산되어 소스 패치당 상위 8 개 후보를 유지합니다. 훈련 중에는 타겟 의사-패치가 이 집합에서 매칭 가중치에 비례한 확률로 샘플링됩니다.

3. 네트워크 아키텍처:

   • 핵심 모델은 단 7,000 개의 파라미터를 가진 경량 잔여 CNN입니다.
   • 전처리된 3 채널 RGB 입력을 받아 잔여 색상 보정을 예측합니다.
   • 아키텍처는 두 개의 합성곱 레이어 (은닉 차원 128) 와 채널 혼합을 위한 $1\times1$ 합성곱으로 구성됩니다. 이 설계는 고정된 전처리 파이프라인에서 상속된 구조 정보를 보존하면서 색상 변환에 중점을 둡니다.

4. 훈련 전략 및 손실 함수:

   • 1 단계 (색상 정렬): 생성자는 가중치 조합을 사용하여 적대적 손실 없이 훈련됩니다:
     • 모멘트 손실 (Moment Loss): 채널별 평균과 표준 편차를 정렬합니다.
     • 히스토그램 손실: 휘도 ($L_Y$) 와 색도 ($L_{UV}$) 를 위한 YUV 공간의 소프트-히스토그램 손실입니다. $L_{UV}$는 전역 색상 편향을 억제하기 위해 더 높은 가중치를 부여받습니다.
     • 그람 손실 (Gram Loss): 고정된 VGG19 인코더를 사용하여 스타일과 텍스처 일관성을 장려합니다.
     • 총 변동 (TV) 손실: 노이즈와 진동 아티팩트를 억제합니다.
   • 2 단계 (지각적 정제): 색상 일관성을 불안정하게 하지 않으면서 지각적 품질을 정제하기 위해 낮은 가중치의 힌지 기반 적대적 손실이 도입됩니다. PatchGAN 판별기가 사용됩니다.

주요 기여

• 2 단계 의사-쌍화 파이프라인: 패치로부터 전체 이미지를 재구성하여 전역 컨텍스트를 복원한 후, 거친 것에서 정밀한 것으로의 매칭 (이미지 레벨 다음에 패치 레벨) 을 수행하여 비쌍화 환경에서 신뢰할 수 있는 의사-입력 - 타겟 쌍을 구축하는 방법.
• 최적 수송을 활용한 의미적 매칭: 전처리된 RAW 이미지를 목표 RGB 이미지와 연관시키기 위해 DINOv2 임베딩과 Fused Gromov-Wasserstein 최적 수송을 통합하여, 쌍화된 데이터가 부재한 상황에서도 강력한 감독을 제공합니다.
• 컴팩트한 색상 매핑 네트워크: 구조 변화가 아닌 색상 렌더링을 위해 특별히 설계된 고도로 효율적인 네트워크 (7K 파라미터) 로, 신뢰할 수 있는 의사-감독과 결합될 때 경량 모델이 비쌍화 ISP 작업에서 더 큰 베이스라인을 능가할 수 있음을 보여줍니다.

결과
NTIRE 2026 비쌍화 ISP 챌린지 숨겨진 테스트 세트에서 이 방법은 다음 성과를 거두었습니다:

• PSNR: 22.569 (4 위)
• SSIM: 0.675 (3 위)
• $\Delta E$(CIE 2000): 8.067 (3 위)
• 평균 순위: 세 가지 지표를 기준으로 3.33.

이 방법은 베이스라인 (20.91 PSNR, 0.567 SSIM, 10.93 $\Delta E$ 기록) 을 크게 능가하면서도 다른 최상위 성과 팀들보다 약 1,000 배 적은 파라미터를 사용했습니다 (예: 1 위 팀은 29M 파라미터).

의의 및 주장
본 논문은 비쌍화 스마트폰 ISP 에 있어 네트워크 아키텍처의 복잡성보다 의사-감독의 품질이 더 중요하다고 주장합니다. 결과는 다음과 같이 시사합니다:

1. 신뢰할 수 있는 의사-쌍화: 거친 것에서 정밀한 것으로의 매칭과 최적 수송을 통해 의미적으로 관련 있는 의사-쌍을 구축하는 것은 안정된 훈련과 일관된 색상 전이를 위해 필수적이며, 무작위 쌍화나 단순한 k-NN 매칭보다 우수합니다.
2. 표현력보다 전역적 제약: 노이즈가 많은 의사-레이블이 있는 비쌍화 환경에서는 복잡한 렌더링 헤드 (예: 3D LUT) 보다 간단한 $1\times1$ 합성곱을 통해 달성된 안정적인 전역 색상 제약이 더 효과적이며, 이는 색조 불일치에 과적합되고 아티팩트를 유발하는 경향이 있습니다.
3. 효율성: 구조적 재구성이 아닌 색상 변환에 중점을 둔 경량 설계는 모바일 배포에 충분하며 바람직하며, 최소한의 계산 비용으로 경쟁력 있는 성능을 달성합니다.

저자들은 비쌍화 ISP 는 적대적 이미지 - 이미지 전이 단독으로 접근하기보다 신뢰할 수 있는 의사-쌍 구축과 경량 색상 매핑을 통해 접근하는 것이 더 낫다고 결론 내립니다.