기술 요약: 단일 프레임 ISP 파이프라인 평가를 위한 레퍼런스 프리(Reference-Free) 프레임워크

문제 정의

현대적인 카메라의 이미지 신호 처리(ISP) 파이프라인을 평가하려면 디노이징, 데모자이킹, 톤 매핑, 압축과 같은 연산으로 인해 발생하는 저수준 아티팩트를 정량화해야 합니다. PSNR, SSIM, LPIPS와 같은 풀-레퍼런스(Full-Reference, FR) 지표는 픽셀 수준의 차이와 구조적 유사성을 효과적으로 측정하지만, 완벽하게 정렬된 이미지 쌍(처리된 이미지와 결함 없는 정답 참조 이미지)을 필요로 합니다. 실제 환경에서는 이러한 참조 이미지를 얻기 위해 정확한 획득 조건(노출, 조명, 장면 움직임 등)을 재현하는 것이 불가능합니다.

반대로, 블라인드 이미지 품질 평가(Blind IQA) 방식은 레퍼런스 없이 작동하지만, 주로 시맨틱 콘텐츠, 미학, 또는 고수준의 지각 점수(MOS)에 초점을 맞춥니다. 이러한 방식은 미세한 저수준 ISP 아티팩트(예: 색상 편향, 블로킹 현상, 데모자이킹 오류)를 감지하는 데 실패하는 경우가 많으며, 평가자 간 변동성이 큰 비용이 많이 드는 인간의 주관적 어노테이션에 의존합니다. 따라서 특정 ISP 설정에 대해 정답 레퍼스(ground-truth reference)나 인간의 라벨 없이도 표준 FR 지표(PSNR, SSIM, LPIPS)를 추정할 수 있는 방법론이 부족한 실정입니다.

방법론

저자들은 단일 처리된 sRGB 이미지와 그 ISO 메타데이터로부터 풀-레퍼런스 지표를 추정하는 레퍼런스 프리 학습 프레임워크를 제안합니다. 핵심 아이디어는 스칼라 품질 점수를 직접 회귀하는 대신 "프록시 레퍼런스(proxy reference)" 이미지를 예측하는 것입니다.

1. 프레임워크 개요

이 접근 방식은 ISP 파이프라인 $F$를 노이즈가 포함된 로우(raw) 이미지 $x$를 sRGB 출력 $y = F(x)$로 변환하는 과정으로 모델링합니다. 로우 이미지 $x$는 이상적인 클린 로우 $x_0$의 노이즈 버전($x = s(x_0 + \epsilon)$)으로 모델링되며, 여기서 $\epsilon$은 센서와 ISO에 따라 달라지는 노이즈를 나타냅니다.

• 입력: 처리된 이미지 $y$와 노이즈 심도를 나타내는 대리 지표로서의 ISO 값.
• 네트워크: SwinIR 기반의 신경망 $\phi_\theta$가 프록시 레퍼런스 $y_\theta = \phi_\theta(y, \text{ISO})$를 예측합니다.
• 지표 추정: 프레임워크는 처리된 이미지와 예측된 프록시 사이의 표준 FR 지표 $C(y, y_\theta)$ (PSNR, SSIM, LPIPS)를 계산합니다.

2. 네트워크 아키텍처 및 컨디셔닝

네트워크 $\phi_\theta$는 SwinIR 백본을 활용합니다. 로우 입력을 요구하지 않고도 노이즈 레벨에 따라 네트워크를 컨디셔닝하기 위해, 저자들은 표준 LayerNorm을 **적응형 레이어 정규화(Adaptive LayerNorm, AdaLN)**로 교체했습니다. AdaLN을 위한 스케일 및 시프트 파라미터는 ISO 값의 임베딩으로부터 예측되며, 이를 통해 하나의 모델이 저게인(low-gain)부터 고게인(high-gain) 시나리오까지 다양한 노이즈 심도를 처리할 수 있습니다.

3. 학습 전략

모델은 깨끗한 이미지(DIV2K, Flickr2K, Waterloo)를 고정된 베이스라인 ISP 파이프라인을 통해 처리하여 생성된 합성 데이터를 사용하여 멀티-지표 공동 최적화 방식으로 학습됩니다. 손실 함수는 다음을 결합합니다:

• 데이터 손실 ($\ell_{data}$): 프록시 $y_\theta$와 정답 레퍼런스 $y_{GT}$ 사이의 픽셀 단위 재구성 손실 ($L_2$).
• 지指標 일관성 손실 ($\ell_C$): 예측된 지표 $C_m(y, y_\theta)$와 정답 지표 $C_m(y, y_{GT})$ 사이의 차이를 최소화하는 손실 항(PSNR 및 SSIM용).
• 지각 손실 ($\ell_{perc}$): 지각적 타당성을 보장하기 위한 특징 기반 손실(사전 학습된 추출기 사용).

저자들은 PSNR과 SSIM을 공동으로 최적화하는 것이 특정 LPIPS 손실 항 없이도 LPIPS와 높은 상관관계를 가지며 잘 일반화되는 모델을 생성한다는 것을 발견했습니다.

4. LoRA를 통한 빠른 적응

합성 학습 파이프라인과 실제 세계의 ISP(예: Adobe Lightroom) 사이의 도메인 격차를 해결하기 위해, 저자들은 **저계수 적응(Low-Rank Adaptation, LoRA)**을 채택했습니다. 전체 네트워크를 재학습하는 대신, 베이스 가중치 $\theta$를 고정하고 소수의 LoRA 파라미터 $\omega$만을 미세 조정합니다. 이를 통해 최소한의 데이터(few-shot learning)를 사용하여 단 몇 시간 만에 새로운 ISP 설정(다른 디노이저, 데모자이킹 방법 또는 압축 설정)에 효율적으로 적응할 수 있습니다.

주요 기여

1. 레퍼런스 프리 지표 추정: 처리된 이미지와 ISO 메타데이터를 사용하여 FR 지표(PSNR, SSIM, LPIPS)를 학습 가능한 블라인드 기준으로 변환함으로써, 정렬된 쌍이나 주관적 어노테이션의 필요성을 제거했습니다.
2. 멀티-지표 공동 최적화: 단일 모델이 다양한 ISP 단계(비선형 연산인 톤 매핑 및 JPEG 압축 포함)에 걸쳐 일반화되면서도 여러 서로 다른 지표와 높은 상관관계를 유지할 수 있게 하는 전략을 제시했습니다.
3. 강력한 일반화 및 적응성: 합성 데이터로 학습된 모델이 미처 보지 못한 실제적인 파이프라인(예: Adobe Lightroom)에 일반화될 수 있음을 입증하였으며, LoRA 미세 조정이 최소한의 데이터로 도메인 격차를 효과적으로 완화함을 보여주었습니다.

실험 결과

방법론은 합성 벤치마크와 Adobe Lightroom으로 처리된 SIDD 데이터셋(Google Pixel, LG G4, Motorola Nexus 6)의 실제 데이터를 통해 평가되었습니다.

• 합성 성능: 복원 기반 접근 방식은 직접적인 지표 회귀 방식보다 합성 데이터에서 성능이 크게 뛰어났습니다. PSNR과 SSIM을 공동 최적화했을 때, PSNR에 대해 ~0.96, SSIM에 대해 ~0.94의 PLCC 점수를 달성했으며, LPIPS와도 강한 상관관계를 보였습니다.
• 블라인드 IQA와의 비교: 제안된 방법은 저수준 ISP 왜곡을 기준으로 이미지를 순위 매기는 데 있어 최신 블라인드 IQA 방법들(예: MUSIQ, MANIQA, CLIP-IQA, VCRNet)보다 일관되게 우수한 성능을 보였습니다. 기존 블라인드 IQA 방식들은 시맨틱 콘텐츠가 동일하지만 ISP 처리가 달라지는 경우 품질 차이를 구분하지 못하는 경우가 많으나, 제안된 방법은 이를 정확히 순위 매깁니다.
• 실제 세계 적응: Adobe로 처리된 실제 이미지에 직접 적용했을 때, 합성 학습 모델은 특히 SSIM과 LPIPS에서 성능 저하를 보였습니다. 그러나 Adobe 처리된 패치 세트에 대해 LoRA 미세 조정을 거친 후, 성능이 상당히 회복되어 PSNR 0.958, SSIM 0.957, LPIPS 0.922의 PLCC 점수를 달성했습니다.
• 효율성: LoRA 미세 조정은 적응 시간을 전체 재학습 시 걸리는 며칠에서 단 몇 시간으로 단축하면서도 유사한 정확도를 유지했습니다.

의의 및 주장

본 논문은 실질적인 카메라 파이프라인 평가를 위한 풀-레퍼런스 지표의 레퍼런스 프리 추정 가능성을 입증한다고 주장합니다. 저자들은 자신들의 접근 방식이 시맨틱 콘텐츠보다 저수준 아티팩트에 우선순위를 두는 기존의 지각적 블라인드 IQA와 구별된다는 점을 강조합니다. 프록시 레퍼런스를 예측함으로써, 이 방법은 PSNR, SSIM, LPIPS에 내재된 구조적 및 픽셀 수준의 비교를 보존합니다.

이 연구의 의의는 ISP 개발자들이 완벽하게 정렬된 정답 레퍼런스를 확보해야 하는 물류적 부담 없이 파이프라인 구성 요소(디노이저, 데모자이킹, 압축)를 튜닝하고 비교할 수 있는 도구를 제공하는 데 있습니다. 프레임워크는 합성 학습과 실제 배포 사이의 간극을 효율적인 LoRA 적응을 통해 메우는 실용적인 솔루션으로 제시됩니다. 저자들은 현재 작업이 고정된 카메라 센서 노이즈 프로파일에 집중하고 있으며, 서로 다른 제조사나 센서 간의 보편적인 전이를 주장하는 것이 아니라 특정 ISP 구성 및 컴포넌트 변경의 평가를 목표로 한다고 명시했습니다.