Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising

기술 요약: 모델 기반 이미지 잡음 제거를 위한 하이퍼파라미터 예측을 위한 오라클 감독 전이

문제 제기
전통적인 변분 솔버 (예: TV, TGV) 에서 최신 확산 기반 모델 (예: DiffPIR) 에 이르기까지 모델 기반 이미지 잡음 제거기는 특정 이미지 및 잡음 구성에 대해 재구성 품질 (예: PSNR) 을 극대화하기 위해 신중한 하이퍼파라미터 선택이 필요합니다. 학습된 예측기는 고정된 구성에 대해 오라클에 근접하는 성능을 달성할 수 있지만, 이 접근법은 확장성이 낮다는 단점이 있습니다. 필요한 "오라클" 레이블 (깨끗한 정답과 대비하여 PSNR 을 극대화하는 하이퍼파라미터) 을 생성하려면 훈련 이미지마다 계산 비용이 많이 드는 계층적 그리드 탐색이 필요합니다. 이 비용은 잡음 제거기의 수, 잡음 유형, 그리고 이들의 혼합물에 따라 증가합니다. 결과적으로 새로운 구성 (새로운 잡음 제거기, 새로운 잡음 혼합물, 또는 새로운 해상도) 마다 전용 예측기를 만드는 것은 각 구성마다 자체 오라클 레이블이 지정된 훈련 세트가 필요하기 때문에 과도하게 비용이 듭니다.

방법론: HyperDn
저자들은 다양한 잡음 제거 구성 간에 오라클 감독을 전이하도록 설계된 단일 구성 조건부 예측기인 HyperDn을 제안합니다. 각 구성마다 별도의 예측기를 훈련하는 대신, HyperDn 은 여러 소스 구성에서 오라클 레이블을 풀링하여 하나의 통합 모델을 훈련합니다.

• 아키텍처: 이 모델은 공유 이미지 인코더와 구성 조건부 출력 헤드로 구성됩니다.
  • 이미지 인코더: ImageNet 사전 훈련된 ConvNeXtV2 (stem 및 stage 0–1) 를 기반으로 구축되어 열화된 이미지에서 특징을 추출합니다. 또한 로그 임베딩을 통해 이미지 차원 ($H, W$) 을 통합합니다.
  • 조건부 인코더: 데이터 항 ($d$) 과 사전 항 ($r$) 에 대한 식별자뿐만 아니라 잡음 속성 (예: 잡음 유형 혼합물) 과 관측 파라미터 (예: 광자 수) 에 대한 선택적 메타데이터를 포함하여 잡음 제거 구성을 인코딩합니다.
  • 잡음 제거기 보정 슬롯 읽기 (Denoiser-Calibrated Slot Readout): 이는 이질성을 처리하기 위한 핵심 혁신입니다. 출력은 각 좌표 (슬롯) 가 특정 하이퍼파라미터 역할 (예: 사전 가중치 $\lambda$, 임계값 $\delta$, TGV 비율 $\gamma$) 에 해당하는 패딩된 벡터입니다. 읽기 과정은 다양한 잡음 제거기에서 반복되는 역할에 대해 공유 슬롯 임베딩을 사용하지만, 대상 잡음 제거기 구성에 특화된 학습된 아핀 변환 (스케일 및 오프셋) 을 적용합니다. 이를 통해 모델은 값싼 소스로부터 하이퍼파라미터 역할의 의미 (예: 데이터 충실도와 사전 간의 균형) 를 학습하면서도 값비싼 대상의 특정 수치 범위에 적응할 수 있습니다.
• 훈련 전략: HyperDn 은 소스 구성에서 풀링된 오라클 레이블에 대한 회귀를 통해 훈련됩니다. 손실 함수는 입력 샘플의 특정 구성과 관련된 "활성" 슬롯에만 페널티를 부과하고 패딩 슬롯은 무시합니다. DiffPIR 전이 실험의 경우, 모델은 먼저 13 개의 비 DiffPIR 소스 구성 (TV/TGV 솔버 사용) 풀에서 사전 훈련된 후 소수 샷 대상 레이블로 미세 조정됩니다.

주요 기여

1. 전이 가능한 오라클 감독: 이 논문은 오라클 하이퍼파라미터 레이블이 구성 특정적이지 않고 이미지 속성 (잡음, 질감, 에지) 과 하이퍼파라미터 역할에 대한 전이 가능한 지식을 포함한다고 주장하고 입증합니다.
2. 풀링된 다중 구성 훈련: HyperDn 은 13 개의 소스 구성에서 풀링된 데이터로 훈련된 단일 예측기를 활용하며, 다양한 수와 의미의 하이퍼파라미터를 처리하기 위해 공유 인코더와 특수화된 읽기 헤드를 사용합니다.
3. 비대칭 비용 전이: 이 방법은 값싼 오라클 레이블 (빠른 TV/TGV 솔버, 작은 이미지) 을 가진 구성에서 값비싼 레이블 (느린 DiffPIR 확산 샘플링, 고해상도 이미지) 을 가진 구성으로 감독을 성공적으로 전이합니다.

실험 결과
저자들은 HyperDn 을 세 가지 전이 축에서 평가합니다.

1. DiffPIR 에 대한 소수 샷 전이: TV/TGV 소스에서 256×256 이미지의 값비싼 DiffPIR 모델로의 전이.

   • 단 2 개의 대상 오라클 레이블로 HyperDn 은 30.23 dB를 달성하여 오라클 (31.13 dB) 과 0.90 dB 이내의 성능을 보입니다.
   • 이 성능은 64 개의 레이블을 사용하여 처음부터 훈련된 구성별 CNN (29.92 dB) 을 능가하며, 기준선보다 필요한 대상 레이블의 1/32만 효과적으로 사용합니다.
   • 소스 사전 훈련 없이 (ImageNet 초기화만) 성능이 크게 저하되어 풀링된 감독의 가치를 강조합니다.

2. 혼합 잡음에 대한 제로 샷 전이: 훈련 중에는 보지 못한 잡음 혼합물 (예: 임펄스 + 가우시안) 에 대한 하이퍼파라미터를 단일 잡음 소스 데이터만 사용하여 예측합니다.

   • 대상 레이블이 0 개일 때, HyperDn 은 두 가지 다른 혼합 잡음 대상에서 오라클과 0.21 dB 및 0.09 dB 이내의 오라클에 근접한 성능을 달성합니다.
   • 단일 잡음 모델의 예측이나 최적값을 단순히 평균하는 기준선은 크게 실패 (5–7 dB 격차) 하여, HyperDn 이 잡음 혼합물의 비자명한 표현을 학습함을 보여줍니다.

3. 제로 샷 교차 해상도 전이: 오라클 레이블 생성 비용이 약 40 배 더 비싼 작은 소스 이미지 (96×96) 에서 큰 대상 이미지 (512×768) 로 전이합니다.

   • 대상 레이블이 0 개일 때, HyperDn 은 다양한 데이터셋 (Kodak24, CBSD68, Urban100) 과 구성에서 오라클에 근접한 성능 (격차 < 0.27 dB) 을 유지합니다.

의의 및 주장
이 논문은 하이퍼파라미터 예측을 위한 값비싼 오라클 감독을 소스에서 새로운 대상 구성으로 효과적으로 전이할 수 있다고 주장합니다. 이는 새로운 잡음 제거 설정마다 오라클 레이블을 다시 구축할 필요성을 줄입니다. 그 의의는 다음과 같습니다.

• 배포 비용 절감: 소수 샷 또는 제로 샷 적응을 가능하게 함으로써, 새로운 값비싼 구성 (확산 모델 또는 고해상도 이미지 등) 에 대한 오라클 레이블 생성의 계산 비용을 획기적으로 줄입니다.
• 일반화: 단일 예측기가 다양한 잡음 제거 패러다임 (변분 대 확산), 잡음 유형, 그리고 이미지 해상도 간에 일반화할 수 있음을 보여줍니다.
• 실용성: 추론 비용은 하류 잡음 제거 솔버에 비해 무시할 수 있을 정도로 낮아 (단일 순전파), 실제 이미지 복원 파이프라인에서 실현 가능한 구성 요소가 됩니다.

저자들은 겸손하게, 새로운 잡음 제거기 전이는 완전히 제로 샷이 아닌 소수 샷 (미세 조정을 위한 소수의 대상 레이블 필요) 이며, 혼합 잡음에 대한 제로 샷 결과는 훈련 중 개별적으로 본 잡음 유형의 혼합물로 제한된다고 명시합니다. 그들은 테스트된 설정 밖의 공식적 보장을 주장하지는 않지만, 오라클 감독의 전이 가능성에 대한 경험적 증거를 제공합니다.