기술 요약: GALOSH – 병렬 처리에 친화적인 로컬 수축(Local Shrinkage)을 통한 블라인드, 학습 불필요 디노이징

1. 문제 정의

이미지 디노이징은 현재 두 가지 뚜렷한 계열에 의해 주도되고 있으며, 각 계리는 상당한 한계를 가지고 있습니다:

• 고전적 학습 불필요 방식 (예: BM3D, Non-Local Means): 이 방법들은 학습 데이터 없이도 센서 전반에 걸쳐 잘 일반화되지만, 콘텐츠 의존적 탐색(블록 매칭, 이웃 가중치 계산)에 크게 의존합니다. 이러한 탐색 메커니즘은 불규칙한 메모리 액세스와 데이터 의존적 제어 흐лу(control flow)를 생성하여 벡터화, GPU 점유율 및 고정 지연 시간 구현을 방해합니다. 또한, 일반적으로 알려진 노이즈 레벨을 가정합니다.
• 학습된 방식 (CNN, Transformer): 이들은 학습 도메인 내에서 최고 수준의 품질을 달지만, 방대한 학습 쌍(training pairs)이 필요하며, 학습 분포를 벗어날 경우 치명적인 성능 저하를 겪습니다. 또한, GPU 가속이 사실상 필수적인 매우 높은 계산 예산(픽셀당 수만 개의 MACs)을 요구합니다.

본 논문은 다음과 같은 질문을 던집니다: 만약 설계 단계에서 탐색을 제거한다면, 고전적 계열의 품질 중 얼마나 많은 부분이 살아남을 것인가? 목표는 품질을 희생하지 않으면서도 빠르고, 병렬화가 가능하며, 고정 지연 시간 하드웨어에 적합한 블라인드, 학습 불필요, 멀티 도메인 디노이저를 만드는 것입니다.

2. 방법론: GALOSH

GALOSH(Generalized Anscombe LOcal SHrinkage)는 고전적 방식의 탐색 기반 아키텍처를 모든 단계가 로컬하고, 규칙적이며, 데이터와 독립적인 파이프라인으로 대체합니다. 계산 그래프는 모든 픽셀에 대해 고정되어 있어 사소한 수준의 병렬화가 가능합니다.

파이프라인은 네 가지 핵심 단계로 구성됩니다:

A. 블라인드 노이즈 추정 (Blind Noise Estimation)

알려진 노이즈 레벨을 가정하는 대신, GALOSH는 노이즈가 섞인 프레임으로부터 직접 포아송-가우시안 노이즈 모델($Var[x] = \alpha E[x] + \sigma^2$)을 피팅합니다. 이는 중첩되는 블록 상에서 국소 라플라시안 분산과 국소 평균 사이의 강건한 회귀(robust regression)를 통해 이루어지며(Foi 스타일 추정기), 오라클 데이터나 캘리브레이션 없이 이미지별 파라미터 $(\alpha, \sigma^2)$를 산출합니다.

B. 분산 안정화 (Variance Stabilization, GAT)

**일반화된 안스콤 변환(Generalized Anscombe Transform, GAT)**은 신호 의존적 노이즈를 대략적으로 단위 분산 가우시안으로 매핑합니다. 이를 통해 프레임 전체에 걸쳐 단일 글로벌 임계값을 적용할 수 있습니다. 이 변환은 재구성을 위해 정확한 편향되지 않은 역변환(unbiased inverse)을 사용합니다.

C. 2패스 로컬 루미넌스 수축 (Two-Pass Local Luminance Shrinkage, LOSH)

루미넌스는 BM3D의 협업적 3D 스택을 대체하여, 중첩되는 $8 \times 8$ 월시-하다마드(Walsh–Hadamard) 블록 상에서의 **사이클 스핀 로컬 수축(cycle-spun local shrinkage)**을 사용하여 디노이징됩니다:

1. 패스 1: 파일럿 추정치를 생성하기 위해 강건한 BayesShrink 임계값을 적용합니다.
2. 패스 2: 파일럿 계수로부터 계산된 경험적 위너 게인(empirical Wiener gain)을 적용합니다.
   중첩된 블록은 윈도우 기반 오버랩-애드(overlap-add)를 통해 재결합됩니다. 이는 BM3D의 "수축 후 위너(shrink-then-Wiener)" 정제 아키텍처를 유지하면서도 모든 콘텐츠 의존성을 제거합니다.

D. 루미넌스 가이드 크로미넌스 회귀 (Luminance-Guided Chrominance Regression)

크로미넌스는 지각적 요구 사항에 따라 루미넌스와 다르게 처리됩니다:

• 루미넌스 노이즈는 입자감(grain)으로 나타나며 텍스처와 공존하므로, 고주파 구조를 보존하기 위해 보수적으로 수축됩니다.
• 크로미넌스 노이즈는 용납하기 어려운 색상 얼룩(color blotches)으로 나타나므로, 공격적으로 평활화(smoothing)됩니다.
  크로미넌스 평면은 디노이징된 루미넌스에 의해 유도되는 1차 국소 가중 회귀(LOESS)를 통해 디노이징됩니다. 멀티 스케일 잔차 피라미드는 큰 입자 형태의 얼룩을 처리합니다. 결정적으로, 재구성된 크로마 값은 입력에 존재하지 않는 색상을 "발명"하는 것을 방지하기 위해 국소 입력 크로마 범위 내로 클램핑됩니다.

도메인 프런트엔드 (Domain Front-Ends)
단일 코어가 두 가지 입력을 처리합니다:

1. GALOSH-RAW: Bayer 모자이크에서 직접 작동합니다. $2 \times 2$ 월시-하다마드 변환을 통해 각 쿼드(quad)를 풀 해상도의 루미넌스와 하프 해상도의 크로마 평면으로 분리합니다.
2. GALOSH-YUV/RGB: 렌더링된 sRGB 이미지에서 작동합니다. 입력은 선형화되어 BT.709 YCbCr로 변환되며, 크로마는 서브샘플링 없이 풀 해상도로 처리됩니다.

3. 주요 기여

1. 탐색 없는 파이프라인: 모든 단계가 로컬하고, 규칙적이며, 데이터와 독립적인, 공유 코어와 두 개의 도메인 프런트엔드(Raw Bayer 및 sRGB/YUV)를 갖춘 완전한 블라인드, 학습 불필요 디노이징 파이프라인을 제시합니다.
2. 고전적 방식 대비 지각적 우월성: 네 가지 실제 노이즈 벤치마크(SIDD Medium, RawNIND) 전반에서 GALOSH는 오라클 노이즈 레벨이 주어진 베이스라인들조차 능가하며, 가장 강력한 블라인드, 학습 불필요 방식임을 입증했습니다.
3. 속도 및 하드웨어 효율성: 탐색을 제거함으로써 발생하는 엄청난 속도 향상(GPU에서 딥러닝 베이스라인보다 7배~650배 빠름)과 실용적인 CPU 성능을 보여줍니다. 고정된 계산 그래프는 연산 횟수 분석과 INT16 구현을 통해 고정 소수점 및 스트리밍 하드웨어에 자연스럽게 매핑됨을 보여줍니다.

4. 실험 결과

본 논문은 Raw Bayer 및 sRGB 도메인에서 고전적 베이스라인(BM3D, NLM 및 그 변형)과 학습된 딥러닝 베이스라인(Blind2Unblind, NAFNet, Restormer, SCUNet)을 평가합니다.

• Raw 도메인: GALOSH는 네 가지 블라인드, 학습 불료 방식 중 가장 뛰어난 지각적 지표(LPIPS, DISTS)를 달성하며, 학습 없이도 Blind2Unblind 네트워크과의 격차를 대부분 좁혔습니다.
• sRGB 도메인:
  • GALOSH는 블라인드 고전적 방식들을 결정적으로 압도합니다 (SIDD sRGB에서 35.01 dB vs 27–29 dB).
  • 고전적 방식들에 오라클 노이즈 레벨이 주어졌을 때조차, 그들은 GALOSH의 성능을 따라잡지 못했습니다. 이는 이점의 원인이 단순히 노이즈 추정이 아니라 알고리즘 자체에 있음을 증명합니다.
  • 학습된 DL과의 비교: 인도메인 데이터(SIDD)에서 학습된 네트워크(예: NAFNet)가 약간의 우위를 점합니다. 그러나 고 ISO 환경의 크로스 도메인 데이터(RawNIND)에서 학습된 네트워크는 GALOSH에 비해 아주 근소한 차이(+0.3–0.7 dB)만을 유지하는 반면, GALOSH는 고전적 방식들을 크게 앞섭니다. 특히, GALOSH는 일부 학습된 네트워크가 발산하는 근흑색(near-black) 장면에서도 수치적으로 안정적입니다.
• 속도:
  • GPU: 16-MP raw 프레임당 0.76초 (Blind2Unblind의 5.6초 대비) 및 15.8-MP sRGB 프레임당 0.87초 (DL 베이스라인의 13.5s–565s 대비).
  • CPU: GALOSH는 CPU에서 실용적인 유일한 강력한 방법으로, raw 데이터에서 BM3D-CFA/NLM-CFA보다 2–3배 빠르며, sRGB에서는 더 높은 품질과 함께 Color-NLM보다 빠르게 동작합니다.

5. 의의 및 주장

본 논문은 GALOSH가 탐색이 고품질 디노이징에 필수적이지 않다는 것을 보여준다고 주장합니다. 분산 안정화된 사이클 스핀 로컬 수축과 루미넌스 가이드 회귀로 탐색을 대체함으로써, 고전적 계열의 품질을 유지 및 확장하는 동시에 다음을 달성합니다:

• 블라인드(Blindness): 학습 데이터나 노이즈 레벨 오라클이 필요하지 않습니다.
• 멀티 도메인 커버리지: 단일 코어가 raw 모자이크와 렌더링된 이미지를 모두 처리합니다.
• 병렬성 및 지연 시간: 고정된, 데이터 독립적인 구조는 고정 지연 시간 구현과 고정 소수점 스트리밍 하드웨어로의 자연스러운 매핑을 가능하게 합니다 (INT16 구현으로 지원됨).
• 강건성(Robustness): 학습된 네트워크에서 종종 나타나는 도메인 저하 및 수치적 불안정성을 피합니다.

저자들은 GALOSH를 인도메인 학습 네트워크의 품질 경쟁자가 아니라, 블라인드, 학습 불필요, 멀티 도메인, 그리고 하드웨어 효율적인 디노이징이라는 특정 제약 조건에 대한 우수한 솔루션으로 포지셔닝합니다.