PaaF: Raising the perceived quality of INR-Based Image Compression

기술 요약: PaaF – INR 기반 이미지 압축의 인지적 품질 향상

문제 정의
암시적 신경 표현(Implicit Neural Representations, INRs)은 이미지를 좌표를 색상으로 매핑하는 함수로 표현하고 이를 신경망으로 근사하는 이미지 압축의 패러다임을 제공한다. 이러한 방식은 해상도 독립성과 병렬 가능한 디코딩을 가능하게 하지만, 기존의 INR 기반 코덱은 두 가지 주요 한계점을 갖는다. 하나는 매우 긴 인코딩 시간(종종 수 시간 소요)이며, 다른 하나는 전통적인 코덱(예: JPEG) 및 학습된 잠재 기반(latent-based) 방식에 비해 고전적인 품질 지표(PSNR 등)에서 지속적으로 나타나는 성능 격차이다. 메타 학습이나 하이브리드 접근 방식과 같은 이전의 INR 압축 개선 시도들은 특정 학습 데이터에 묶인 제약을 도입하거나 디코딩 과정의 복잡성을 가중시켰다.

방법론: PaaF (Picture as a Function)
저자들은 비트율-왜곡 성능(rate-distortion performance)을 향상시키는 동시에 INR 디코딩의 단순성과 병렬성을 유지하도록 설계된 순수 INR 기반 이미지 코덱인 PaaF를 제안한다. 이 방법론은 다음과 같은 몇 가지 혁신적인 기술적 구성 요소를 통합한다:

1. 좌표 기반 표현 및 전처리:

   • 이미지는 픽셀 좌표 $(p_x, p_y)$에서 정규화된 좌표 $(c_x, c_y) \in [-1, 1]$로 매핑된다.
   • 색공간 변환을 통해 RGB를 YCbCr로 변환한 후, 채널별 평균 차감 및 $[-1, 1]$ 범위로의 정규화를 수행한다. 이는 재구성 품질을 경험적으로 개선한다.

2. 지수적 구조 설정 (Exponential Architectural Configuration):

   • 비트당 픽셀 비율(bits-per-pixel ratio)을 최적화하기 위해, 네트워크는 레이어 특징 수에 대해 지수적 휴리스틱을 채택한다. 특징 수는 레이어 깊이가 깊어짐에 따라 지수적으로 감소하여, 깊이에 비례하는 병목 현상을 생성한다.
   • 가중치 재시작(weight restarts) 및 섭동 범위(perturbation ranges) 또한 훈련 중에 지수적으로 감소한다.

3. 자기 조절형 SIREN 활성화 함수 (Self-Modulating SIREN Activations):

   • 네트워크는 모든 레이어(테일 제외)가 자기 조절형 사인 함수 활성화(SIREN)를 사용하는 하나의 경량 모듈을 사용한다.
   • 보조 변조 네트워크를 필요로 하는 전통적인 SIREN과 달리, PaaF는 출력 특징 인덱스에 따라 위상 오프셋($\phi_i$)과 주기 변조($\omega_i$)를 결정론적으로 샘플링한다. 이 파라미터들은 공유된 의사 난수 생성기(pseudo-random number generator) 설정을 통해 재생 가능하므로, 비트스트림에 전송할 필요가 없다.

4. 세밀한 적응형 양자화 (Fine-Grained Adaptive Quantization):

   • 훈련 후 가중치가 라플라스 분포를 따른다는 관찰에 기초하여 비균등 양자화 방식을 도입한다.
   • 고정된 비트 전략 대신, PaaF는 스케일 팩터 $s$와 심볼 수 $M = 2^e$ ($e$는 반드시 정수일 필요 없음)를 사용하여 값을 이산 정수로 매핑한다.
   • 비트율 감소와 품질 저하 사이의 균형을 맞추며 최적의 $e$를 찾기 위해 효율적인 이분 탐색(dichotomic search)이 사용된다.

5. 엔트로피 코딩 및 훈련 파이프라인:

   • 양자화된 파라미터는 Brotli와 레인지 코더(range coder)를 사용하여 압축되며, 특정 데이터셋에 가장 적합한 분포(Laplacian 또는 Gaussian)를 선택한다.
   • 훈련 파이프라인은 가중치 섭동과 데이터셋 세분화(pixel unshuffling)를 포함한 반복적 피팅을 포함하며, 이는 단계당 계산량을 줄인다. 양자화는 각 에포크(epoch) 종료 시 선택 과정에 통합된 후, 전체 양자화 인식 미세 조정(quantization-aware fine-tuning) 과정을 거친다.

6. 손실 함수 (Loss Functions):

   • 저자들은 특정 프리셋에 맞춰 손실 함수를 조정한다:
     • PSNR: $\log(\cosh(x))$의 수학적으로 안정적인 근사치를 사용한다.
     • MS-SSIM: L1 손실과 SSIM을 결합한다.
     • Visual: 시각적 품질을 최적화하도록 설계된 LogCosh와 SSIM의 조합이다.

주요 기여

• PaaF 코덱: 하이브리드 또는 잠재 기반 솔루션에서 벗어나 순수하게 INR에 기반한 새로운 오픈 소스 이미지 코덱을 제시한다.
• 구조적 혁신: 보조 변조 네트워크의 필요성을 제거하는 자기 조절형 SIREN 레이어와 네트워크 깊이를 위한 새로운 지수적 구성을 도입한다.
• 적응형 양자화: 고정 비트 전략을 대체하여 가중치 분포에 더 잘 부합하는 비(非) 2의 거듭제곱 심볼 수를 허용하는 유연한 양자화 방식을 제공한다.
• 포괄적 평가: Kodak 및 CLIC2020 데이터셋에 대해 기존의 순수 INR 기반 방법들(COIN, ICE, Strümpler et al., NIF) 및 전통적인 베이스라인(JPEG)을 대상으로 엄격한 벤치마킹을 수행한다.

실험 결과

• 정량적 성능: Kodak 데이터셋에서 PaaF는 모든 지표(PSNR, MS-SSIM, LPIPS)와 비트레이트에서 비교된 모든 INR 기반 방법들을 능가한다. 고해解상도 CLIC2020 데이터셋에서 PaaF는 특히 인지적 지표(LPIPS)에서 강력한 우위를 보이며, 특정 구성에서 경쟁 모델 대비 최대 -87%의 BD-Rate 이득을 달성한다.
• 절제 연구 (Ablation Studies): 실험을 통해 적응형 양자화 방식이 고품질 인코딩 시 고정 비트 양자화(6, 7, 8, 12비트)보다 유의미하게 우수함을 확인했다. 제안된 손실 함수 조합(LogCosh/SSIM) 또한 표준 L2 또는 L2+SSIM 조합보다 특히 LPIPS 측면에서 우수한 성능을 입증했다.
• 정성적 분석: 시각적 비교를 통해 PaaF(특히 "Visual" 프리셋)가 JPEG 및 기타 INR 방식에서 나타나는 흐릿함(blurriness)과 아티팩트(색상 에일리어싱 및 물결 패턴 등)를 줄이고, 낮은 비트레이트에서도 벽의 모서리나 나뭇잎과 같은 고주파 세부 사항을 충실히 재구성함을 보여준다.

의의 및 주장
본 논문은 PaaF가 기능적 표현(functional representations)과 확립된 압축 패러다임 사이의 간극을 성공적으로 좁혔다고 주장한다. 구조적 설계를 개선하고 적응형 양자화를 도입함으로써, 저자들은 순수 INR 기반 방식이 하이브리드 잠재 표현에 의존하지 않고도 일관된 품질 향상과 인지적 품질을 달성할 수 있음을 입증하였다.

저자들은 INR 기반 방식이 여전히 이미지당 훈련이 필요하다는 점(인코딩 시간에 관한 제한점)을 강조하지만, 디코딩 과정은 효율적이고 병렬화가 가능하며 고충실도의 아티팩트 없는 재구성을 생성할 수 있다. 이 연구는 기능적 데이터 표현이 계산 최적화와 주관적 품질 연구가 계속 발전함에 따라 멀티미디어 압축을 혁신할 상당한 잠재력을 가지고 있음을 시사한다. 저자들은 PaaF를 모든 기존 코덱의 직접적인 경쟁자로 포지셔닝하는 것이 아니라, 순수 INR 기반 압축이라는 특정 영역 내에서의 중요한 진보로 규정한다.