Estimating SSIM from MSE for DCT-Based Compressed Images

기술 요약: DCT 기반 압축 이미지의 MSE로부터 SSIM 추정

문제 정의
현대적인 비디오 및 이미지 처리 파이프라인, 특히 콘텐츠 적응형 인코딩(Content Adaptive Encoding)을 활용하는 환경에서는 계산 효율적이면서도 지각적으로 유의미한 객관적 품질 지표에 대한 절실한 필요성이 존재한다. 널리 사용되는 피크 신호 대 잡음비(PSNR)보다 구조적 유사도 지수(SSIM)가 우수한 지각적 상관관계를 제공하지만, 표준적인 SSIM 계산은 전참조(full-reference) 분석을 필요로 한다. 구체적으로, SSIM을 계산하기 위해서는 참조 이미지($X$)와 왜곡된 이미지($Y$) 모두로부터 국소 창(local-window) 통계량(평균, 분산, 공분산)을 추출해야 한다.

동일한 소스 콘텐츠가 다양한 비트레이트, 해상도 및 설정으로 반복적으로 인코딩되는 시나리오에서, 매 왜곡된 프레임마다 국소 통계량을 계산하는 것은 상당한 계산 오버헤드와 데이터 의존성 비용을 발생시킨다. 본 논문이 다루는 핵심 문제는 글로벌 평균 제곱 오차(MSE) 또는 글로벌 PSNR과 참조 이미지만에서 도출된 통계량만을 사용하여 SSIM을 어떻게 근사할 것인가 하는 점이며, 이를 통해 왜곡된 신호에 대한 국소 창 분석의 필요성을 제거하고자 한다.

방법론
제안된 접근 방식은 로컬 SSIM과 로컬 MSE($MSE_\ell$), 그리고 소스의 로컬 분산($\sigma_x^2$) 사이의 관계를 확립한 Martini [3]의 선행 연구를 기반으로 한다. 그러나 [3]의 표준 근사법은 여다면 여전히 $MSE_\ell$을 필요로 하는데, 이는 글로벌 MSE($MSE_G$)만 알고 있는 상황에서는 가용한 정보가 아니다.

이를 해결하기 위해, 저자들은 소스의 활동성(activity)에 기초하여 글로벌 왜곡을 로컬 창으로 재배분함으로써 $MSE_\ell$을 모델링할 것을 제안한다. 방법론은 다음과 같이 진행된다:

1. 오차 재배분 모델: 저자들은 DCT 기반 압축에서의 양자화 오차가 공간적으로 균일하지 않으며, 국소 이미지 활동성과 상관관계가 있다고 가설을 세운다. 즉, 매끄러운 영역은 일반적으로 낮은 오차를 유지하는 반면, 질감이 있는(textured) 영역은 더 큰 오차를 흡수한다.
2. 분산 기반 재배분: 1차 모델은 $MSE_G$를 로컬 분산에 비례하여 재배분한다:
   $$MSE_\ell \approx MSE_G \cdot \frac{\sigma_x^2}{E[\sigma_x^2]}$$
3. 아선형(Sublinear) 정밀화: 경험적 분석 결과, 선형 분산 모델은 고분산 영역에 오차를 과다 할당하는 것으로 나타났다. 이를 교정하기 위해, 저자들은 $\beta \in [0, 1]$인 형상 지수(shaping exponent)를 도입하여 아선형 관계를 생성한다:
   $$MSE_\ell \approx MSE_G \cdot \frac{(\sigma_x^2 + \epsilon)^\beta}{E[(\sigma_x^2 + \epsilon)^\beta]}$$
   Kodak 및 Xiph 데이터셋에 대한 최적화를 통해 $\beta$ 값이 약 0.46 및 0.48로 산출되었으며, 이는 제곱근에 가까운 관계임을 시사한다.
4. 표준 편차 공식화: $\beta \approx 0.5$가 최적이라는 점에 착안하여, 저자들은 분산 대신 표준 편차($\sigma_x$)를 사용하는 파라미터 프리(parameter-free) 모델을 제안한다. 이는 국소 활동성의 동적 범위를 압축하여 질감이 있는 영역의 지배력을 줄인다:
   $$MSE_\ell \approx MSE_G \cdot \frac{\sigma_x + \epsilon}{E[\sigma_x + \epsilon]}$$
5. SSIM 근사: 추정된 $MSE_\ell$을 로컬 SSIM 근사식에 대입함으로써, 글로벌 평균 SSIM(MSSIM)은 소스 의존적 스칼라($k$)와 글로벌 왜곡 척도($MSE_G$)의 곱으로 축소된다. 이는 왜곡된 이미지에 대한 개별 창 SSIM 계산을 제거한다.

주요 기여

• 소스 전용 근사: 본 논문은 글로벌 MSE와 참조 이미지에서만 도출된 국소 통계량만을 사용하여 SSIM을 근사하는 프레임워크를 구축한다.
• 파라미터 프리 모델: 경험적 최적화를 통해, 저자들은 표준 편차 기반의 재배분 모델(실질적으로 $\beta \approx 0.5$를 사용)이 분산 기반 접근 방식보다 더 견고하고 파라미터가 필요 없는 솔루션을 제공함을 입증한다.
• 파이프라인 효율성: 이 방법은 반복적인 전참조 분석을 재사용 가능한 소스 스칼라와 인코더에서 가용한 글로벌 왜곡 지표의 조합으로 줄여준다.

실험 결과
제안된 방법들은 다양한 JPEG 품질 수준(35~95)에 걸쳐 Kodak Lossless True Color Image Suite 및 Xiph.org Subset1 데이터셋을 통해 검증되었다. 결과는 다음 항목들과 비교되었다:

1. 실제 SSIM (Ground Truth).
2. 글로벌 MSE 베이스라인.
3. Martini의 로컬 MSE 방식 [3] (정확도의 상한선 역할을 하지만 로컬 MSE를 요구함).
4. 제안된 아선형 분산 및 표준 편차 모델.

결과:

• 정확도: 두 제안된 접근 방식 모두 글로벌 MSE 베이스라인보다 훨씬 더 정확한 SSIM 추정치를 제공한다.
• 로컬 MSE와의 비교: 표준 편차 기반 모델은 로컬 MSE를 사용하여 얻은 추정치와 유사한 결과를 보였으며, 근사 오차는 일반적인 품질 수준에서 1% 미만으로 유지되었다.
• 오차 특성: 낮은 JPEG 품질 수준에서 아선형 분산 모델은 질감이 있는 영역에 오차를 과다 할당함에 따라 더 큰 편차를 보였다. 표준 편차 모델은 동적 범위를 압축함으로써 이를 완화하여 더 균형 잡힌 오차 분포를 결과로 냈다.
• 단조성: 두 방법 모두 JPEG 품질과 SSIM 사이의 단조 관계를 성공적으로 보존하여, 비교 평가에 적합함을 보여주었다.
• 한계점: 저자들은 매우 낮은 품질 수준에서는 왜곡이 점점 더 아티팩트(artifact)에 의존하게 되어 소스 통계량만으로는 설명하기 어려워지며, 이로 인해 근사 오차가 증가한다고 언급하였다.

의의 및 주장
본 논문은 DCT 기반 압축 이미지의 경우, 글로벌 MSE와 참조 유도 국소 통계량만을 사용하여 높은 정확도로 SSIM을 근사할 수 있다고 주장한다. 이러한 능력은 동일한 콘텐츠가 여러 번 인코딩되는 비디오 파이프라인에서 매우 중요한데, 소스 유도 통계량은 한 번만 계산하여 캐싱하고 모든 인코딩 과정에 걸쳐 분할 상환(amortize)할 수 있어 계산 비용과 데이터 의존성을 줄일 수 있기 때문이다.

저자들은 현재의 검증이 JPEG 정지 영상에 국한되어 있다는 점을 명시하며 신중한 태도를 유지한다. 또한, 현대적인 이미지 및 비디오 코덱에 대해 이 프레임워크를 평가하고, 로컬 MSE 근사법에 대한 런타임 성능을 비교하며, 반복적인 비디오 인코딩 시나리오에서 통계량 분할 상환의 이점을 정량화하는 후속 연구가 필요하다고 명시하였다. 본 논문은 SSIM을 대체하는 것이 아니라, 특정 제약이 있는 파이프라인 맥락에서 이를 위한 매우 효율적인 프록시(proxy)를 제공하는 것을 목적으로 한다.