Estimating SSIM from MSE for DCT-Based Compressed Images

技術要約：DCTベースの圧縮画像におけるMSEからのSSIM推定

問題提起
現代のビデオおよび画像処理パイプライン、特にコンテンツ適応型エンコーディング（Content Adaptive Encoding）を利用する場面において、計算効率が高く、かつ知覚的に意味のある客観的品質指標の必要性が高まっている。一般的に広く用いられているピーク信号対雑音比（PSNR）と比較して、構造的類似性指数（SSIM）は優れた知覚相関性を提供するが、その標準的な計算にはフルリファレンス分析が必要となる。具体的には、SSIMの算出には、参照画像（$X$）と歪み画像（$Y$）の両方から、局所ウィンドウ統計量（平均、分散、共分散）を計算する必要がある。

同一のソースコンテンツが、様々なビットレート、解像度、構成で繰り返しエンコードされるシナリオにおいて、すべての歪みフレームに対して局所ウィンドウ統計量を計算することは、重大な計算オーバーヘッドとデータ依存コストを招く。本論文が取り組む核心的な問題は、グローバルな平均二乗誤差（MSE）またはグローバルなPSNR、および参照画像のみから導出される統計量のみを用いて、いかにSSIMを近似するかであり、これにより歪み信号に対する局所ウィンドウ分析の必要性を排除することである。

手法
提案手法は、局所SSIMと局所MSE（$MSE_\ell$）、およびソースの局所分散（$\sigma_x^2$）との関係を確立したMartiniによる先行研究[3]に基づいている。しかし、[3]における標準的な近似法は依然として$MSE_\ell$を必要とするが、$MSE_\ell$はグローバルMSE（$MSE_G$）のみが既知である場合には利用できない。

これを解決するため、著者らは、ソースの活動度に基づいてグローバルな歪みを局所ウィンドウへと再分配することにより、$MSE_\ell$をモデル化することを提案している。手法のプロセスは以下の通りである：

1. 誤差再分配モデル： 著者らは、DCTベースの圧縮における量子化誤差は空間的に一様ではなく、画像の局所的な活動度と相関していると仮定している。平滑な領域は通常、より低い誤差を保持する一方で、テクスチャの多い領域はより大きな誤差を吸収する。
2. 分散に基づく再分配： 第一近似モデルでは、$MSE_G$を局所分散に比例するように再分配する：
   $$MSE_\ell \approx MSE_G \cdot \frac{\sigma_x^2}{E[\sigma_x^2]}$$
3. 劣線形による精緻化： 実証的な分析により、線形分散モデルは高分散領域に対して誤差を過剰に割り当てることが明らかになった。これを修正するために、著者らは形状指数 $\beta \in [0, 1]$ を導入し、劣線形な関係性を構築する：
   $$MSE_\ell \approx MSE_G \cdot \frac{(\sigma_x^2 + \epsilon)^\beta}{E[(\sigma_x^2 + \epsilon)^\beta]}$$
   KodakおよびXiphデータセットを用いた最適化により、$\beta$の値は約0.46および0.48となり、平方根に近い関係であることが示された。
4. 標準偏差の定式化： $\beta \approx 0.5$ という最適値に着想を得て、著者らは分散（$\sigma_x^2$）ではなく標準偏差（$\sigma_x$）を用いる、パラメータフリーのモデルを提案する。これにより、局所的な活動のダイナミックレンジを圧縮し、テクスチャの多い領域による支配を抑制する：
   $$MSE_\ell \approx MSE_G \cdot \frac{\sigma_x + \epsilon}{E[\sigma_x + \epsilon]}$$
5. SSIM近似： この推定された$MSE_\ell$を局所SSIM近似式に代入することで、グローバルな平均SSIM（MSSIM）を、ソース依存のスカラー（$k$）とグローバルな歪み尺度（$MSE_G$）の積へと簡略化する。これにより、歪み画像に対する窓ごとのSSIM計算を排除できる。

主な貢献

• ソースのみによる近似： 本論文は、グローバルMSEと、参照画像のみから導出される局所統計量のみを用いてSSIMを近似するフレームワークを確立した。
• パラメータフリーモデル： 実証的な最適化を通じて、標準偏差ベースの再分配モデル（実質的に $\beta \approx 0.5$ を使用）が、分散ベースのアプローチよりも堅牢でパラメータフリーなソリューションを提供することを実証した。
• パイプラインの効率化： 本手法は、フルリファレンス分析を、事前計算され再利用可能なソーススカラーと、エンコーダから得られるグローバルな歪み指標の組み合わせへと削減する。

実験結果
提案手法は、JPEGの品質レベル（35から95）にわたる範囲において、Kodak Lossless True Color Image SuiteおよびXiph.org Subset1データセットを用いて検証された。結果は以下のものと比較された：

1. 真のSSIM（グラウンドトゥルース）。
2. グローバルMSEのベースライン。
3. Martiniの局所MSE法[3]（精度の実質的な上限となるが、局所MSEを必要とする）。
4. 提案された劣線形分散モデルおよび標準偏差モデル。

知見：

• 精度： 両方の提案手法は、グローバルMSEベースラインよりも大幅に正確なSSIM推定値を提供する。
• 局所MSEとの比較： 標準偏差ベースのモデルは、局所MSEを用いて得られた推定値に近い値を示し、近似誤差は典型的な品質レベルにおいて1%未満に留まった。
• 誤差特性： 低品質のJPEGレベルでは、劣線形分散モデルはテクスチャ領域への誤差の過剰割り当てにより、大きな偏差を示した。標準偏差モデルは、ダイナミックレンジを圧縮することでこれを緩和し、よりバランスの取れた誤差分布を実現した。
• 単調性： 両手法とも、JPEG品質とSSIMの間の単調な関係を維持することに成功しており、比較評価に適している。
• 限界： 著者らは、極めて低い品質レベルにおいては、歪みがますますアーティファクト依存となり、ソースのみの統計量では記述しにくくなるため、近似誤差が増大すると指摘している。

意義と主張
本論文は、DCTベースの圧縮画像において、グローバルMSEと参照由来の局所統計量のみを使用して、高い精度でSSIMを近似することが可能であると主張している。この能力は、同じコンテンツが何度もエンコードされるビデオパイプラインにおいて重要である。ソース由来の統計量は一度計算すれば、キャッシュして全てのエンコードにわたって償却（amortize）できるため、計算コストを削減できる。

著者らは、現在の検証がJPEG静止画に限定されていることを挙げ、控えめな範囲を維持している。彼らは、現代の画像およびビデオコーデックに対して本フレームワークを評価すること、局所MSE近似に対する実行時のパフォーマンスを比較すること、および繰り返されるビデオエンコーディング・シナリオにおける統計量の償却によるメリットを定量化することについて、今後の課題が必要であると明示している。本論文は、SSIMをグラウンドトゥルースとして置き換えることを主張しているのではなく、特定の制約されたパイプラインの文脈において、その非常に効率的なプロキシ（代理指標）を提供することを目的としている。