💻 computer science

Clustered Codebook Quantization for 2D Gaussian-based Image Compression

本論文では、2次元ガウス分布に基づく画像圧縮において、視覚的な品質をベースラインと同等に維持しつつ、ビット・パー・ピクセル（bpp）を20%削減するために、量子化の前にガウスパラメータを同質なグループへと分割する手法であるCluster-Guided Vector Quantization（CGVQ）を提案する。

原著者： Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、何百万もの小さな、光る楕円形のステッカー（「2D Gaussian primitives」と呼ばれます）で構成された、巨大で高解像度なデジタル絵画を持っていると想像してください。各ステッカーには、どこに座るか、どのくらいの大きさか、どのように回転するか、そしてどんな色で光るかという特定の指示が含まれています。この手法は、画像を鮮明でリアルに見せるのには優れていますが、問題があります。それは、すべてのステッカーの正確な指示を保存するには、膨大なデジタル容量が必要になることです。まるで、バックパックの中に図書館を持ち歩こうとするようなものです。

この論文は、画像の品質を損なうことなく、このバックパックを小さくするための新しいトリック、CGVQ（Clustered Codebook Quantization：クラスター化コードブック量子化）を紹介しています。その仕組みを、簡単な比喩を使って説明します。

問題点：万能な辞書は存在しない

以前は、容量を節約するために、研究者たちはすべてのステッカーを一つの巨大な「指示辞書」（グローバル・コードブック）に無理やり押し込もうとしていました。これは、街にあるあらゆる物体――小さなアリから摩天楼まで――を、わずか1,000語の単一のリストだけで説明しようとするようなものです。あなたは「大きなもの」や「小さなもの」といった非常に曖昧な言葉を使わざるを得なくなります。すると、辞書が細部に対して十分に具体的ではないため、記述が不正確になり、画像がぼやけたり、「アーティファクト」（奇妙なグリッチ）が発生したりします。

解決策：スタイルによる分類

著者たちの新しいアイデアは、圧縮を行う前に、ステッカーをグループに分類することです。

分類（K-Means クラスタリング）： バラバラに混ざったレゴブロックの箱を想像してください。それらを一度にすべて説明しようとするのではなく、まず山ごとに分けます。赤いブロックの山、青いブロックの山、小さな1x1の山、そして巨大な4x4の山、といった具合です。論文では、回転、大きさ、色といったステッカーの「個性」に基づいて、画像を分類しています。
特化型の辞書（クラスター固有のコードブック）： ステッカーを整理された山に分けた後、システムは各山に対して、小さくて専門的な辞書を作成します。
- 「赤いブロック」の山には、特定の赤系の色合いが詰まった辞書が割り当てられます。
- 「小さなブロック」の山には、精密な小さなサイズに関する辞書が割り当てられます。
- 各辞書は特定の種類のステッカーだけを説明すればよいため、より正確に、かつより少ない言葉（ビット）でその役割を果たすことができます。

結果：同じ絵画で、より小さなバックパックを

これらの特化型辞書を使用することで、システムは画像をより効率的に記述できるようになります。

主張： 論文によれば、この手法は、従来の最高の手法（GI）と比較して、画像の鮮明さを維持したまま、ファイルサイズを約**20%**削減できるとしています。
トレードオフ： 小さな代償があります。ステッカーをグループに分類し、複数の辞書を管理するには、処理に少し時間がかかります。論文では、より高い品質を得るために（グループの数を増やすほど）、保存や読み込みの速度が低下すると述べています。これは、**「どれだけファイルを小さくしたいか」と「どれだけ速く開きたいか」**の間のトレードオフです。

要約すると

旅行の荷造りを考えてみてください。

従来の方法： すべてのものを一つの巨大なスーツケースに投げ込み、ラベルに「持ち物」と書くようなものです。重くて乱雑です。
新しい方法（CGVQ）： 服を「シャツ」「パンツ」「靴」と分類し、それぞれに完璧にフィットするサイズのバッグにパッキングします。これにより、合計のスペースをより小さく抑えつつ、同じ量の荷物を入れることができます（ただし、最初に仕分けをする時間は必要です）。

この論文は、画像を類似したグループに整理することで、画像をぼやけさせることなく、大幅に圧縮できることを証明しています。

技術要約：2Dガウス分布に基づく画像圧縮のためのクラスター化コードブック量子化

問題提起

Zhangら [2025a] によって提案されたガウス分布ベースの画像表現は、高精細な視覚的忠実度と解像度に依存しないレンダリングを実現するために、コンパクトなパラメータ・プリミティブ（2Dガウス分布）を用いて画像コンテンツをモデル化している。しかし、各プリミティブに必要な大量の非制約浮動小数点パラメータ（位置、回転・スケール、および色）を保存することは、特に高精細なターゲットにおいて、レート歪み効率を著しく低下させる。

先行研究（GI）では、これらの属性を離散的なコードブックに圧縮するために、グローバルなベクトル量子化（VQ）および残差ベクトル量子化（RQ）を用いることでこの問題に対処しようとした。しかし、単一のグローバルなコードブックでは、自然画像のパラメータが持つ膨大な分散をマッピングするには不十分である。この容量の制約は、必然的に量子化誤差と視覚的なアーティファクトを引き起こす。核心となる課題は、コードブックの効率を高めるためにパラメータのエントロピーを制約しつつ、正確なガウス再構成を維持することである。

手法：クラスター誘導型ベクトル量子化 (CGVQ)

著者らは、量子化の前に2Dガウス・プリミティブを均質なグループに分割する手法である CGVQ を提案する。その基本原理は、固定されたコードブック容量に対して、パラメータの分布がより狭い方が、より優れた量子化結果をもたらすという点にある。

1. クラスタリング戦略

コードブックの学習前に、本手法は特徴量の類似性に基づいて2Dガウス・プリミティブをグループ化する：

特徴ベクトル: 各プリミティブ $G_i$ について、回転 ( $r_i$ )、スケール ( $s_i$ )、およびRGB色 ( $c_i$ ) の属性を結合することで、特徴ベクトル $f_i$ を構築する。
位置の除外: 2D位置 ( $\mu_i$ ) は、クラスタリングの特徴量から意図的に除外される。なぜなら、位置に基づくグルーピングは幾何学的な忠実度を損なう可能性があるため、空間的な正確さに対する量子化品質の感度が非常に高いからである。
プロセス: 正規化された特徴量は、クラスター内の分散を最小化するように $K$ 個の互いに素なクラスターに分割される。クラスター数 $K$ は、再構成の忠実度と圧縮効率のバランスを取るために、手動で選択される（通常4から16の間）。
一貫性: クラスタリングは初期学習の収束後に一度だけ実行され、得られたクラスター割り当ては、すべてのパラメータ固有の量子化器間で共有される。

2. クラスターごとのコードブック学習

単一のグローバルなコードブックではなく、CGVQは各属性タイプの異なる統計的性質を活用するために、クラスターごとに3つの独立したコードブックを学習する：

位置 ( $\mu$ ): 「Straight-Through」形式の偽造VQ（FakeVQ）エスティメータを用いた、16ビット浮動小数点量化認識学習（QAT）を用いてモデル化される。
回転・スケール (RS): 一様ベクトル量子化（UQ）コードブックを用いてモデル化される。
色 ( $c$ ): きめ細かな残差精緻化のために、残差ベクトル量子化（RQ）コードブックを用いてモデル化される。

これらのコードブックは、結合損失関数 $L = L_{recon} + L_{vq}$ を最小化することにより、エンドツーエンドで学習される。再構成損失 ( $L_{recon}$ ) はピクセル単位の $L_1$ 損失と特徴空間における知覚的 $L_1$ 損失を組み合わせたものであり、 $L_{vq}$ はエンコーダの出力を割り当てられたコードブックのエントリへと正則化するためのコミットメント損失として機能する。

3. デコーディング・パイプライン

デコーディング中、各圧縮されたクラスターは独立して処理される：

量子化インデックスを使用して、3つの専用コードブック（位置にはFP16、RSにはUQ、色はRQ）から値を検索する。
すべてのクラスターからデコードされたプリミティブは、レンダリングのために単一のガウス集合へと合成される。
ビットレート削減: 最終的なビットレートをさらに削減するために、量子化インデックス・テーブルに対して部分ビットバックエンコーディング（Partial Bits Back Encoding）が行われる。

主な貢献

分割量子化: 量子化の前に2Dガウス・プリミティブを低分散のグループに分割するCGVQを提案した。これは、グローバルな量子化戦略を適用するのではなく、クラスター化を行うものである。
局所的コードブック: 局所的なクラスター固有のコードブックが、グローバルなコードブックのベースラインと比較して、優れた圧縮・忠実度のトレードオフを提供し、同等のビットレートにおいてPSNRとSSIMを向上させることを示した。
クラスタリングの最適化: ガウス表現における将来的なコードブック量子化を最適化するための方向として、K-Meansクラスタリングの可能性を強調した。

実験結果

実験は、10Kから25Kのガウス・プリミティブを用いてKodakデータセットに対して行われた。

レート歪み性能: CGVQは一貫してGIのベースラインを上回る。同様の再構成忠実度（約31.0 dB）において、CGVQはGI（2.40 bpp）に対し、20%のビットレート削減（1.92 bpp）を達成している。
高精細領域: この優位性は、高品質な領域（30 dB以上）で最も顕著であり、CGVQはより高いPSNRと強力な構造的類似性（SSIM）を維持する。
パラメータ効率: 15Kのプリミティブを用いた場合、CGVQはGIに対してPSNRを1.68 dB向上させる。さらに、15Kのプリミティブを用いたCGVQは、19Kのプリミティブを用いたGIと同等の視覚的品質を実現しており、これは必要なプリミティブ数の21%の削減を意味する。
計算量のトレードオフ: クラスター数 ( $K$ ) を増やすと、圧縮品質は向上するが、実行時のオーバーヘッドが生じる。 $K$ が1から16に増加するにつれ、エンコードFPSは $2.91 \times 10^{-2}$ から $1.9 \times 10^{-3}$ へ、デコードFPSは133.3から33.3へと低下する。

意義と主張

本論文は、パラメータの分布が狭いほど正確に量子化しやすいという原理を利用することで、CGVQが2Dガウス・プリミティブのストレージコストの問題を効果的に解決していると主張している。外観と異方性に基づいてプリミティブを均質なクラスターに分割することで、局所的なマルチコードブック設計が、グローバルなアプローチよりも高周波の詳細をより精密に捉えることを可能にしている。

著者らは、本研究をGIフレームワークの拡張として位置づけており、レート歪み性能を向上させるより効率的な量子化戦略を提供している。しかし、彼らは明示的にトレードオフについても認めている。すなわち、より細かいクラスタリングによって圧縮品質は向上するものの、それはエンコードおよびデコード速度の低下という代償を伴うということである。本手法は、視覚的忠実度と計算効率のバランスを取りながら、ガウスベースの画像圧縮におけるコードブック量子化を最適化するための一歩として提示されている。