MEGS$^{2}$: Memory-Efficient Gaussian Splatting via Spherical Gaussians and Unified Pruning

本論文は、高次球面調和関数の代わりに軽量な球面ガウスローブを採用し、プリミティブ数とローブ数の剪定を統合的に最適化する「MEGS$^{2}$」を提案することで、レンダリング時の VRAM 使用量を大幅に削減しつつ画質を維持するメモリ効率の良い 3D ガウススプラッティング手法を確立した。

要約

MEGS2：3D 画像を「スマホでもサクサク」動かす新技術の解説

この論文は、**「MEGS2（メグス・ツー）」**という新しい技術を紹介しています。

一言で言うと、**「高品質な 3D 画像を、普通のスマホやパソコンでもサクサク動かせるようにする魔法の箱」**です。

なぜこれがすごいのか、そしてどうやって実現したのかを、身近な例え話を使って説明します。

---

1. 問題：3D 画像は「重すぎて」スマホがパンクする

まず、背景知識から。
最近、**「3D ガウシアン・スプラッティング（3DGS）」**という技術が流行っています。これは、現実の風景や物体を、まるで「光る小さな点（ガウス）」の集まりで表現する技術です。これを使うと、写真のようなリアルな 3D 画像を、リアルタイムで自由に動かして見ることができます。

しかし、大きな問題がありました。
この「光る点」のデータ量は膨大です。

• **PC（高性能なグラフィックボード）**なら動きますが、スマホのような小さな機械では、メモリ（作業机の広さ）が足りずにクラッシュしたり、カクカクして動かなかったりします。
• 従来の「圧縮技術」は、**「ファイルサイズ（ディスクの容量）」**を小さくするだけでした。でも、実際に画面を描画する瞬間には、また元の巨大なデータに戻してしまっていたのです。
  • 例え話： 荷物を小さく梱包して（圧縮）、トラックに積むことはできました。でも、荷物を下ろして広げる瞬間（描画）に、また巨大な段ボールが 100 個も出てきて、作業部屋（メモリ）がパンクしてしまうような状態でした。

2. 解決策：MEGS2 の「2 つの工夫」

MEGS2 は、この「描画時のメモリ不足」を根本から解決しました。そのために、**「点の数を減らす」だけでなく、「1 つの点の重さ（情報量）も減らす」**という、2 つの方向からアプローチしました。

工夫①：色を表現する「道具」を交換する

• 従来の方法（球面調和関数）：
  光の反射や影を表現するために、複雑な「数学の公式（球面調和関数）」を使っていました。これは、どんな光も表現できますが、**「情報を詰め込むために、パラメータ（数字）が大量に必要」**でした。
  • 例え話： 絵を描くのに、**「100 色の絵の具と巨大なパレット」**を使っていたようなもの。色は綺麗ですが、パレットが重すぎて持ち運べません。
• MEGS2 の方法（球面ガウス）：
  ここでは、**「球面ガウス（SG）」という新しい道具に切り替えました。これは、「必要な分だけ、方向を自由に調整できる小さな光の点」**です。
  • 例え話： 100 色の絵の具ではなく、**「必要な色だけを取り出せる、軽量でコンパクトなペン」を使うようにしました。これだけで、同じくらい綺麗に、しかも「パレット（メモリ）の重さを半分以下」**に減らせます。

工夫②：「不要な点」と「不要な色」をまとめて捨てる

• 従来の方法：
  「点（プリミティブ）」を減らすか、「色（パラメータ）」を減らすか、どちらか一方だけを頑張っていました。
  • 例え話： 荷物を減らすために、「箱（点）を減らす」か「箱の中身（色）を減らす」か、別々に考えていました。
• MEGS2 の方法（統一された剪定）：
  「箱を減らすこと」と「中身を減らすこと」を**「同時に、バランスよく」**最適化するアルゴリズムを開発しました。
  • 例え話： 引越しの荷造りで、「箱を減らす」と「中身を整理する」を同時に行い、「必要なものだけを残して、残りはすべて捨ててしまう」のではなく、**「捨てた分だけ、残った箱の形を少し変えて、全体の重さを最小化する」**ような知恵を使っています。
  • さらに、捨てた部分の「色」が薄くならないように、**「色補正」**という魔法をかけて、見た目の美しさを保ちます。

3. 結果：スマホでも「ゲームのように」動く！

この技術を使うと、驚くべき結果が得られました。

• メモリ使用量： 従来の方法に比べて、**「8 倍」**も少ないメモリで動きます。
• 動作速度：
  • PC： 1 秒間に 27 フレーム（カクつく）だったのが、117 フレーム（超滑らか）に。
  • スマホ： 以前は「動かない（エラー）」だったのが、91 フレーム（ゲームのように快適）に。
  • 古いスマホ： 以前は動かなかったものが、34 フレームで動くように。

図 1 のイメージ：

• 昔の 3D 画像： 重い荷物を運んで、PC でも息切れ、スマホでは「運べません（エラー）」。
• MEGS2： 荷物を軽量化して、PC でもスマホでも、**「軽やかに走れる」**状態になりました。

まとめ

MEGS2 は、「3D 画像のデータ量」と「描画に必要なメモリ」を、根本から軽くする技術です。

• 色を表現する道具を「軽量版」に交換。
• 不要な情報と不要な点を、バランスよくまとめて削除。

これにより、「高画質な 3D 体験」が、高性能な PC だけでなく、私たちの手元にある普通のスマホやタブレットでも、リアルタイムで楽しめるようになりました。

今後は、この技術を使って、スマホでバーチャル旅行を楽しんだり、ゲームの中でリアルな 3D 世界を自由に動き回ったりすることが、もっと身近になるでしょう。

技術概要

MEGS2: 球面ガウスと統一剪定によるメモリ効率化ガウススプラッティング

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された「MEGS2 (Memory-Efficient Gaussian Splatting via Spherical Gaussians and Unified Pruning)」について述べる。3D ガウススプラッティング（3DGS）の画質を維持しつつ、エッジデバイス（モバイル端末など）での実時間レンダリングを可能にするための、画期的なメモリ効率化フレームワークを提案している。

1. 背景と課題 (Problem)

3D ガウススプラッティング（3DGS）は、高品質な新規視点合成と実時間レンダリングを実現し、NeRF を凌駕するパラダイムとなっている。しかし、その応用には重大なボトルネックが存在する。

• メモリ消費の壁: 3DGS は大量のガウスプリミティブと、色表現に用いる球面調和関数（Spherical Harmonics: SH）を必要とする。これにより、VRAM（ビデオメモリ）消費量が膨大になる。
• 既存手法の限界: 既存の圧縮手法は主に「ストレージ（ファイルサイズ）の圧縮」に焦点を当てている。ベクトル量子化やニューラル圧縮などはファイルサイズを縮小できるが、レンダリング時には全パラメータを解凍して展開する必要があるため、レンダリング時のメモリ使用量（VRAM）は削減されず、むしろ増加することさえある。
• エッジデバイスへの適用困難: 高機能なデスクトップ GPU では動作しても、モバイル端末や低スペックな GPU ではメモリ不足によりレンダリングが破綻するか、フレームレートが極端に低下する。

2. 提案手法 (Methodology)

MEGS2 は、レンダリングメモリを削減するために、**「プリミティブの総数」と「1 つのプリミティブあたりのパラメータ数」**の両方を同時に最適化するユニークなアプローチを採用している。

A. 色表現の革新：球面ガウス（Spherical Gaussians: SG）への完全置換

従来の 3DGS が使用する SH（球面調和関数）は、高周波なハイライトや局所的な光の反射を表現するために高次項が必要となり、パラメータ効率が悪いという課題があった。

• SG の導入: MEGS2 は SH を完全に排除し、任意の向きを持ち、剪定（プルーニング）可能な球面ガウス（SG）のローブを色表現として採用する。
• 利点: SG は少数のローブ（例：3 つ）で SH の高次項に匹敵する高周波詳細を表現でき、パラメータ数が大幅に減少する。また、ローブの数を柔軟に制御できるため、圧縮に適している。
• 固定軸の排除: 既存の SG-Splatting が採用していた「直交軸に固定された SG」ではなく、任意の向きを持つ SGを採用することで、表現力を最大化し、画質の劣化を防いでいる。

B. 統一ソフト・プルーニング・フレームワーク (Unified Soft-Pruning Framework)

メモリ制約を最大化するために、プリミティブの削除（プリミティブ・プルーニング）と、各プリミティブ内の SG ローブの削除（ローブ・プルーニング）を別々の段階ではなく、単一の制約付き最適化問題として統合的に解決する。

• 定式化: 全パラメータの予算（$\kappa$）を制約条件とし、不透明度ベクトル（$o$）と鋭度ベクトル（$s$）の $L_0$ ノルム（非ゼロ要素数）を最小化する問題として定式化する。
  $$\min_{o,s,\Theta} \mathcal{L}(o, s, \Theta) \quad \text{s.t.} \quad \rho_o \|o\|_0 + \rho_s \|s\|_0 \leq \kappa$$
• 最適化アルゴリズム: $L_0$ ノルムは微分不可能であるため、ADMM（Alternating Direction Method of Multipliers）に着想を得たアルゴリズムを採用。代理変数（proxy variables）と双対変数（dual variables）を導入し、勾配降下と近接作用素（proximal operator）を交互に実行することで効率的に解く。
• ポストプロセッシングと色補償: 最適化後、不透明度や鋭度がほぼゼロになったプリミティブやローブを物理的に削除する。この際、削除されたローブのエネルギーを失わないよう、拡散色項（$c_0$）に補正項（$\Delta c_0$）を加えることで画質を回復させる。

3. 主要な貢献 (Key Contributions)

1. SH の完全置換と SG の活用: ハイブリッドモデルを脱却し、任意向きの剪定可能 SG を完全な色表現として導入。プリミティブあたりのパラメータ数を劇的に削減。
2. 統一ソフト・プルーニング: プリミティブ数とローブ数を同時に最適化する単一フレームワークを提案。逐次的な剪定やハード剪定よりも優れたメモリ効率と画質のバランスを実現。
3. 前例のないメモリ圧縮: 既存の軽量手法（GaussianSpa など）を凌駕する圧縮率を達成。

4. 実験結果 (Results)

Mip-NeRF 360、Tanks & Temples、Deep Blending などの標準データセットで評価を行った。

• VRAM 削減率:
  • 静的 VRAM（読み込み時）: 従来の 3DGS に対して約 8 倍、SOTA 手法（GaussianSpa）に対して約 2 倍 の圧縮を達成。
  • レンダリング VRAM（描画時）: 従来の 3DGS に対して約 6 倍、GaussianSpa に対して 40% 削減。
• 画質: PSNR、SSIM、LPIPS において、GaussianSpa と同等かそれ以上の画質を維持。特に、鏡面反射や高コントラストな照明の再現において、SH を用いた手法よりも優れていることが視覚的に確認された。
• 実時間レンダリング性能:
  • デスクトップ (RTX 3060): 3DGS (27 FPS) に対し、MEGS2 は 117.4 FPS を達成。
  • モバイル (Dimensity 9400+): 3DGS は 6.6 FPS（または動作不可）であったのに対し、MEGS2 は 91.0 FPS を実現。
  • Snapdragon 865/888: これらのデバイスでは 3DGS は動作しなかったが、MEGS2 は 60 FPS 以上で動作し、エッジデバイスでの実用性を証明した。

5. 意義と結論 (Significance)

MEGS2 は、3DGS の応用範囲を「高価な GPU を搭載したデスクトップ」から「一般的なスマートフォンやタブレット」へと広げる重要な転換点である。

• レンダリングメモリへの焦点: これまでの研究が「ファイルサイズ」に偏っていたのに対し、本論文は「レンダリング時の VRAM」に焦点を当て、エッジコンピューティングにおける真のボトルネックを解決した。
• 実用化の促進: WebGL ベースのビューアを用いた実証実験により、ブラウザ上で高品質な 3D コンテンツをスムーズに閲覧できる可能性を示した。これは、AR/VR、仮想試着、モバイル 3D スキャンなどの実世界アプリケーションへの展開を加速させる。

結論として、MEGS2 は「画質を犠牲にせず、メモリ制約を劇的に緩和する」ことで、3D ガウススプラッティングを次世代のエッジデバイス向け標準技術へと昇華させる可能性を秘めている。