技術要約: MiraGe – ガウス・スプラッティングを用いた編集可能な2D画像

問題提起

潜在的ニューラル表現（INR）およびGaussianImageのような最近のガウス成分に基づく手法は、連続関数やガウス成分を通じて2D画像をエンコードすることに成功しており、高い再構成品質と圧縮を実現している。しかし、これらの手法には重大な制限が存在する。すなわち、これらは画像を主に静的なデータ表現として扱う点である。これらは、3D空間内における（写真のような）2Dオブジェクトの人間による知覚を模倣するような、直感的かつユーザー主導の画像修正能力を欠いている。3Dガウス・スプラッティング（3DGS）はシーンの操作を可能にするが、既存の2Dガウス手法（例：GaussianImage）は、シーンオブジェクトの変形や物理ベースの相互作用の統合をサポートしておらず、動的な編集やアニメーションのシナリオにおける適用性が制限されている。

手法

MiraGeは、2D画像を3D空間内に配置された平らなオブジェクトとして捉えることで、人間の視覚的知覚の観点から2D画像エンコーディングを再定義し、これらの制限に対処する。コアとなる手法には以下のコンポーネントが含まれる。

1. 平坦な3Dガウス表現

標準的な3Dガウスや2Dガウスの代わりに、MiraGeは**平坦な3Dガウス（flat 3D Gaussians）**を採用する。これらは、一つのスケールパラメータがゼロに強制される（$s_1 = \epsilon$）ガウス成分であり、実質的に平面的な分布を作り出す。

• GaMeS パラメトリゼーション: 本論文では、これらの平坦なガウスを三角形面メッシュ（"triangle soup"）として表現するために、GaMeS（Gaussian Mesh Splatting）パラメトリゼーションを利用している。ガウス成分 $N(m, R, S)$ は、平均とスケーリング/回転パラメータから派生した頂点を持つ三角形 $V = [v_1, v_2, v_3]$ にマッピングされる。これにより、基礎となる三角形メッシュを変形させることで、ガウスの特性（位置、スケール、回転）を直接操作することが可能になる。

2. 空間構成と初期化

2D画像は、原点 $(0,0,0)$ を中心としてXZ平面上に初期化される。カメラからの距離は、知覚されるスケールを制御するハイパーパラメータである。初期化範囲は、透視投影下で画像全体が確実に表示されるよう、カメラの画角に基づいて計算される。

3. 3つの制御バリアント

本論文では、これらのガウスの空間的位置を制御するための3つの異なるアプローチを提案している。

• Amorphous-MiraGe: ガウスはXZ平面上に初期化されるが、学習中に3D空間内で自由（アモルファス）に移動することが許容される。これにより3D操作が可能になる一方で、著者らはこれが重大なアーティファクトを生じさせ、さらなる制約なしには高品質な表現には不十分であると指摘している。
• 2D-MiraGe: アーティファクトを防ぐため、ガウスはXZ平面に厳格に固定される。この手法では、ガウス成分を平面に整列させるために回転行列を使用し、直交投影を保証する。2Dとしては効果的であるが、このアプローチは3Dの修正を試みる際に失敗する。なぜなら、カメラの位置に応じてガウスがランダムに見えてしまうためである。
• Graphite-MiraGe: このバリアントは、学習可能な平行移動パラメータ $\gamma$ を導入することで、ガウスがXZ平面から（具体的にはY軸方向に）離れることを可能にする。これにより、カメラの位置に対する順序を維持しながら3Dの修正が可能となり、複雑な空間推論や画像の組み合わせを容易にする。

4. ミラーカメラ設定

再構成の忠実度と制御を高めるために、MiraGeはミラーカメラ設定を採用している。2つの対向するカメラがY軸に沿って配置され、互いに向き合うように対称に配置される。

• 一方のカメラは元の画像 $I$ を再構成する。
• 第二のカメラは、鏡像 $M(I)$ （水平反転されたもの）を再構成する。
• 損失関数は、両方のビューの再構成コスト $L(I) + L(M(I))$ を組み合わせる。この設定により、ガウスが特定の空間領域内に留まることが保証され、表現の精度が向上する。

5. 物理エンジンとの統合

MiraGeは、2D用のTaichi_elementsや3D用のBlenderといった物理エンジンと統合されており、物理ベースの修正を可能にする。物理エンジンをブラックボックスとして扱うことで、モデルは現実的な相互作用、変形、および動きをシミュレートでき、2D画像コンテンツの動的なアニメーションを可能にする。

主な貢献

本論文は、以下の主要な貢献を述べている：

1. MiraGe モデル: 平坦な3Dガウス成分を用いて2D画像を表現する新しいモデルを導入し、最先端の再構成品質を達成した。
2. 3D空間操作: 2D画像を3D空間内で操作することで、3D効果の錯覚を生み出し、従来の2Dフレームワークでは困難であった直感的なパースペクティブ調整を可能にする。
3. 物理統合: MiraGeと物理エンジンを統合することに成功し、2Dおよび3D環境の両方において、物理に基づいた修正と相互作用を実現し、アニメーションのリアリズムを高めた。

結果

KodakおよびDIV2Kデータセットを用いた定量評価により、MiraGeは古典的なINR（SIREN, WIRE, I-NGP, NeuRBF）、標準的な3DGS、およびGaussianImageを含む既存のベースラインを上回っていることが示された。

• 再構成品質: MiraGeは、大幅に高いPSNRおよびMS-SSIMスコアを達成している。例えば、DIV2Kデータセットにおいて、MiraGe-100kはPSNR 54.54、MS-SSIM 0.9998を達成しており、これはGaussianImage-100kの41.48および0.9981と比較して顕著に高い。
• 視覚的忠実度: 視覚的な比較では、MiraGeはDragGANやDragDiffusionのような生成モデルと比較して、局所的な編集を行う際にアーティファクトが少なく、細部（例：顔のえくぼ、ライオンの口）をより良く保持していることが示されている。
• 編集能力: 本モデルは、2D画像を3D空間内で曲げる、回転させる、アニメーション化するといった現実的な修正や、異なる平面上での複数の画像のシームレスな統合（コラージュのような構成）をサポートしている。

意義と主張

著者らは、MiraGeが2D画像表現と3D空間理解の間のギャップを埋めるものであると主張している。人間による知覚をシミュレートし、2D画像を3D内の平らなオブジェクトとして扱うことで、以下のことが可能になる：

• 直感的な編集: ユーザーは、第3次元における直接的な複雑な変換（アフィン変換、曲げ）を実行できる。
• 動的なアプリケーション: 物理エンジンとの統合により、VRの背景やインタラクティブな空間インターフェースに適した、物理法則に則った現実的な2Dアニメーションの作成が可能になる。
• 優れたパフォーマンス: 標準的なINRやGaussianImageのアプローチよりも優れた再構成品質と、より自然な修正能力を提供する。これは、セマンティックな内容を予測不能に変更してしまう可能性のある生成技術に依存することなく実現される。

結論として、本モデルは（前景要素を動かした際の）背景の遮蔽といった2Dデータの性質による制限はあるものの、平坦な3Dガウス、ミラーカメラ学習、および物理統合の組み合わせが、画像編集とアニメーションの可能性を広げる強力なツールセットを提供することを述べている。