技術概要：PD-4DGS

問題定義

現在の 4D ガウススプラッティング（4DGS）手法は、高品質な動的な新規視点合成を可能にする一方で、致命的な「全か無か」の展開ボトルネックに悩まされています。既存のモデルは単一のビットストリーム（通常約 25 MB）であり、クライアントは単一のフレームをレンダリングする前に、これを完全にダウンロードする必要があります。モバイルネットワーク（例：2 Mbps）では、これにより最初のフレームまでの遅延が 73 秒から 930 秒に及ぶ結果となり、インタラクティブなアプリケーションにおけるユーザーの許容範囲である 3〜5 秒を大幅に上回っています。

静的な 3DGS にはプログレッシブ圧縮が存在しますが、これは空間的なアンカーのみを対象としており、動的モデルのサイズを支配する時間的変形ネットワークを分割することはできません。さらに、既存の 4DGS 圧縮器は単一レート（ビットレート変更には再学習が必要）であるか、プログレッシブ性を外部レイヤーとして扱うため、変形ネットワークの内部構造に対処できていません。その結果、4DGS は DASH や HLS などの現代の適応型ビットレート（ABR）ストリーミングプロトコルと互換性がありません。

手法

著者らは、4DGS のプログレッシブ圧縮とオンデマンド伝送のための最初のフレームワークであるPD-4DGSを提案します。このアプローチは、以下の 4 つの中核コンポーネントに依存しています。

1. 階層的変形分解（HDD）

このフレームワークは、4DGS の潜在する粗いものから細かいものへの物理的階層性を、単一のアンカーセットを共有する 3 つの独立して伝送可能なビットストリームレイヤーとして外部化します。

• レイヤー 0（静的足場）: 標準的なアンカーと属性予測 MLP を含みます。到着直後に静的スナップショットをレンダリングし、時間的な入力を必要としません。
• レイヤー 1（大域変形）: 各アンカーの変位を予測する軽量な大域変形ネットワーク（$F_{global}$、通常は HexPlane + MLP）を伝送します。このレイヤーは、モデル全体のサイズに対して 10% 未満のわずかな容量増加で、支配的な動きを捉えます。
• レイヤー 2（局所微細化）: 高周波の詳細（例：髪、顔の筋肉）を回復するために、各ガウスに対する残差（$\Delta\mu, \Delta\Sigma, \Delta\alpha, \Delta c$）を予測する局所変形ネットワーク（$F_{local}$）を伝送します。
  この構造により、ビットストリームの任意のプレフィックスをレンダリング可能にし、ABR プロトコルとのネイティブな互換性を実現します。

2. 属性レベルのレート・歪み最適化（R-DO）

ベースレイヤー（レイヤー 0）が秒単位の遅延のために十分に小さくなるように保証するため、著者らは属性の剪定をヒューリスティックな閾値ではなく、微分可能なレート・歪み問題として定式化します。

• 学習可能なソフトマスク: 各アンカー $i$ は、不透明度とスケールを乗法的にゲートする学習可能なマスク $m_i \in [0, 1]$ を持ちます。これにより、ソフトな学習とハードな剪定間の分布の不一致を回避します。
• ガウスエントロピーモデル: 微分可能なエントロピーモデルが、バッチごとのガウス事前分布に基づき、連続的な属性（特徴、スケール、オフセット）のビットコストを近似します。これにより、学習損失を最終的なビットストリームのサイズに直接結びつけます。
• レイヤーごとの目的関数: 歪みとビットコストを組み合わせ、ベースレイヤーのサイズを最小化しつつ深いレイヤーの忠実度を維持するために、ベースレイヤーに過剰な圧縮重み（$\lambda_{layer}$）を適用します。

3. 時間的マスク一貫性（TMC）

動的レンダリングにおける高周波のマスク振動によって引き起こされるちらつきやゴースト軌跡を防ぐために、2 つの正則化項を導入します。

• 二値エントロピーペナルティ: マスク値を決定論的に $\{0, 1\}$ へ駆動させ、半透明のゴースト軌跡を排除します。
• 空間的滑らかさ制約: 空間的に隣接するアンカー間の整合性を強制し、時間軸を明示的にモデル化することなく、フレーム間での活性化パターンを間接的に安定させます。

4. 容量重み付きプログレッシブロールアウト学習

学習中の均一サンプリング戦略は、高容量の変形ネットワーク（レイヤー 1 と 2）の学習不足を引き起こし、プログレッシブな品質の崩壊を招きます。

• 適応的サンプリング: 著者らは、サンプリング分布 $\pi(\rho)$ を動的に調整するための学習統計量 $\rho$（レベル間マスク活性化率）を導入します。
• メカニズム: $\pi(\rho)$ は、静的シーンに最適な一様分布と、動的シーンに最適な過激な分布の間を補間します。これにより、シーンごとのハイパーパラメータ調整を必要とせず、シーンの特定の変形複雑性に基づいて学習予算を深いレイヤーに再配分します。

主要な結果

実験は、Dycheck iPhone 単眼ベンチマークで行われ、PD-4DGS を最先端のベースライン（SC-GS、Deformable 3DGS、4DGS、MoDec-GS）と比較しました。

• ビットストリーム削減: 同等のレンダリング忠実度において、PD-4DGS は最強の動的ベースライン（MoDec-GS）と比較して、ストリーミングビットストリーム量を**62.6%**削減します。平均ストリームサイズは MoDec-GS の 18.37 MB に対し、6.88 MBです。
• レンダリング品質: この手法は平均 mPSNR 14.54 dBを達成し、MoDec-GS と 0.06 dB 以内の差で、mSSIM（0.480）も一致しています。また、いくつかの特定のシーン（Apple、Paper-windmill、Teddy、Wheel）ではベースラインを上回ります。
• 遅延の突破: 2 Mbps のモバイルリンクにおいて:
  • 単一モジュールのベースラインは、最初のフレームに73.5 秒から 930 秒を要します。
  • PD-4DGS は、レンダリング可能な静的な最初のフレーム（レイヤー 0 のみ、約 0.44 MB）を約 1.7 秒で配信します。
  • 完全なモデルは27.5 秒でダウンロードされ、MoDec-GS が要する時間の 4 分の 1 です。
• プログレッシブ単調性: このフレームワークは、サンプリングの不一致によりプログレッシブ学習で失われがちな性質である、すべてのシーンにわたる厳密なレイヤーごとの単調性（各レイヤーの追加に伴い PSNR が上昇する）を回復させます。

意義と主張

本論文は、PD-4DGS が 4DGS に対する真のオンデマンドプログレッシブストリーミングを可能にする最初のフレームワークであると主張しています。その意義は以下の点にあります。

1. 展開障壁の打破: モバイルネットワークにおける最初のフレームの遅延を数十分未満から 2 秒未満に削減することで、4DGS をインタラクティブなアプリケーションにおいて実用的に可能にします。
2. ネイティブ ABR 互換性: 異なるビットレートでの再学習が必要であったり、スケーラビリティを外部レイヤーとして扱っていた先行手法とは異なり、PD-4DGS はレンダリングネットワーク自体を分解し、DASH/HLS プロトコルとネイティブに互換性を持たせます。
3. 内在的スケーラビリティ: 容量重み付きロールアウト学習は、手動のハイパーパラメータ調整なしに動的シーンにおける「容量・サンプリングの不一致」を解決し、表現が変化するシーンの複雑さに内在的にスケーラブルであることを保証します。

著者らは、近接剛体シーンに対しては効果が低い可能性がある固定された 3 層トポロジーや、評価が Dycheck iPhone ベンチマークに限定されていることなどの限界を指摘しています。しかし、この研究は帯域幅適応型動的シーンストリーミングのための新たなパラダイムを確立しています。