💻 computer science

HyperGS: Fast and Generalizable Gaussian Video Representation

HyperGSは、ビデオフレームから3Dガウス表現を単一のフォワードパスで直接予測する、高速かつフィードフォワードで汎用的なフレームワークを導入し、従来のビデオごとの最適化手法と比較して、優れた再構成品質を維持しながら、数桁高速なエンコーディングとゼロショットの高解像度レンダリングを実現します。

原著者： Fatimah Zohra, Chen Zhao, Shuming Liu, Yahya Al Malallah, Bernard Ghanem

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fatimah Zohra, Chen Zhao, Shuming Liu, Yahya Al Malallah, Bernard Ghanem

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で散らかったレゴの山があり、あなたの目標はその中から動いているビデオシーンを再構築することだと想像してください。長い間、これを実現する最善の方法は、特定のビデオと向き合い、そのビデオに合わせて一つひとつのレゴブロックを手作業で丹念に配置し、位置、色、サイズを何度も調整することでした。これが従来のビデオ手法です。彼らはビデオごとに個別に「最適化」を行っていました。それは機能していましたが、まるで観たい映画ごとに粘土から彫像を刻むような作業でした。これにはビデオごとに何時間もかかり、最初の映画を彫るために学んだスキルは、二番目の映画には役に立ちませんでした。

そこに、手作業での彫刻をやめ、超高速な「魔法の設計図マシン」を使うことにしたデジタル建築家チーム、HyperGSが登場しました。

魔法の設計図マシン

ビデオごとに時間をかけて調整する代わりに、HyperGSは「フィードフォワード」システムです。これは、世界中のあらゆる料理のレシピを暗記しているシェフのようなものです。新しい、見たこともないビデオを渡されたとき、彼らは味見をしてスパイスを調整するために何時間も費やすことはありません。ビデオを一目見るだけで、ザッ！ と、そのシーンを構築するために必要な正確な指示を、一瞬の閃き（「フォワードパス」）で吐き出します。

彼らが吐き出す指示は、曖昧な説明ではありません。具体的で明示的な**ガウス分布（Gaussians）**です。ガウス分布を、特定の中心、サイズ、回転、色を持つ、ふわふわとした光る風船だと想像してみてください。HyperGSは、ビデオのフレームを再現するために、これら何千もの風船をどのように配置すべきかを正確に予測します。

「針」の問題とセーフティネット

チームがこのマシンにこれらの風船を予測させる方法を教えようとしたとき、事態は少し奇妙なことになりました。マシンは、ビデオの鋭いエッジに合わせようとして、風船を極端に細長く、まるで顕微鏡レベルの「針」のように作り始めてしまったのです。最初はこれでうまくいっているように見えましたが、その後、システム全体が突然崩壊してしまいました。まるで真夜中に家が崩れ落ちるかのように。

著者たちはこの「針状の退化（needle-like degeneration）」を発見し、巧妙なセーフティネットで解決しました。彼らは単に「針は禁止」という硬いルールを課したわけではありません。代わりに、トレーニング中に風船を見守る、スマートで適応性のあるコーチを与えました。もし風船が尖りすぎ始めたら、コーチはそれらをより丸い形に戻すよう優しく促します。もし形が適切であれば、コーチはそのままにしておきます。この「適応的正規化（adaptive regularization）」がトレーニングを安定させ、以前の試みで発生していた突然のクラッシュを防いでいます。

なぜこれが大きな意味を持つのか

結果は驚異的です。従来の「手作業による彫刻」の手法（個別ビデオ最適化）は、一つのビデオを処理するのに何時間もかかりますが、HyperGSはそれをミリ秒単位で行います。

速度： 同じ品質を実現する場合、従来の手法よりも1万倍から10万倍速いです。
品質： 標準的なビデオテスト（K400、SSv2、UCF101など）において、HyperGSは以前の高速な手法よりも実際に鮮明な画像（高いPSNR）を生成しており、スコアを2.9〜3.1 dB向上させています。
柔軟性： HyperGSは隠れたコードではなく、実際の風船の形状を予測するため、品質を損なうことなくズームインやズームアウトが可能です。256x256ピクセルの小さなビデオで学習させ、その後、再学習することなく、即座に鮮明な720pビデオを描画させることができます。それは、ポストカードに絵を描くことを学び、同じ筆致で壁画を描けるようになるようなものです。

トレードオフ

ただし、一つだけ注意点がありますが、それは妥当なものです。要求する風船（ガウス分布）の数が多いほど、映像はより良く見えますが、ファイルサイズは大きくなります。

風船を250個使用する場合、非常に高速ですが、少しぼやけます。
風船を3,000個使用する場合、素晴らしい見た目になりますが、ファイルは大きくなります。
著者たちは、自分でバランスを選べることを示しています。少ない風船を使用した場合でも、HyperGSは従来のビデオ圧縮（H.265など）において、速度と品質の両面で勝利しています。

それが「何ではないか」

HyperGSが「何をしないか」を知っておくことも重要です。この手法は、ビデオをデコードするために複雑なニューラルネットワークの隠れた「重み」を推測しようとはしません（他の高速な手法のように）。代わりに、実際の目に見える形状を直接予測します。つまり、動作するために特定のデコーダーを必要とせず、ただ風船を吐き出し、すぐにレンダリングできるのです。

結論

著者たちは、ビデオの形状をピクセルから直接、一ステップで予測できることを示し、遅くて反復的な「彫刻」のフェーズを完全にスキップしました。彼らは数千のビデオでこれを測定しましたが、その結果は、このアプローチが単なる理論的なアイデアではなく、従来よりも桁違いに速く、かつ素晴らしい見た目を実現する実用的なシステムであることを示唆しています。これはビデオに対する新しい考え方です。ビデオを圧縮すべきピクセルのストリームとしてではなく、瞬時に予測可能な、動く光る風船の集合体として捉えるのです。

技術要約: HyperGS: 高速かつ汎用的なガウス動画表現

問題提起

3D Gaussian Splatting (3DGS) は静止画や動的なビデオに対して効果的であることが証明されているが、既存のビデオ適応手法はビデオごとの最適化に依存している。これらの手法は、反復的な勾配ベースの最適化を通じて各ビデオに対して個別にガウスパラメータを適合させるため、ビデオごとに数万ステップの工程と数時間の計算時間を必要とする。このような非定常性は、学習された構造の転移を妨げ、リアルタイム処理を困難にし、最適化なしでの分布外（OOD）ビデオや高解像度への汎用性を制限する。

ビデオ表現のためのフィードフォワードな代替案を作成しようとする先行研究の多くは、ネットワークがデコーダの重みを予測する**暗黙的ニューラル表現（INR）**に焦点を当ててきた。しかし、これらの手法は表現を特定のニューラルアーキテクチャに結びつけ、追加の非線形デコーディングステップを必要とする。

手法: HyperGS

著者らは、ビデオ入力から単一のフォワードパスで明示的な2Dガウス・プリミティブを直接予測する、フィードフォワードかつ最適化不要のフレームワークであるHyperGSを提案する。このアプローチは、表現をいかなる暗黙的デコーダからも切り離し、ガウス・スプラッティングの効率的なラスタリゼーション能力を活用する。

アーキテクチャ

モデルは、因子分解された時空間Transformer（factorized spatiotemporal Transformer）とクエリベースのTransformerで構成される：

ビデオ・トークナイゼーション: 入力ビデオは、学習可能な時空間位置エンコーディング（RoPE）を用いた3D畳み込みを使用して、パッチ埋め込みへと投影される。
ST-Transformer (エンコーダ): 因子分解された時空間Transformerがビデオ・トークンを処理する。これは、空間的な自己注意（2D RoPE）と時間的な自己注意（1D RoPE）を逐次的に適用することで、空間および時間を通じた特徴をコンテキスト化する。スキップ接続により、元のパッチ埋め込みが保持され、安定性が向上する。
Q-Transformer (デコーダ): 学習可能なガウス・トークン（クエリ）のセットが、コンテキスト化されたビデオ特徴量に注意を向ける。自己注意を通じて、これらのトークンは関連情報を集約し、各フレームの最終的な8パラメータのガウス表現を回帰する。
パラメータ予測: モデルは、 $N$ 個のガウス体に対する解釈可能なパラメータを出力する：平均位置（ $\mu$ ）、異方性スケール（ $s$ ）、回転（ $r$ ）、および色（ $c$ ）。これらは有効な範囲に制約される（例：スケールは正であることが強制され、回転は $[0, 2\pi)$ をカバーする）。
レンダリング: 予測されたガウス体は、微分可能な2Dガウス・ラスタリゼーションを介してレンダリングされ、ビデオフレームを再構成する。

学習の安定性と正則化

著者らは、最適化によってガウス体が「針状」の異方性（一軸方向に極端に引き伸ばされた形状）へと向かい、トレーニングの途中で性能が急激に崩壊するという、決定的な学習の不安定性を特定した。これに対処するため、彼らは適応型幾何学正則化を導入した：

有効ランク正則化 ( $\mathcal{L}_{erank}$ ): スケール分布の有効ランク（Effective Rank）を利用して、退化した針状の形状にペナルティを与える。閾値は、バッチ内の第1パーセンタイル有効ランクの指数移動平均（EMA）を用いて動的に適応される。
適応型スケール正則化 ( $\mathcal{L}_{scale}$ ): スケールの大きさの第99パーセンタイルをEMA経由で追跡し、不合理に大きなスケールを防ぐ。外れ値に対しては、二乗誤差によるペナルティを課す。

主な貢献

初のフィードフォワード型ガウス予測器: HyperGSは、ビデオに対して単一のフォワードパスで明示的なガウス・プリミティブを予測する初のメソッドである。
性能と効率:
- 同等の再構成品質において、ビデオごとのガウス最適化よりも104–105倍高速なエンコーディングを実現する。
- K400、SSv2、UCF101において、より小さな表現サイズ（64Kパラメータ vs 85K–139K）を用いながらも、従来のフィードフォワード・ビデオエンコーダ（例：FastNeRV）に対してPSNRを+2.9–3.1 dB向上させた。
- エンコーディング速度は約400–2200 FPSに達し、デコーディングは約3900–4400 FPSに達する。
ゼロショット汎化: モデルは、ファインチューニングなしで未知の高解像度（720p）ビデオに汎化する。高解像度フレームをタイル状に配置するためのパッチ・グリッド・エンコーディングをサポートしており、再エンコーディングなしで、表現サイズと忠実度のトレードオフを制御できる。
安定化メカニズム: 適応的なランクベースの正則化の導入により、フィードフォワード型のガウス学習を悩ませる「針状」への退化を回避することに成功した。

実験結果

最適化ベースの手法との比較: 720pのDAVISおよびUVGデータセットにおいて、HyperGSは2DGS（ビデオごとに最適化）と同等の再構成品質を実現しつつ、エンコーディング時間を数時間からミリ秒単位へと短縮した。パッチ・グリッド・バリアントは、さらにビデオごとの最適化を上回る品質を実現した。
フィードフォワード型INRとの比較: K400、SSv2、UCF101において、HyperGSは、それらの手法がより高い解像度（640×480）で訓練・評価されている場合でも、PSNRおよびSSIMの両面で最先端のフィードフォワードINR手法（TransINR、GINR、FastNeRV、TeCoNeRV）を上回る。これは、HyperGSが256×256でのみ訓練されているにもかかわらずである。
従来のコーデックとの比較: H.265と比較して、HyperGSは1.3–2.7倍高速なエンコーディングと約1.3倍高速なデコーディングを提供しつつ、一致するレート・歪み特性において同等またはそれ以上の忠実度を実現している。
アブレーション研究:
- ガウス数 ( $N$ ): $N$ を250から3000に増やすと、訓練時間に最小限の影響しか与えず、品質が線形に向上する（K400で+7.31 dB）。
- アーキテクチャ: Q-Transformerにおけるクエリベースの自己注意メカニズムは不可欠であり、単純なMLPに置き換えると品質が劇的に低下する（~9 dB）。
- 正則化: 適応型正則化は学習の安定性に極めて重要であり、モデル容量に対して敏感な固定閾値よりも優れた性能を示す。

意義と主張

本論文は、HyperGSがガウス・スプラッティングを高速かつ汎用的なビデオ表現のための実用的な方向へと進化させると主張している。ガウス・スプラッティングの高速で柔軟なレンダリングと、フィードフォワード予測の速度および汎用性を組み合わせることで、HyperGSはビデオごとの最適化という根本的なボトルネックを克服している。これは、明示的な幾何学的プリミティブがピクセルから直接学習可能であることを示しており、リアルタイムのエンコーディング、ゼロショットの高解像度レンダリング、および従来のコーデックや従来のニューラル・ビデオ表現と比較して優れたレート・歪み性能を可能にする。