💻 computer science

RiGS: Rigid-aware 4D Gaussian Splatting from a Single Monocular Video

RiGS は、シーンを静的、剛体、および一時的なガウスプリミティブに分解することで単一の単眼動画から動的な 3D シーンを再構築し、長期的な滑らかな変換と短期的な複雑な変形を同時に捉える新たな 4D ガウススプラッティングフレームワークであり、新規ビュー合成において最先端のパフォーマンスを達成します。

原著者： Chenyu Wu, Wanhua Li, Zhu-Tian Chen, Hanspeter Pfister

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenyu Wu, Wanhua Li, Zhu-Tian Chen, Hanspeter Pfister

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

単一のスマートフォンカメラで撮影された動画（人が踊っている様子や車が走行している様子など）を用いて、動く3D世界を再構築しようとしていると想像してください。これはコンピュータにとって大きなパズルです。この論文は、そのパズルを解くための新しい解決策として「RiGS（Rigid-aware 4D Gaussian Splatting）」を紹介しています。

以下に、簡単なアナロジーを用いてその仕組みを説明します。

問題：一つのサイズではすべてに合わない

従来の手法は、動画のすべての動く部分を記述するために、同じ「道具」を使用しようとしていました。

一部の道具は、遅く滑らかな動き（直線道路を走行する車など）を記述するには優れていましたが、物が速く動いたり、形状が素早く変化したりする場合（尻尾を振る犬など）には失敗しました。
他の道具は、速く混沌とした動きには優れていましたが、時間の経過とともに動画が揺らぎ、不安定に見えるようにしてしまいました。

著者たちは、現実世界の動きは二つのピークを持つ山脈のようなものであることに気づきました。一つは長く滑らかな動きのためのピーク、もう一つは短く速く複雑な動きのための鋭いピークです。一つの道具で両方のピークを登ろうとしても、うまくいきません。

解決策：三つの道具セット

RiGS は、動画内で何が起こっているかに応じて、3D シーンを構築するために 3 種類の異なる「デジタルのブロック（ガウシアンプリミティブ）」を使用することで、この問題を解決します。

静止ブロック（背景）：
これらは部屋の壁のようなものです。決して動きません。動画の最初であれ最後であれ、これらのブロックは床、壁、または空を表すために、正確に同じ場所に留まります。
剛体ブロック（滑らかなダンサー）：
剛体のロボットアームや固い木箱を想像してください。これらのブロックは、単一の単位として一緒に動きます。形状を変えずに滑らかに滑ったり、回転したり、走行したりするものには最適です。これらは「長期的」な滑らかな動きを処理します。
過渡ブロック（花火）：
これらは花火や蜂の群れのようです。非常に短い時間だけ現れ、奇妙な方向に動き、その後消えるように設計されています。これらは、剛体ブロックでは処理できない「短期的」な速く、複雑な、または揺れるような動き（はためく旗や揺れる犬の尻尾など）を処理します。

魔法のトリック：役割の切り替え

RiGS の巧妙な点は、コンピュータが学習している間に、これらのブロックが役割を変えうることです。

もし「剛体ブロック（滑らかなダンサー）」が、速すぎたり揺れすぎたりする動きをモデル化しようとして、苦戦していると気づくとします。
システムは、「わかった、もう滑らかなダンサーではない。お前は花火だ！」と言い、それを過渡ブロックに変換します。
これにより、システムは動画のあらゆる部分に対して、どの道具が最適かを自動的に決定でき、結果として滑らかかつ詳細な出力を確保します。

「オブジェクト」ルール

コンピュータが混乱しないようにするために、RiGS はオブジェクト単位動的マスクと呼ばれる特別なルールを使用します。

従来の方法： コンピュータは個々のピクセルを見ていました。犬の尻尾が振れていても、犬の残りの部分は静止している場合、コンピュータは混乱し、犬全体が半分動いて半分静止していると誤って考える可能性があります。
RiGS の方法： コンピュータはオブジェクト全体（犬全体）を見ます。犬のどの部分が動いても、コンピュータは犬全体を動くオブジェクトとして扱います。これにより、3D モデルの一貫性が保たれ、動画がギクシャクしたり破綻したりするのを防ぎます。

結果

このミックス・アンド・マッチのアプローチを使用することで、RiGS は単一の動画を取り込み、あらゆる角度から見ることができる高品質な 3D シーンに変換できます。

人物が歩くような滑らかで長い動きを、ぼやけさせることなく捉えます。
表情や翻る服のような速く詳細な動きを、動画を揺らぎさせることなく捉えます。

要約すると、RiGS は、単一の動画ファイルから完璧な 3D 映画を構築するために、いつ安定したクレーンを使い、いつ柔軟なロボットアームを使い、いつドローンの群れを使うべきかを正確に知っている、賢い建設チームのようなものです。

技術概要：RiGS – 単一モノキュラー動画からの剛体認識 4D ガウシアンスプラッティング

問題定義

単一のモノキュラー動画から動的な 3D 場を再構築することは、コンピュータビジョンおよびグラフィックスにおける基本的な課題であり、VR/AR、自動運転、ロボティクスへの応用が期待されています。既存の手法は、異なる時間スケールにわたる運動をモデル化する際に、重要なトレードオフに直面しています。

フレームごとの最適化手法は、高周波の運動の詳細を捉えることができますが、しばしば時間的一貫性の欠如や不安定な幾何学構造に悩まされます。
剛体ベースの手法（「可能な限り剛体である」という仮定を用いる手法など）は、幾何学的な安定性を維持し、大きな視点変化に対処できますが、大きな変形や速い非剛体運動を伴う領域のモデル化に失敗し、不完全な再構築につながります。

著者は、剛体ベースのガウシアン表現における特定の限界を特定しました。それは、長期的な滑らかな変換と短期的な複雑な変形を同時に捉えることに苦慮している点です。剛体ベースの動的ガウシアンを分析すると、時間的持続時間において二峰性の分布が観測され、これは剛体表現が安定した長期的な運動を効果的にモデル化できる一方で、短期的で微細なダイナミクスを表現できないことを示しています。

手法：RiGS

提案される**剛体認識 4D ガウシアンスプラッティング（RiGS）**フレームワークは、これらの限界に対処するため、シーン運動を統合された最適化フレームワーク内で 3 種類の異なるガウシアンプリミティブに分解します。

1. 3 段階ガウシアン表現

静的ガウシアン（ $g_s$ ）： 動画全体を通じて持続する時間不変の背景を表します。
剛体ガウシアン（ $g_r$ ）： 長期的で低周波、滑らかな運動をモデル化するように設計されています。これらは SE(3) 変換（変形を伴わない回転と並進）と共有された運動基底でパラメータ化され、一貫した動きを確保します。
遷移的ガウシアン（ $g_t$ ）： 短期的で高周波、かつ複雑な非剛体ダイナミクスを処理するように設計されています。これらは完全に学習可能な運動速度ベクトルを有し、急速な変化を捉えるために任意の方向に自由に移動できます。

2. オブジェクト単位の動的分解

静的領域と動的領域の分離を導くため、RiGS はオブジェクト単位の動的マスクを導入します。従来のピクセルレベルのアプローチは、オブジェクト全体にわたる時間的・空間的一貫性が欠如することが多いのに対し、RiGS はオブジェクトレベルで長距離の時空間運動情報を集約します。

本手法は SAM2 を用いてオブジェクトセグメンテーションを行い、オプティカルフローの不確実性とサンプソン誤差に基づいて運動スコアを計算します。
オブジェクトのいずれかの部分が任意の時点で運動を示す場合、そのオブジェクト全体が動的として扱われます。これにより、静的ガウシアンと動的ガウシアンが同一オブジェクトの異なる部分を冗長にモデル化することを防ぎ、グローバルに一貫した表現を確保します。

3. 適応的遷移と共同最適化

ソフトゲーティングと遷移： 剛体ガウシアンには、持続時間（ $\beta$ ）と中心（ $\gamma$ ）に基づいて時間的不透明度の減衰を制御するソフトゲーティング関数が備わっています。最適化中、時間的持続時間が短い剛体ガウシアンは、動的に遷移的ガウシアンに変換されます。これにより、運動の複雑さが増すにつれて、剛体モデル化から柔軟なモデル化へ適応的に移行できます。
シーンフローガイダンス： 高密度な 3D 運動監視を提供するため、本手法はメトリック深度とカメラパラメータを用いて 2D オプティカルフローを 3D シーンフローにリフトします。このシーンフローは、剛体ガウシアンと遷移的ガウシアン双方の運動方向をガイダンスし、動的領域における監視信号の希薄さに対処します。

4. 最適化戦略

本フレームワークは、以下の要素を含む共同最適化戦略を採用しています。

ウォームアップ段階： 静的ガウシアン、剛体ガウシアン、運動基底を初期化して、安定した幾何学構造を確立します。
共同トレーニング： 3 種類のガウシアンすべてを同時に最適化します。システムは、フォトメトリック損失、幾何学的損失（深度と法線の一貫性）、対応関係損失（トラッキングとフロー）、およびアーティファクトや過学習を防ぐための正則化項を使用します。

主要な貢献

マルチスケール運動モデル化： RiGS は、静的、剛体、遷移的ガウシアンを共同でモデル化する統合フレームワークを導入し、長期的な滑らかな運動から短期的な高周波ダイナミクスに至るまで、複数の時間スケールにわたる運動の捉えを可能にします。
オブジェクト単位の動的マスキング： 静的・動的分解のためのオブジェクト単位動的マスクの提案。これは時空間情報を集約し、時間的一貫性を確保するとともに、一貫性のないオブジェクト表現を防ぎます。
シーンフローによる共同最適化： 高密度な 3D シーンフロー監視と、時間的持続時間に基づいて剛体ガウシアンが遷移的ガウシアンへ遷移するメカニズムを用いて、スケールをまたぐ運動学習をガイダンスする戦略。

実験結果

著者は、Nvidia Dynamic Scenes Dataset、DyCheck iPhone Dataset、およびDAVIS データセットからの極端な運動シーンを含む複数のベンチマークで RiGS を評価しました。

定量的性能： RiGS は、新規ビュー合成ベンチマークにおいて最先端（SOTA）の性能を達成しました。Nvidia Dynamic Scenes データセットにおいて、PSNR、SSIM、LPIPS 指標において、NeRF ベースおよびガウシアンベースのアプローチ（MoSca や DynPoint など）を含む従来の SOTA 手法を上回りました。例えば、「Playground」シーンにおいて、RiGS は 24.73 の PSNR を達成し、MoSca の 24.25 を上回りました。
定性的性能：
- 大きな非剛体変形を伴うシーン（例：「Umbrella」シーン）において、RiGS は以前の手法で見られたアーティファクトや一貫性のない幾何学構造なしに、変形を成功裡にモデル化しました。
- 複雑なマルチオブジェクトシーン（例：「Playground」）において、RiGS は剛体のみまたはノード補間手法が再構築に失敗した微細な詳細（表情など）を保持しました。
- 極端な運動シーン（DAVIS の「Judo」および「Dog-agility」など）において、RiGS は他の手法が詳細の回復に失敗した高速移動領域を成功裡に捉えました。
効率性： 本手法は、270 フレームの動画（480×360）を約 30 分でトレーニングし、約 160 FPS のレンダリング速度を達成します。

意義と主張

本論文は、RiGS が、複数の時間スケールにわたる運動のモデル化という課題を明示的に解決することで、動的シーン再構築における重要な進展であると主張しています。シーンを静的、剛体、遷移的コンポーネントに分解することで、この手法は純粋な剛体アプローチまたは純粋なフレームごとのアプローチの限界を克服します。

著者は、オブジェクト単位の動的マスクが静的および動的領域のより信頼性の高い分離を提供し、剛体ガウシアンと遷移的ガウシアン間の遷移メカニズムがシーンフローガイダンス付き最適化と組み合わさることで、高密度かつ一貫性のある 3D 運動監視を提供すると述べています。広範な実験は、このアプローチが優れた再構築品質と時間的一貫性をもたらすことを示しており、実世界アプリケーションにおけるより堅牢な動的シーンモデル化への道を開いています。