💻 computer science

Deformable Gaussian Occupancy: Decoupling Rigid and Nonrigid Motion with Factorized Distillation

DeGO は、変形可能なガウスプリミティブを用いて剛体運動と非剛体運動を分離し、4 次元基盤モデルからの因数化蒸留によって時間的整合性を強化することで、自動運転向けの動的 3 次元占有予測を改善する、弱教師ありフレームワークである。

原著者： Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

原著者： Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが自動車のカメラで撮影された一連の2D写真のみを使って、賑やかな都市の街並みの3D動画を構築しようとしていると想像してください。あなたの目標は、建物がどのように見えるかだけでなく、すべての動き、特に人々や動物のような厄介でうねるようなものの動きを理解することです。

この論文は、既存の3Dモデルが硬すぎるという特定の課題を解決するための新しいシステム「DeGO（変形性ガウス占有）」を紹介します。既存のモデルは、すべてのものを単に一つの場所から別の場所に滑らせるだけの固いレンガのように扱います。しかし、人々は滑るのではなく、歩き、手を振り、曲がります。

以下に、DeGOの仕組みを簡単な比喩を用いて説明します。

1. 課題：「硬い箱」の限界

レゴブロックの箱を使って人混みをモデル化しようとしていると想像してください。誰かが腕を振る様子を示したい場合、標準的なレゴモデルでは、その人物全体を一つの固いブロックとしてしか動かすことができません。構造全体を壊さなければ、腕を曲げることはできないのです。

従来の方法： 以前のAIモデルは、すべての物体（車、木、人）を単に位置を変えるだけの硬いブロックとして扱っていました。これは車や建物にはうまく機能しましたが、人間の動きの細部を捉えることには完全に失敗し、ぼやけたり不正確な予測につながりました。

2. 解決策：「賢く、形を変える雲」

DeGOは、建築ブロックを固いレゴブロックから賢く、形を変える雲（「ガウス」と呼ばれます）へと変更します。

分離のトリック： システムは、すべての雲に特別な「スイッチ」を持っています。それはこう問いかけます：「あなたは壁のような硬い物体か、それとも人のような柔軟な物体か？」
- 壁の場合： 雲は硬く保たれ、新しい場所へ移動するだけです（スライドドアのように）。
- 人の場合： 雲は、その人の姿勢に合わせて伸び、縮み、ねじれることが許可されます。
なぜ重要か： これにより、AIは背景を安定させながら、シーン内の人々が現実世界のように自然にうねり、動くことを可能にします。

3. 教師：「4D百科事典」

これらの形を変える雲が混乱しないようにするため、システムはVGGTと呼ばれる「教師」を使用します。

比喩： 動く車を描く方法を学ぼうとする生徒を想像してください。もし一度に1枚の写真しか見なければ、迷子になるかもしれません。しかし、何千もの動画を研究し、異なるカメラや時間経過の中で車がどのように動くかを知っている教師がいれば、生徒ははるかに速く学ぶことができます。
仕組み： VGGTという教師は、膨大な量の動画データで事前学習された巨大なAIです。それは異なる角度から見た物体の姿と、時間経過による変化を知っています。DeGOはこの知識を「蒸留（コピー）」し、カメラが移動したりシーンが複雑化したりしても、雲が一貫性を保つように教えます。

4. 結果：より明確で安全な画像

著者らは、標準的な運転データセット（Occ3D-NuScenes）でこれをテストしました。

スコア： DeGOは少しだけうまくいったわけではありません。既存の最良の方法を大幅に上回りました。
人間要因： 最大の勝利は「人間中心」の物体（歩行者、自転車乗り）において見られました。システムは、これらの動く人々を特定し追跡する能力を**13.5%**向上させました。
視覚的証拠： テストにおいて、歩行者が遠くにあったり、背景に溶け込むような服を着ていたりした場合、古いモデルは彼らを見逃したり、彼らを塊のように見せたりしました。DeGOは彼らを正しく特定し、その動きを滑らかに追跡しました。

まとめ

DeGOを、硬く滑るブロックのセットから、柔軟で生きた生態系へと3D都市モデルをアップグレードするものだと考えてください。建物のように硬く保たれるものと、人のように曲がるものを区別するようにモデルに教え、世界がどのように動くかを知る「教師」を与えることで、動的な3D環境に対するはるかに正確で安全な理解を生み出します。

注記： この論文は、自動運転のための3Dシーン予測の精度向上に厳密に焦点を当てています。医療画像、運転以外のロボット工学、またはこの文脈以外の他の特定の用途に使用されるとは主張していません。

技術概要：変形可能ガウス占有（DeGO）

問題定義

動的な 3D 占有予測は、特に人間中心の非剛体エージェントの推論において、自動運転にとって極めて重要です。しかし、既存の弱教師ありフレームワークは、以下の 2 つの主要な限界に直面しています：

剛体運動の仮定：現在のほとんどの手法は、単純なフレーム間オフセットに依存し、剛体運動を仮定しています。これにより、歩行者や自転車などの人間エージェントに特徴的な微細な非剛体変形を捉えることができません。
容量の偏り：ガウスプリミティブを 3D ボリューム全体に均等に分配する手法は、道路や壁などの静的な背景領域に過剰な容量を割り当てがちであり、小さく安全性に重要な人間インスタンスに対する解像度が不足しています。
時間的不整合：従来のボクセルまたはガウスアプローチは、剛体運動と非剛体運動が共存する動的環境において時間的整合性を維持するのが困難であり、不安定な幾何学的更新を引き起こします。

手法

著者らは、分離されたガウス変形と因数分解された 4 次元基盤モデル蒸留を統合するフレームワークである**DeGO（変形可能ガウス占有）**を提案します。本手法は、高密度なボクセル注釈ではなく、Grounded-SAM および Metric3D からの疑似ラベルを利用する弱教師あり条件下で動作します。

1. 分離型ガウス変形（DGD）

すべてのクラスを均一に扱うのではなく、DeGO は各ガウスプリミティブがその運動挙動を適応的にモデル化できるようにします。

ソフト剛性マスク：各ガウスには、学習可能な剛体マスク（ $m_i \in [0, 1]$ ）が付加されます。このマスクは、ガウスが剛体運動のみを受けるか、剛体オフセットと非剛体変形の組み合わせを受けるかを暗黙的に制御します。
ハイブリッド運動更新：
- 剛体領域（ $m_i \approx 0$ ）：ガウスは位置オフセット（ $\Delta \mu$ ）のみを通じて更新されます。
- 非剛体領域（ $m_i \approx 1$ ）：ガウスは位置オフセットに加え、回転（ $r$ ）、スケール（ $s$ ）、および不透明度（ $\alpha$ ）に影響を与える局所変形を受けます。
正則化：二値正則化損失により、マスクが二値に近い値に収束することが促され、剛体と非剛体の挙動が明確に分離されます。

2. 因数分解された特徴蒸留（FFD）

時間的整合性とマルチビューアライメントを強化するため、DeGO は 4 次元基盤モデルであるVGGTから知識を蒸留します。

4 次元教師特徴：フレームごとの 2D 特徴を蒸留する従来の手法とは異なり、FFD は VGGT から時空表現を抽出します。教師モデルは、交差カメラ（空間）および交差フレーム（時間）の注意機構を交互に使用して、マルチビューシーケンスを処理します。
蒸留プロセス：学生モデル（DeGO）は、レンダリングされたガウス特徴を教師の 4 次元特徴と整合させます。これにより、交差カメラおよび交差フレームの推論能力が転移され、明示的な 3D ラベルを必要とせずにガウス場に対する安定したガイダンスが提供されます。
アーキテクチャ：蒸留はガウス変換器をターゲットとし、変形ヘッドが運動更新を予測する前に、3D ガウス特徴を基盤モデルの時空トークンと整合させます。

3. 最適化と推論

トレーニング：モデルはマルチビュー画像の短いシーケンスでトレーニングされます。総損失は、セグメンテーション損失、深度回帰損失、特徴蒸留損失、および変形正則化を組み合わせます。
推論：展開時、システムは単一フレームのフィードフォワード方式で動作します。時間的変形モジュールは運動認識の事前知識を学習するためにトレーニング中に使用されますが、推論時には時間入力を必要としません。出力は、下流の占有予測のためにボクセル化された 3D ガウスの単一セットです。

主な貢献

統合された変形可能フレームワーク：各ガウスが剛体および非剛体運動を適応的にモデル化し、4 次元基盤モデルによってガイダンスされる新しい占有フレームワーク。これにより、人間中心および全体のシーン理解の両方が向上します。
人間中心の分離型変形：変形容量を選択的に割り当てるメカニズムにより、非剛体エージェントの正確なモデル化を実現しつつ、剛体構造に対する幾何学的安定性を維持します。
因数分解された 4 次元蒸留：基盤モデル（VGGT）からガウス場へ交差カメラおよび交差フレームの知識を転移する戦略により、基盤整合型の動的シーン表現を創出します。

実験結果

実験はOcc3D-NuScenesベンチマーク（4 万フレーム、6 カメラビュー）で実施されました。

全体的な性能：DeGO は弱教師あり条件下で最先端の性能を達成し、以前の最良の弱教師あり手法（GaussianFlow）と比較して、全体の mIoU を10.9%、IoU を**12.4%**向上させました。
人間中心の指標：本手法は非剛体エージェントのモデル化において顕著な改善を示し、提案された人間中心 mIoU（HCM）で13.5%、インスタンス mIoU（InsM）で**7.8%**の向上を達成しました。
アブレーションの知見：
- 変形モジュール単独で、ベースラインに対して 43.4% の改善を提供しました。
- 教師として VGGT を使用した場合、DINOv2 よりも高い性能を示しました。これは、VGGT がマルチビューおよび時間データで事前学習されていることに起因します。
- 空間的（交差カメラ）および時間的（交差フレーム）注意特徴の両方を蒸留することで相補的な利益が得られ、組み合わせアプローチが最良の結果をもたらしました。
- 剛体マスクは、運動タイプを区別する上で最も重要なコンポーネントであることが特定されました。

重要性

本論文は、DeGO が剛体および非剛体のダイナミクスを明示的に分離することで、現在の占有予測手法の根本的な限界に対処していると主張しています。変形認識モデルと基盤ガイド蒸留を組み合わせることで、このアプローチは高価な 3D ボクセルラベルに依存することなく、堅牢な時間的整合性と安全性に重要な人間インスタンスの優れた再構成を達成します。結果は、動的シーンにおける弱教師あり学習をガイダンスするために 4 次元基盤モデルを使用することの有効性を浮き彫りにしています。