技術要約: ShapeGaussian

問題提起

カジュアルな単眼ビデオからフォトリアリスティックで高忠実度な4D人間シーンを再構成することは、コンピュータビジョンにおける重要な課題であり続けています。既存のアプローチは、性能と堅牢性の間で二極化に直面しています：

1. 汎用的なガウス・スプラッティング手法 (例: 4DGS): これらの手法は、強力なビジョン・プライア（視覚的事前知識）を欠いています。急速な人間の動きを伴う単眼ビデオに適用された場合、最適化問題が制約されていないことやマルチビューのヒントが不足していることから、高変形ダイナミクスを捉えることが困難になります。これはしばしば、不正確な幾何学構造や不十分な新規視点合成をもたらします。
2. テンプレートベースの手法 (例: HUGS, GART): これらは、強力な形状プライアを提供するためにSMPLのようなパラメトリック・ヒューマンモデルに依存しています。これらはフォトリアリスティックな結果を生み出すことができますが、人体姿勢推定のエラーに対して非常に脆弱です。不正確な姿勢推定は、特にゆったりとした衣服、髪の毛、あるいは部分的な遮蔽（オクルージョン）を伴う複雑なシナリオにおいて、非現実的なアーティファクトを引き起こし、高忠実度な再構成タスクへの適用性を制限します。

特定の被験者や動きに完璧に適合しない硬直的なヒューマン・テンプレートに依存することなく、高忠実度な再構成と堅牢性の両方を実現する手法が求められています。

手法

著者らは、データ駆動型のビジョン・プライアを活用した、テンプレートフリーの2ステップ・パイプラインである ShapeGaussian を提案します。

1. データ駆動型プライアと初期化

本手法はSMPLに依存する代わりに、オフザシェルフの学習済みビジョン基盤モデルを利用して、豊かな2.5D情報を抽出します：

• セマンティック・マスク: 人物セグメンテーションのため。
• 深度マップ: 一般的な単眼深度マップと人間特有の深度マップの組み合わせ。
• ヒューマンUVマップ: 追跡のための密な2D対応関係（例：DensePose経由）を確立するために使用。

形状認識型初期化 (Shape-Aware Initialization):
大幅な動きを伴うカジュアルな単眼ビデオから有効なStructure-from-Motion (SfM) ポイントを取得することの難しさに対応するため、著者らは形状認識型初期化スキームを導入しています：

• 深度アライメント: 一般的な深度マップと人間特有の深度マップを、疎なSfMポイントとRANSACを用いて整列させ、一貫性のある整列済み深度マップ ($D^*$) を作成します。
• 疎なガウス生成: 2Dキーポイントを整列済み深度マップを用いて3Dに持ち上げます。初期回転は、フレーム間の直交プロクラスティス・アライメントによって決定されます。
• 変形フィールドの初期化: 変形フィールドは、整列済み深度から得られる高精度な疎な3D対応関係を用いて初期化され、結合最適化の前に、フィールドを3Dポイントに適合させるための変形損失を最小化します。

2. 複数の参照フレームを用いた変形モデル

単一の標準的な参照フレームを使用する先行研究とは異なり、ShapeGaussianは、任意の単一フレームにおけるガウスの不可視性を処理するために、複数の参照フレーム ($t_1, \dots, t_B$) を採用しています。

• 変形フィールド $F_\theta$ は、時間エンコーディングと位置エンコーディングに基づき、位置 ($\delta x$)、回転 ($\delta r$)、およびスケール ($\delta s$) のオフセットを予測します。
• ガウスの最終的な変形状態は、$B$ 個の参照フレームにおける各状態の重み付き合計であり、その重みは学習されます。これにより、いくつかの参照フレームで遮蔽されている場合でも、モデルはガウスを追跡することが可能になります。

3. 最適化

本手法は、変形ネットワークと3Dガウスをすべてのフレームにわたって共同で最適化します。

• 損失関数: 合計損失は、カラー損失 ($L_{color}$)、D-SSIM損失 ($L_{D-SSIM}$)、整列されたプライアと比較する深度損失 ($L_{depth}$)、および剛性損失 ($L_{rigid}$) で構成されます。
• マルチフレーム密度制御: 幾何学的整合性を維持するために、適応的な密度制御（ガウスの複製/分割）がすべての参照フレームにわたって一貫して適用されます。
• ウォームアップ戦略: 初期化中に確立された幾何学的プライアを破壊することを防ぐため、初期エポックにおいて「フリージング（凍結）」損失が適用されます。

主な貢献

1. テンプレートフリーの高忠実度再構成: 本手法は、2Dビジョン・プライアを活用して人間中心のシーンを再構成し、明示的なテンプレートベースの手法に固有の誤った姿勢推定によるアーティファクトを効果的に軽減します。
2. 複数の参照フレーム: 著者らは、テンプレートフリーの手法において可視でない2Dキーポイントの問題を解決するために複数の参照フレームを採用しており、これにより高変形運動の変形精度が大幅に向上しました。
3. 形状認識型初期化: 一般的な深度マップと人間特有の深度マップをSfMポイントと組み合わせることで、堅牢な幾何学的基盤を提供し、動的な単眼シナリオにおける疎なSfMの限界を克服する新しい初期化スキームを提供します。
4. 優れた性能: 広範な実験により、ShapeGaussianが再構成精度、視覚的品質、および多様な人間の動きに対する堅牢性のすべてにおいて、汎用的なガウス手法およびテンプレートベースの手法を凌駕することが示されました。

結果

本手法は、NeuMan および ZJU Mocap データセットを用いて評価されました。

• 定量的性能: NeuManデータセットにおいて、ShapeGaussianは、PSNR、SSIM、LPIPS指標において4DGS、Deformable-GS、HUGS、Shape-of-Motionなどの手法を上回る最先端の結果を達成しました。例えば、「Seattle」シーケンスにおいて、HUGSのPSNR 25.94および4DGSの21.03に対し、27.68を達成しました。
• 定性的性能: 視覚的な比較により、ShapeGaussianは、テンプレートベースの手法（姿勢推定のエラーに苦しむ）や汎用的な手法（幾何学の捕捉に失敗する）と比較して、より正確な人物像を生成し、アーティファクトが少ないことが示されました。本手法は、密なキーポイントを正常に追跡し、Shape-of-Motionのような他のデータ駆動型手法が逸脱する場面でも安定性を維持しています。
• アブレーション研究: 人間専用の深度マップ (HDM)、複数の参照フレーム (MF)、または変形フィールドの初期化 (DFI) といった主要なコンポーネントを取り除くと、大幅な性能低下を招き、各コンポーネントの必要性が検証されました。

意義と主張

論文は、ShapeGaussianが、テンプレートフリーな手法の柔軟性と、プライアに基づく手法の堅牢性の間のギャップを埋めることに成功し、4D人間再構成における重要な進歩を遂げたことを主張しています。ビジョン・プライアを効果的に統合し、マルチリファレンスフレーム戦略を利用することで、本手法はパラメトリックな人間モデルの制約を受けることなく、カジュアルな単眼ビデオから高忠実度でフォトリアリスティックな再構成を実現します。

著者らは、本手法は複雑な動きに対して堅牢であるものの、現在は外部のセマンティック・プライアと正確なカメラパラメータに依存していることを指摘しています。さらに、テンプレートベースの手法とは異なり、現在は新しい人間のポーズの合成（新しいポーズのアニメーションではなく、観察された動きの再構成）をサポートしていません。これらの制限はあるものの、このアプローチは、現実世界のシングルカメラ設定における動的なシーン再構成のための、より自然で適応可能なソリューションを提供します。