技術的サマリー：FFAvatar

問題定義

従来のニューラル3Dアバター再構成手法は、被写体ごとの最適化に依存しており、高品質な結果を得るためには、数時間の計算時間と広範な多視点データ（数十から数百枚の画像）が必要とされます。これは、仮想プレゼンスや遠隔プレゼンスなど、迅速な展開を必要とするアプリケーションにおける実用性を制限しています。一方、Large Avatar Model (LAM) などの最近のフォワードアプローチは、単一パスでアニメーション可能なアバターを予測することで推論速度を向上させましたが、2 つの決定的な限界に直面しています：

1. 単一視点の制約：LAM は単一視点入力に基づいて動作するため、モデルは隠蔽された視点や極端な視点に対して欠落した幾何形状とテクスチャを推測（ハルシネーション）せざるを得ず、アイデンティティの保持と幾何学的忠実度が低下します。
2. 前処理のボトルネック：LAM は高価なオフライン FLAME パラメータ抽出に依存しています。この前処理要件は、そのようなパラメータが利用できない大規模で非制約なデータセットでの学習を妨げるため、スケーラビリティを根本的に制限します。

FFAvatar は、これらの課題に対処し、オフライン FLAME 前処理を必要とせずに、数秒で少数ショットのポーズ未設定ポートレート画像から高品質でアニメーション可能な 3D ガウスヘッドアバターを再構成する、汎用性の高いフォワードフレームワークを導入します。

手法

FFAvatar は、疎なポーズ未設定入力から統一された標準化された 3D ガウス表現を再構成する、多視点大規模アバターモデルです。このフレームワークは、3 つの中核コンポーネントと新しいトレーニングカリキュラムで構成されています。

1. アーキテクチャ

• 多視点 Query-Former：単一視点手法とは異なり、FFAvatar は複数のソース画像から同時に情報を集約します。幾何形状を認識するクロスアテンションを実行する Query-Former モジュールを使用します。標準化された 3D クエリ（FLAME テンプレート頂点から導出）は、すべての入力視点からの画像トークンにアテンションを向けます。これにより、補完的な幾何形状とテクスチャの手がかりが、一貫した標準化されたガウス表現（$G_{can}$）に融合されます。
• エンドツーエンド FLAME 推定器：オフライン FLAME トラッキングの必要性を排除するため、FFAvatar は学習可能な FLAME 推定器を含みます。このモジュールは、ViT バックボーンと軽量 MLP を介して、生画像ピクセルから直接、視点ごとの表情（$\psi$）、局所アティキュレーション（$\theta$）、およびヘッドポーズ（$\pi$）を予測します。これにより、前処理なしで大規模データセットでのスケーラブルな学習が可能になります。
• アニメーション機構：標準化されたガウスは FLAME 頂点にアンカーされます。アニメーションは、予測された FLAME パラメータによって駆動される線形ブレンドスキンning（LBS）を用いてガウス中心を変形させることで達成され、共分散、不透明度、色は静的に保持されます。

2. 3 段階トレーニングカリキュラム

広範な汎化と高忠実度再構成のバランスを取るため、FFAvatar は段階的なトレーニング戦略を採用します：

• スケーラブルな事前学習：モデルは、100 万を超えるアイデンティティとモノキュラー動画フレームを含む大規模データセット（MFHQ-1M）で事前学習されます。この段階では、真の 360 度カバレッジが欠如しているにもかかわらず、多様なアイデンティティ、表情、視点にわたる強力な汎化可能な事前知識が確立されます。
• 多視点微調整：事前学習済みモデルは、360 度多視点キャプチャのより小規模で高品質なデータセット（例：Ava256）で微調整されます。この段階では、幾何学的忠実度と 360 度認識が注入され、極端な視点への対応能力が洗練されます。
• オプションのパーソナライゼーション：特定のターゲットアイデンティティに対しては、500 未満の最適化ステップでモデルを適応させる軽量なパーソナライゼーション段階があります。これは、アイデンティティの保持と詳細を最大化するために被写体固有の残差（$\Delta G_{can}$）を学習し、単一の A100 GPU 上で約 7 秒で収束します。

3. トレーニング目的

FFAvatar は、Few-to-Many 目的を利用します：モデルはソース視点の小さなサブセットを消費して標準化されたアバターを再構成し、その後、さまざまな表情とポーズを持つより大きなターゲット視点セットをレンダリングします。これにより、モデルは未見の視点と表情への汎化が強制されます。最適化は、テクスチャの鮮明さとリアリズムを強化するためのフォトメトリック損失（$L_1$、LPIPS、SSIM）と敵対的損失によって導かれます。

主要な貢献

1. 3 段階トレーニングカリキュラム：大規模なモノキュラーデータでのスケーラブルな事前学習、高品質なキャプチャでの多視点微調整、およびオプションのパーソナライゼーションを組み合わせる戦略により、広範な汎化と高忠実度再構成の両方を実現します。
2. エンドツーエンド FLAME 推定：ピクセルから直接 FLAME パラメータを予測する学習可能な推定器により、高価なオフライン前処理への依存を排除し、大規模で非制約なデータセットでの学習を可能にします。
3. 多視点フォワードフレームワーク：複数のポーズ未設定視点からの情報を融合して統一された標準化されたガウスアバターを再構成する汎用性のあるアーキテクチャであり、アイデンティティの保持と幾何学的整合性において単一視点のベースラインを上回ります。

実験結果

NeRSemble ベンチマークにおける広範な実験により、FFAvatar が新しい最先端（SOTA）を確立することが示されました：

• 性能：FFAvatar は、単一視点設定において、以前の最先端（LAM）を大幅な 5.5 PSNR の改善で上回ります。4 つの入力視点を有する場合は、18.78 PSNR および 0.78 SSIM を達成します。
• パーソナライゼーション：オプションのパーソナライゼーションにより、性能はさらに向上し、25.78 PSNR および 0.94 SSIM に達し、アイデンティティ保持を示す ArcFace コサイン類似度（CSIM）は 0.89 です。
• 効率性：このフレームワークは、単一の NVIDIA A100 GPU 上で、パーソナライゼーションなしで 2 秒、パーソナライゼーションありで 10 秒 でアバターを再構成します。事前計算された FLAME パラメータなしで、49 FPS のリアルタイムアニメーションをサポートします。
• アブレーション研究：スケーラブルな事前学習を除去すると、最も顕著な性能低下（-8.36 PSNR）が生じ、汎化にとっての必要性が確認されます。多視点微調整を除去しても、幾何学的忠実度が低下します（-3.53 PSNR）。学習された FLAME 推定器は、オフライントラッカー（VHAP）と同等のレンダリング品質を達成しながら、200 倍 高速に動作します。

意義

FFAvatar は、スケーラブルでアクセスしやすいデジタルヒューマン作成に向けた重要な一歩を表しています。被写体ごとの最適化とオフライン前処理の計算ボトルネックを排除することで、疎なポーズ未設定画像から高品質でアニメーション可能なアバターを数秒で再構成することを可能にします。本論文は、このフレームワークが、制御可能でリアルタイムなヒューマンアバター合成に関する将来の研究に対するスケーラブルな基盤を提供し、高忠実度再構成と仮想プレゼンスアプリケーションにおける実用的な展開の間のギャップを埋めると主張しています。