技術概要：EgoRelight

問題定義

本論文は、ヘッドマウントディスプレイ（HMD）の制約された視点のみから、フォトリアリスティックで再照明可能かつ全身のデジタルアバターを生成するという課題に取り組む。混合現実（MR）のテレプレゼンスは、仮想人間が実環境または仮想環境と区別がつかないほどに融合する没入型体験を約束するが、既存の解決策は以下の 3 つの中核要件を同時に包括的に解決することに失敗している：

1. 正確なモーションおよび幾何学的捕捉: 自己遮蔽が深刻で視野が限られている単一の HMD から、ユーザーの全身モーションおよび衣服のダイナミクスを忠実に捕捉すること。
2. 再照明可能な外観: 「焼き込み」照明に依存するのではなく、新規かつ任意の照明条件下で、拡散および鏡面反射を含む現実的な陰影を合成すること。
3. 環境照明推定: アバターを物理世界にシームレスに統合するために、HMD から高ダイナミックレンジ（HDR）環境マップを復元すること。

現在の手法は通常、これらを孤立した問題として扱い、再照明機能なしにモーションキャプチャに焦点を当てるか、あるいは携帯性に欠ける複雑なスタジオセットアップ（例：ライトステージ）を再照明に要求している。

手法

EgoRelight は、Egocentric Perception（主観的知覚）、Relightable Avatar Modeling（再照明可能アバターモデリング）、Test-Time Environment Map Capture（テスト時環境マップ捕捉） の 3 つの主要段階で動作する包括的なフレームワークである。

1. 主観的知覚と幾何学的復元

アバターを駆動するために、システムは HMD 上のステレオ下方カメラから高密度な幾何学的信号を抽出する：

• 姿勢推定: 修正版の FRAME ネットワークを使用して、ステレオ画像とヘッド姿勢から疎な 3D 关键点を予測する。これに続き、PCA モデルを用いて手のジェスチャーを制約し、時間的整合性を確保する逆運動学（IK）ソルバーが、時間的に妥当なスケルトン運動を最適化する。
• 深度推定: DepthAnythingV2 に基づく個人固有の深度推定器を微調整し、ステレオ入力からメトリック深度マップを予測する。これらのマップは 3D 点群に逆投影される。
• 深度条件付きアニメーション: テスト時最適化の代わりに、システムはフィードフォワードの「AnimationNet」を採用する。このネットワークは、スケルトン運動と逆投影された深度点群を条件信号として受け取る。それは、埋め込みグラフ変形パラメータと頂点ごとのオフセットを階層的に予測し、パーソナライズされたパラメトリックメッシュテンプレートを変形させ、可視の正面体の幾何学を正確に復元する。

2. 再照明可能アバター外観モデリング

アバターの外観は、幾何学のための変形メッシュと、高忠実度テクスチャのためにメッシュの UV 空間でパラメータ化された 3D ガウスプリミティブの層という、2 層表現を使用してモデル化される。レンダリングパイプラインは、学習効率と物理的精度を向上させるために、拡散および鏡面反射の陰影を分離する：

• 幾何学的リフティング: GeoLiftingNet が時間的メッシュシーケンスを処理し、高周波数の法線マップとフラット照明のアルベドテクスチャを生成し、幾何学と材質の間の曖昧さを解決する。
• 拡散と鏡面反射の分離:
  • 拡散: DiffuseNet（CNN）が、アルベド、シャドウマップ、および法線マップに基づいて、視点に依存しない拡散陰影とガウスパラメータ（色、スケール、回転）を予測する。
  • 鏡面反射: SpecularNet は、入力光方向の置換不変性を処理するためにクロスアテンション機構を利用する。Blinn-Phong 重要度スコアに基づいて上位 k 個のレイのサブセットをサンプリングし、6D レイ情報（光方向、視点方向、半ベクトル、可視性）を符号化する。これにより、モデルは制限的な分析的 BRDF 事前分布に依存することなく、複雑な鏡面反射光輸送を学習できる。
• 訓練: モデルは、331 個のプログラム可能ライトを備えたライトステージで捕捉されたデータを用いて、真の HDR 画像に対するフォトメトリック監督のもとで訓練される。

3. 手頃な価格の HDR 環境マップ捕捉

MR テレプレゼンスを可能にするため、システムは HMD の前方カメラを用いてユーザーの現在の環境の照明を推定する：

• スキャンとインペインティング: 20 フレームのサンプリングから 360 度の LDR パノラマを再構成し、拡散モデルを使用して未観測領域をインペインティングする。
• 逆レンダリング較正: LDR スキャンは訓練データの HDR 色空間と一致しないため、システムはテスト時の逆レンダリングプロセスを実行する。事前訓練された再照明可能アバターを HMD の下方ビューにレンダリングし、観測されたアバター外観と一致させるために色補正（ゲイン）およびガンマパラメータを最適化する。これにより、LDR 環境マップが現実的な再照明に必要な HDR 空間に効果的に整合される。

主要な貢献

1. EgoRelight フレームワーク: 単一の HMD のみを使用して、正確な主観的全身モーションキャプチャ、フォトリアリスティックな仮想人間再照明、および環境照明復元を包括的にサポートする最初のシステム。
2. 深度条件付きメッシュ追跡: ステレオ深度マップをフィードフォワードアニメーションネットワークの条件信号として活用する新規手法であり、高価なテスト時最適化なしに高忠実度の幾何学復元を達成する。
3. モーション駆動型再照明可能アバター: 拡散および鏡面反射の陰影を分離し、特殊なレイサンプリングおよびクロスアテンション戦略を利用して、分析的 BRDF に依存せずに未見の照明に対して一般化するエンドツーエンド学習の外観モデル。
4. 野外 HDR 捕捉: LDR 主観的カメラからの HDR 環境マップの捕捉および色較正を可能にする手頃な価格の技術であり、物理環境へのシームレスなアバター統合を実現する。

実験結果

著者らは、カスタムライトステージデータセットおよび野外テストシーケンスを用いて、4 人の被験者に対して EgoRelight を評価した。

• 幾何学復元: 深度条件付きアバターは、点から面までの距離において、効率性の面で EgoAvatar などの最適化ベースの手法を含む最先端のベースラインを上回った。特に可視の正面表面において顕著であった。
• 再照明の品質: 定量的指標（PSNR、SSIM、LPIPS、FID）は、EgoRelight が競合する再照明可能アバター手法（例：Relighting4D、MeshAvatar）および再照明不可能なベースラインを大幅に上回ることを示した。定性的結果は、高周波数の詳細（しわ、髪）の優れた保持と、新規照明下での正確な色調マッチングを実証した。
• アブレーション研究: 幾何学的リフティングネットワーク、拡散/鏡面反射の分離、またはクロスアテンション機構などのコンポーネントを除去すると、しわ詳細の喪失、収束の失敗、または非現実的な金属的なハイライトなど、明らかな劣化が生じた。
• 照明推定: 提案された HDR 捕捉パイプラインは、正しい陰影方向の捕捉に失敗したり、顔の詳細を破壊したりすることが多い画像ベースの調和ツール（例：IC-Light、Photoshop）と比較して、より自然な陰影と色の整合性を生み出した。

意義と主張

本論文は、EgoRelight が没入型 MR テレプレゼンスのビジョンに向けた重要な一歩であると主張している。パフォーマンスキャプチャ、再照明、および環境推定を単一の HMD 駆動パイプラインに統合することで、スタジオに縛られたシステムの限界と、既存の主観的アバターにおけるフォトリアリスティズムの欠如を克服する。著者らは、この作業を次世代のビデオ会議および社会的テレプレゼンスの基盤となるステップとして位置づけ、ユーザーが整合性のある物理的に妥当な照明で、任意の物理的または仮想環境にデジタルツインをシームレスに挿入することを可能にする。この作業は、リアルタイム性能（IK を除き現在フレームあたり約 200ms）および訓練における個人固有のライトステージデータへの依存に関する限界を認めており、普遍的な事前分布およびリアルタイム最適化に関する将来の作業を示唆している。