AHOY: YouTube 動画からの被写体遮蔽下における可動性ヒューマンアバターの構築

本論文「AHOY (Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors)」は、実世界の YouTube 動画など、重度の遮蔽（オクルージョン）が存在する単眼動画から、完全な形状を持ち、任意のポーズで動かすことができる 3D ガウススプラッティング（3DGS）ベースのアバターを再構築する手法を提案しています。

既存の手法の多くは、被写体が完全に視認でき、かつ標準的なポーズ（キャノンポーズ）をとっていることを前提としていますが、AHOY は家具や他の人物、シーン自体によって体の一部が隠れているような「野生的（in-the-wild）」なデータからも高品質なアバターを生成することに成功しました。

以下に、技術的な詳細を問題定義、手法、主要な貢献、結果、意義の観点からまとめます。

---

1. 問題定義と課題

• 現状の限界: 従来の 3D 人間再構築手法（NeRF や 3DGS 系）は、多視点キャプチャや完全に視認可能な単眼動画を前提としています。YouTube 動画などでは、人物が椅子に座っている、他の人に隠れている、またはカメラアングルによって体の一部が切り取られていることが一般的です。
• 核心的な課題:
  1. 未観測領域の欠如: 動画全体を通じて一度も観測されなかった身体部位（背中や内側など）が存在し、直接的な教師信号が得られない。
  2. 多視点教師信号の欠如: 特定のポーズにおいて、異なる視点からの画像が得られないため、ポーズ依存の細部（衣服のしわなど）を学習できない。
  3. 拡散モデルの生成不整合: 欠損部分を補完するために動画拡散モデル（Video Diffusion）を使用する場合、生成されたフレーム間で幾何学的な整合性が取れず、アーティファクトが発生する。
  4. 顔の同一性維持: 拡散モデルは生成過程で顔の同一性を保つのが難しく、顔の再構築が不安定になる。

2. 手法 (Methodology)

AHOY は、**「ハルシネーション（幻覚）を教師信号として利用する」**という革新的なパイプラインを採用し、以下の 4 つの段階で構成されます。

ステージ 1: 粗いアバターの構築 (Coarse Avatar Construction)

• 入力: 遮蔽された単眼動画。
• 処理:
  • SMPL パラメータと DensePose を用いて、観測されたテクスチャをキャノンポーズ（標準ポーズ）の UV マップにマッピングします。
  • 観測されなかった領域（遮蔽部分）は、画像生成モデル（FLUX）を用いてインペインティング（補完）して完全なキャノンポーズ画像を生成します。
  • 多視点拡散モデルを用いて、この補完された画像から複数の視点（前、後、左、右）のキャノンポーズ画像を生成し、これらを教師信号として初期の「粗い 3DGS アバター」を学習します。

ステージ 2: 拡散モデルによるハルシネーション教師信号の生成 (Hallucinated Supervision Generation)

• アイデンティティ特化: 入力動画に基づき、LoRA を用いて動画拡散モデル（Wan 2.2）をファインチューニングし、対象人物のアイデンティティを学習させます。
• 構造化された運動シーケンス: 人物の全身を 360 度回転させる「ターン」動作や、座った姿勢など、すべての身体表面をカメラに露出させるための構造化された運動シーケンスを設計します。
• RF-Inversion（整流フロー反転）:
  • ステージ 1 で生成した粗いアバターを、上記の運動シーケンスで動かしてレンダリングします（欠損やアーティファクトあり）。
  • このレンダリング動画を拡散モデルの潜在空間にエンコードし、RF-Inversion技術を用いて、モデルの「アイデンティティ先験（事前知識）」に基づいて欠損部分を補完・修正します。
  • これにより、観測されなかった部位も含む、高品質で多視点にわたる「ハルシネーション動画（教師信号）」を生成します。

ステージ 3: 多視点不整合を吸収するフルアバターの学習 (Full Avatar Learning)

• ポーズ依存ガウスマップへの移行: 生成されたハルシネーション動画は多視点教師信号として機能するため、キャノンマップからポーズ依存のガウスマップへアップグレードします。
• Map-Pose / LBS-Pose の分離:
  • 拡散モデル生成データには幾何学的な不整合（視点ごとのズレ）が含まれます。これを吸収するために、2 つのポーズを定義します。
    • Map Pose: 各シーケンスで共通のポーズ。これを入力として StyleUNet がガウス属性を予測します（一貫性を保つ）。
    • LBS Pose (Linear Blend Skinning Pose): 各フレームごとに最適化されるポーズ。これにより、拡散モデル由来の幾何学的なノイズや不整合を吸収させます。
  • この分離により、高品質なポーズ依存アバターを学習しつつ、生成データの矛盾を回避します。
• 頭部と体の分離教師信号:
  • 顔のアイデンティティ維持のため、拡散モデルによる生成画像は使用せず、多視点顔拡散モデル（CAP4D）で生成された高品質な顔画像を用いて頭部（FLAME モデル対応）を独立して教師信号とします。

ステージ 4: 3D シーン内でのアニメーション

• 学習されたアバターは、任意の SMPL ポーズで駆動可能であり、携帯電話動画から再構築された 3DGS シーン内に合成して、フォトリアルな動画としてレンダリングできます。

3. 主要な貢献 (Key Contributions)

1. 遮蔽下での完全な 3DGS アバター再構築: YouTube 動画のような重度の遮蔽がある単眼入力から、完全な形状と可動性を持つアバターを構築する初の手法の一つ。
2. 「ハルシネーション・アズ・スーパービジョン」アプローチ: アイデンティティ特化の動画拡散モデルと RF-Inversion を組み合わせ、観測されていない領域に対して高密度な教師信号を生成するパイプライン。
3. 2 段階のキャノン→ポーズ依存アーキテクチャ: 疎な観測から始めて、ハルシネーションデータを用いてポーズ依存のガウスマップを学習する段階的アプローチ。
4. Map-Pose / LBS-Pose の分離: 生成データに含まれる多視点不整合を吸収し、高品質なポーズ依存学習を可能にする新しい設計。
5. 頭部/身体分割教師信号: 顔のアイデンティティを維持しつつ、身体部分を拡散モデルで補完する戦略。

4. 結果 (Results)

• 定量的評価:
  • YouTube データセット: 遮蔽入力およびキャノンポーズ入力において、既存の最優秀手法（LHM, IDOL, PSHuman, SyncHuman など）を PSNR, SSIM, LPIPS 全ての指標で上回りました。
  • BEHAVE データセット（多視点）: 遮蔽条件下での新規視点合成（Novel View）および新規ポーズ合成（Novel Pose）において、SOTA を達成しました。特に新規ポーズ合成では、他の手法が破綻する中、AHOY は高い忠実度を維持しました。
• 定性的評価:
  • 遮蔽されていた部位（背中や腕の内側など）が自然に復元され、衣服のテクスチャや質感が保たれています。
  • 顔のアイデンティティが崩れることなく、新しいポーズでのアニメーションが可能です。
  • 実写の 3DGS シーン（携帯電話動画から再構築）内での合成も成功し、没入感のある結果を示しています。
• アブレーション研究:
  • ハルシネーションステップ、RF-Inversion、Map/LBS 分離、頭部/身体分割の各コンポーネントが、再構築の品質に決定的な役割を果たしていることが実証されました。

5. 意義と将来展望

• データソースの民主化: 制御された撮影環境や多視点機材が不要となり、インターネット上に存在する膨大な「野生的な」動画（YouTube など）を 3D アセットの宝庫として活用できる道を開きました。
• 遮蔽問題の克服: 従来のコンピュータビジョンにおいて「ノイズ」や「排除すべき障害」として扱われてきた遮蔽を、AI による推論（ハルシネーション）によって克服し、むしろ学習に活用するパラダイムシフトを示しました。
• 応用: ゲーム、VR/AR、映画制作におけるアセット作成コストの大幅な削減、および没入型コンテンツの生成に寄与します。

限界と課題:
最終的なアバターの品質は基盤となる動画拡散モデルの性能に依存します。また、拡散モデルが「あり得るが実際とは異なる」細部を生成する可能性（ハルシネーションの誤り）や、拡散推論と最適化の多段階プロセスによる計算コストの高さが課題として挙げられています。

---

結論:
AHOY は、単眼動画からの 3D 人間再構築において、遮蔽という長年の課題を拡散モデルの先験知識と 3DGS の表現力を組み合わせることで解決し、実世界からの高品質なデジタルヒューマン生成を可能にした画期的な研究です。