技術要約: VGGHeads

問題提起

3D人間の頭部モデリングの分野は、大規模かつ多様なデータセットの不足と、現在の手法的なパイプラインの限界という二重のボトルネックに直面しています。

1. データの制限: 既存の実世界のデータセット（例：VGG-Face, CelebA, MS-Celeb-1M）は、多くの場合、制御された条件下での、厳密にクロップされ整列された単一の顔に限定されています。これらは、実世界のアプリケーションで普及しているマルチパーソン（複数人）かつ制約のないシナリオを捉えることができません。さらに、顔データに関するプライバシーおよび倫理的懸念により、主要なベンチマーク（VGG-Face, MS-Celeb-1Mなど）が撤回されたり、他のデータセット（ImageNet）で顔がぼかされたりしており、多様で適切にアノテーションされたデータを収集する上での大きな障壁となっています。
2. 手法的な制限: 従来のプローチは、顔検出、ランドマーク検出、そしてクロップされた領域に対する3Dアライメントという逐次的なパイプラインに従います。この分離は、粗い検出と微細な再構成の間にギャップを生み出し、各段階に特化したモデルを必要とします。さらに、検出モデルは極端なポーズやマルチパーソンのシナリオに苦戦することが多く、一方で3D再構成手法は、野生環境（in the wild）では入手が困難な、堅牢で事前に整列されたクロップ領域に依存しています。

手法

1. VGGHeads データセット生成

著者らは、100万枚以上のマルチパーソン画像と220万個のアノテーション済みヘッドを含む大規模な合成データセットであるVGGHeadsを導入します。

• 生成パイプライン: このデータセットは、LAIONデータセットから抽出された2Dヒューマンポーズスケルトンを条件とした潜在拡散モデル（SDXL）を使用して生成されます。これにより、プライバシーの問題を排除しつつ、多様な空間構成と現実的な対人相互作用を確保しています。
• アノテーションプロセス:
  • 検出: 合成画像内のヘッドのバウンディングボックスを特定するために、手動でアノテーションされたサブセット（10,000枚の画像）を用いてバイナリヘッド検出器（RT-DETR）を訓練します。
  • 3D回帰: 検出された各ヘッドに対して、最先端のFLAMEレグレッサー（DAD-3DNet）が、メッシュ頂点、ポーズ回転、表情係数を含む包括的な3Dモーファブルモデル（3DMM）パラメータを予測します。
• 品質フィルタリング: 信頼性を確保するために、4段階のフィルタリングパイプラインを採用しています：
  1. 基本妥当性: ヘッドが検出されない画像を除去。
  2. 一貫性検証: オリジナル画像と反転させた画像の間で、検出数が安定しているかを確認。
  3. クロスメソッド検証: ヘッド検出と顔検出（RetinaFace）の重なりを検証。
  4. スケール一貫性: 画像を垂直に分割した際にヘッド数が一貫していることを確認し、小さな変形したヘッドなどのアーティファクトを除去。
• 安全性とプライバシー: パイプラインは多層的な安全フィルター（CLIPベースのNSFWフィルタリング、ネガティブ埋め込み）を採用し、BLIP-VQAを介した被験者中立的なシーン記述を使用することでプライバシーを確保しています。また、マルチパーソンデータによるファインチューニングが、個人の特定や再識別を可能にしないことを検証しています。

2. 統合アーキテクチャ

本論文は、逐次的なクロップとアライメントの必要性を排除し、粗いヘッド検出とパラメトリックな3Dモデリングを単一のフォワードパスで橋渡しする、新しい統合アーキテクチャを提案しています。

• ベースモデル: アーキテクチャは、リアルタイム物体検出器であるYOLO-NASを拡張したものです。
• マルチスケール設計: バックボーンは、マルチパーソンシーンに見られる劇的なサイズ変化を扱うために、複数のスケール（D1-D3）で階層的な特徴を抽出します。
• 予測ヘッド: モデルには、FLAMEのパラメトリック構造をマルチスケール特徴マップから直接デコードする6つの特化したヘッドが含まれています：
  1. Shape（形状）
  2. Expression（表情）
  3. Jaw Pose（顎のポーズ）
  4. Global Head Pose（グローバルな頭部ポーズ）
  5. Translation（平行移動）
  6. Scale（スケール）
• 出力: 各検出されたヘッドに対して、モデルは分類スコア、バウンディングボックス、および完全な3DMMパラメータ（形状、表情、ポーズ）のベクトルを同時に出力します。これらのパラメータにより、3Dメッシュ頂点、ポーズ回転、および顔のランドマークの微分可能なレンダリングが可能になります。

3. 目的関数

モデルは、マルチコンポーネントの損失関数を用いてエンドツーエンドで訓練されます：

• 検出損失: 分類のためのFocal Loss ($L_C$) と、バウンディングボックス回帰のためのComplete IoU Loss ($L_{reg}$)。
• 3D損失:
  • 再投影損失 ($L_{reproj}$): 再投影された3D頂点とグラウンドトゥルースの2Dキーポイント間の不一致を最小化します。
  • 3D頂点損失 ($L_{3D}$): ポーズとは独立して形状と表情を監督するために、正規化された標準的な3Dヘッド頂点（耳、眼球、首を除く）に対してL2損失を計算します。
  • 回転損失 ($L_R$): SO(3)多様体の幾何学を尊重し、オイラー角の不連続性を避けるために、6D回転表現における測地線距離を使用します。

主な貢献

1. 統合マルチスケール・ヘッド表現: バウンディングボックス、3D頂点、ポーズ、ランドマークを単一のフォワードパスで共同最適化する、初のエンドツーエンドのリアルタイムモデルです。これは検出と再構成の間のギャップを埋め、個別のクロップ段階を排除し、逐次的な「教師」パイプラインを凌駕します。
2. 大規模マルチパーソン合成データセット: VGGHeadsは、詳細な3Dメッシュを持つ100万枚以上の画像と220万個のアノテーション済みヘッドを提供します。これはWIDERFaceの20倍以上の規模であり、大規模さと包括的なマルチパーソン3Dアノテーションを組み合わせた初のデータセットであり、プライバシーの問題もありません。
3. 合成から実データへの汎化: 著者らは、この合成データのみで訓練されたモデルが、実世界のベンチマークにおいて最先端（SOTA）の性能を達成することを実証しており、合成データセットが統合モデリングタスクにおいて従来のリアルデータのアプローチに匹敵、あるいはそれを上回り得ることを証明しています。

実験結果

• 3D頭部ポーズ推定: AFLWおよびBIWIベンチマークにおいて、VGGHeadsはエンドツーエンドの手法の中でSOTAの性能を達成し、検出を先に行う必要があるにもかかわらず、非エンドツーエンドのクロップベースのアプローチに匹敵する性能を示しました。
• 3D頭部アライメント: DAD-3DHeadsベンチマークにおいて、VGGHeadsはRingNetおよび3DDFA-v2を大幅に上回り、ベンチマークと同じ分布で訓練されたDAD-3DNetに匹敵する結果を達成しました。
• 顔検出: 明示的に小さな顔に最適化されてはいませんが、FDDBおよびWIDERベンチマークにおいて、専門的な検出器（例：RetinaFace）と同等の性能を達成しており、統合的なアプローチが検出品質を損なわないことを検証しています。
• クロスメソッド検証: 既存の手法（例：img2pose）をVGGHeadsで再学習すると、ポーズ推定および検出ベンチマークにおける性能が向上し、このデータセットの有用性が確認されました。
• アブレーション研究: いずれかの3D損失コンポーネント（頂点または回転）を削除すると、すべての指標において性能低下が生じ、マルチコンポーネントの損失設計の必要性が確認されました。

意義と主張

本論文は、VGGHeadsが3D頭部モデリングにおけるプライバシーとデータ不足という根本的なボトルネックに対処することを主張しています。制御可能な拡散モデルを活用することで、著者らは、倫理的な障壁により実データでは収集が不可能な、多様で制約のないマルチパーソンのシナリオを捉えたデータセットの作成に成功しました。

主な意義は、合成データが複雑な統合ビジョンモデルの訓練において実データを代替できることを証明した点にあります。合成データのみで訓練されたモデルが、検出とパラメトリックな3Dモデリングというより困難な問題を解決し、実データで訓練された手法を凌駕することを示しました。これは、人間頭部の表現に関するコンピュータビジョン研究を進めるための、実行可能かつプライバシーを保護するパイプラインを確立するものであり、詳細な再構成タスクへの堅牢な初期化を提供します。