技術要約: RegHead

問題提起

アニメーション可能な3D非人間型ヘッドアバターの作成は、AR、ソーシャルメディア、およびゲーミングにおいて極めて重要であるが、未だ十分に探索されていない。実用的なアニメーション・インターフェースには、多様なアイデンティティ間で頂点対応関係を共有する、解釈可能な表現の固定語彙である**セマンティック・ブレンドシェイプ（semantic blendshapes）**が必要である。これにより、実行時に新たな対応関係の問題を解決することなく、低次元の制御とアイデンティティ間のリターゲティングが可能になる。

しかし、これらのブレンドシェイプ・セットを非人間型の頭部に構築する際には、主に3つのボトルネックが存在する：

1. 乏しい教師データ: 現在の画像/ビデオ生成モデルは、異なる非人間型のアイデンティティ間で、同じ定義済みの表情（例：「しかめっ面」）を一貫して生成することに苦慮しており、一貫したセマンティック・ラベルを持つ大規模な2D観測データを得ることが困難である。
2. 対応関係の欠如: 最新の3D/4D生成手法は、高品質で表情固有のサーフェスを生成するが、通常は表情間の頂点対応関係を欠いており、直接的なブレンドシェイプの基底として使用するには不向きである。最適化ベースの非剛体レジストレーションによる対応関係の回復は、計算コストが高く、スケールアップが困難である。
3. 局所的な変形: 非人間型の顔の表情は、しばしば高度に局所的で種特有の変形（例：特定の顎の関節運動やまぶたの動き）を伴うが、これらは一般的なグローバル変形モデルでは十分に捉えられない。

既存の手法は、重い最適化パイプラインに依存するか（低速）、あるいは3DMMのようなパラメトリック・プライアに依存している（これらは幾何学が人間の解剖学的構造から大きく逸脱する場合に失敗する）。

手法

RegHeadは、未登録の表情メッシュを、単一パスで対応関係を持つセマンティック・ブレンドシェイプ基底へと変換するフィードフォワード・フレームワークを提案する。このパイプラインは、主に以下の3つのステージで構成される：

1. 大規模データセットの構築

一貫したセマンティック・ラベルの欠如に対処するため、著者らは、高品質でアーティストがリグを作成した非人間型アセットのライブラリを用いて、固定された表情語彙 $\mathcal{E}$ を定義した。彼らは、このライブラリからのペアリングされたレンダリングを用いて、ニュートラルな参照状態からターゲットの表情への制御された編集を行うために画像編集モデルをファインチューニングした。このモデルをテキスト・トゥ・イメージ生成に適用することで、語彙を約20,000の非人間型アイデンティティにまで拡張した。表情固有の3Dサーフェスは、これらの画像から画像条件付き3D/4D生成パイプラインを用いて再構成され、その結果、セマンティックには一貫しているが頂点対応関係を欠く生のメッシュ $\{\tilde{M}_t\}$ が得られる。

2. 密な確率論的アンカー運動表現（Dense Stochastic Anchor Motion Representation）

多様なトポロジーを、定義済みのスケルトンやテンプレートなしで扱うために、RegHeadは**密な確率論的アンカー（dense stochastic anchor）**表現を導入する：

• 確率論的アンカー (Stochastic Anchors): 固定されたアンカー座標を最適化する代わりに、モデルは毎回の学習イテレーションにおいて、ニュートラルメッシュ上に一連の変形アンカー $\mathcal{A}$ を再サンプリングする。これにより、モデルがアンカー配置に依存しない予測を学習することを促進する。
• クエリポイント (Query Points): ニュートラル形状上に、より密なクエリポイント $\mathcal{Q}$ のセットをサンプリングする。
• ボクセル・トークン (Voxel Tokens): 表情メッシュをボクセル化し、8チャンネルの潜在コードと非投影されたセマンティック・セグメンテーション・マスク（例：目）を含む、マルチビュー非投影ベースのボクセル・トークン $\mathcal{V}_t$ を作成する。
• 伝播 (Propagation): モデルは、アンカーごとの類似性変換 $\mathcal{T}_t$ を予測する。これらは、最も近いアンカーへの逆マハラノビス距離に基づく事前計算されたスキニング・ウェイトを用いた線形ブレンドスキニング（LBS）を介して、密なクエリポイントへと伝播される。これにより、効率的でありながら表現力豊かな、疎から密への変形が可能になる。

3. フィードフォワード・レジストレーション・モデル

核心となる新規性は、ニュートラルメッシュから各ターゲット表情への変形を予測する、**粗から精への対応関係認識マッチング（coarse-to-fine correspondence-aware matching）**ネットワークである：

• グローバル・マッチャー (Global Matcher): クロスアテンションを使用して、グローバルなボクセル・トークンからアンカー・トークンへ長距離のコンテキストを集約する。これは、アンカーをローカル・マッチングのための正しい「盆地（basin）」へと導くための粗い変形を予測し、大きなサポートを持つ運動（例：顎の関節運動）に対処する。
• 構造化ローカル・マッチャー (Structured Local Matcher): 粗くワープされた各アンカーに対して、モデルはボクセル・トークンから構造化されたマルチ半径のステンシル近傍（単純なkNNではなく）を集める。これを用いてローカル・クロスアテンションを行い、アンカー・トークンを洗練させ、残差変換を予測する。このステージは、微細で局所的な顔の変化を捉えるように設計されている。
• 学習: モデルは、正解の点対応関係なしで学習される。予測された点とターゲットの点を比較する微分可能なレンダリング損失（RGBおよびセグメンテーション）と、幾何学的整合性を確保するための粗いアンカー位置に対する補助的なチャムフェル距離損失を使用する。

4. リアルタイム・リターゲティング

アプリケーションとして、人間の顔トラッキング係数（標準的な3DMMフィットから取得）を、非人間型のブレンドシェイプ語彙の重みにマッピングする小さなMLPを使用する。これにより、フレームごとの最適化を行うことなく、人間のパフォーマンスから非人間型キャラクターへのリアルタイムのリターゲティングが可能になる。

主な貢献

1. データセット: 固定されたセマンティック表情語彙を持つ非人間型の頭部の大規模データセット（約2万アイデンティティ）の構築により、ブレンドシェイプ生成の拡張可能な研究を可能にした。
2. 運動表現: 事前に定義された骨、スケルトン、または共有テンプレートに依存しない、局所的な非人間型の顔の変形のためのトポロジーに依存しない表現である、密な確率論的アンカーの導入。
3. フィードフォワード・レジストレーション: 正解の対応関係や変形フィールドなしで、単一パスで未登録メッシュを対応関係を持つブレンドシェイプに変換する、新しいレジストレーション・モデル。
4. パフォーマンス: 最適化ベースの手法と比較して、高い忠実度と大幅に高速な推論（数桁の差）を実現し、リアルタイムのリターゲティングを可能にしたことを実証した。

実験結果

著者らは、RegHeadをActionMesh（フィードフォワード）、V2M4（最適化ベース）、およびT2Bs（最適化ベースのアライメント）と比較評価した。

• 定量的指標: RegHeadは、レンダリングされた外観（PSNR: 23.84, SSIM: 0.9078, LPIPS: 0.0551）および可視的な幾何学（Chamfer Distance: 0.00358, Silhouette IoU: 0.9865）の両方において、すべてのベースラインよりも優れた性能を達成した。
• 速度: RegHeadはアイデンティティあたり約5秒で動作するのに対し、最適化ベースの手法（V2M4, T2Bs）は100秒から1800秒を要する。
• 定性的分析: RegHeadは、グローバルな構造を維持しながら、微細で空間的に局所化された表情の変化（例：まぶたの閉鎖）をより良く捉えている。ベースラインは、局所的な動きを過小評価したり、微妙な領域でアーティファクトを生じたりすることが多い。
• アブレーション研究:
  • 確率論的アンカーを削除した場合（固定アンカーを使用）、性能が低下し、レイアウト不変性の利点が確認された。
  • アンカー密度を下げると忠実度が著しく低下し、微細な詳細には密なアンカーが必要であることが証明された。
  • ローカル・マッチング・ステージを削除すると大幅な劣化が生じ、それが微細な表情変形の主要な原動力であることが検証された。
  • 構造化ステンシル近傍を使用することで、標準的なkNN近傍よりも優れた性能を示した。

意義と主張

Reg-Headは、スケーラブルなフィードフォワード方式で、非人間型の頭部のためのセマンティックに一貫した対応関係を持つアセットを生成するという核心的な課題に対処すると主張している。テンプレートに基づいた解剖学的制約や重い最適化を回避することで、本フレームワークは、リアルタイム制御とアイデンティティ間のリターゲティングをサポートする高忠実度なアニメーション可能アバターの作成を可能にする。著者らは、本手法が、既存の関節運動や物体全体の生成手法によって残されたギャップである、種特有の微細な変形のために特別に設計されていることを述べている。

限界事項: 著者らは、RegHeadが、共通の頭部構造から大きく離れた解剖学的構造（例：顔領域が曖昧な昆虫のような、あるいは長い尾を持つ種）を持つアイデンティティに対して、アンダーフィットする可能性があることを認めている。さらに、最終的なブレンドシェイプは、上流の未登録メッシュに含まれるアーティファクトの影響を受ける。