From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

技術要約：トークンから顔面へ

問題提起
音声駆動型の3D顔面アニメーションには、時間的デコーダを駆動するための適切な音声表現の選択が必要である。近年の最先端（SOTA）システムは、主に自己教師あり学習（SSL）モデル（例：wav2vec 2.0、HuBERT）からの連続的な隠れ表現に依存しているが、正確かつ自然な顔面アニメーションを実現するために、音声表現のどの特定の特性が必要であるかは依然として不明である。また、離散的な音声表現（トークン）のこのタスクに対する適合性についても、ほとんど調査されていない。既存の離散的手法は、ハイブリッドな意味・音響表現（例：SpeechTokenizer）を利用していることが多いが、3D顔面合成において、完全に音響的なもの、完全に意味的なもの、あるいはラベルベースの離型的離散表現を、連続的なSSLベースラインと体系的に比較した研究は存在しない。

手法
著者らは、2つの時間的顔面デコーダアーキテクチャにわたって、4つの異なる音声表現ファミリーを評価する比較実験フレームワークを提示している。

1. 音声エンコーダ:
   • HuBERT (HB): 連続的なSSL表現（意味的）。
   • SpeechTokenizer (ST): 意味的蒸留（HuBERT）と音響残差ベクトル量子化（意味＋音響）を組み合わせたハイブリッド表現。
   • WavTokenizer (WT): 音響再構成に焦点を当てた、高度に圧縮された単一コードブック表現（音響的）。
   • CosyVoice2 (CV2): 文字およびプロソディ（韻律）ラベルを用いた自動音声認識（ASR）事前学習タスクで訓練された教師ありエンコーダ（ラベルベース）。
2. 顔面デコーダ:
   • GRU: フレームごとの再帰型ネットワーク（FaceDiffuserのベースラインで使用）。
   • Transformer: 自己注意機構を介して全シーケンスを処理する非因果的アーキテクチャ。

モデルはBEAT2データセット（FLAMEパラメータに整合させた27時間の英語音声、51次元のARKitブレンドシェイプに変換済み）を用いて訓練された。エンコーダは事前学習済み重みを用いて凍結され、デコーダはゼロから訓練された。

評価戦略
本研究では、多角的な評価アプローチを採用した。

• 客観的指標: 幾何学的な正確さを測るLips Vertex Error (LVE)、時間的な滑らかさ（加速度）を測るJitter Score、および両唇音（/b/, /p/, /m/）における調音の正確さを測定する新しいBilabial Closure Score (BCS)。
• 知覚評価: 30人の参加者が、リファレンスビデオに対してアニメーションのリアリズムと唇と音声の一致度を評価するMUSHRA形式のプロトコル。
• プロービング解析: 表現の情報内容を理解するために、著者らは以下の解析を行った。
  • 音素プロービング: トークンIDと音素ラベルの間の共起エントロピーの測定。
  • ビゼム（口形）プロービング: トークンIDと離散化された顔のポーズ（ビゼム）の間の共起エントロピーの測定。
  • 連続プローバリング: リッジ回帰を用いて、トークンシーケンスから連続的なブレンドシェイプ値を予測する（$R^2$ 指標を使用）。

主な結果

• パフォーマンス: ラベルベースの表現（CosyVoice2）とTransformerデコーダの組み合わせ（[CV2+T.]）が、最高の客観的スコアを達成し、意味的ベースライン（HuBERT + GRU）と知覚的に区別がつかないレベルに達した。
• デコーダの影響: 離散表現は、GRUと比較してTransformerデコーダと組み合わせた場合に有意に高い性能を示した。逆に、連続的なHuBERT表現は、両方のデコーダにおいて同等の性能を示した。
• ハイブリッドの限界: 意味＋音響表現（SpeechTokenizer）は、満足のいく顔面アニメーションを提供できず、純粋な音響的表現と同等の性能であった。これは、低構造な音響情報が含まれている場合、たとえ音子的情報が存在していても、それが顔面予測にとって有害となり得ることを示唆している。
• プロービングによる洞察:
  • 音素符号化: 意味＋音響表現は、音素クラスを最も効率的に符号化した。次いで、意味的、ラベルベース、音響的の順であった。
  • ビゼム／連続値符号化: ラベルベースの表現は、離散的なビゼムとの最も強い相関を示した。しかし、すべてのトークン化された表現は、連続的な表現と比較して、連続的なブレンドシェイプを予測する際の$R^2$スコアが低かった。これは、離散的なトークンから連続的な動きへのマッピングが本質的に困難であることを反映している。
• 相関: 知覚評価は、従来の再構成指標（LVEなど）よりも、Bilabial Closure Score (BCS) とより密接に相関していた。

主な貢献

1. 体系的な比較: 3D顔面アニメーションのための、4つの音声表現ファミリー（意味的、意味＋音響的、音響的、ラベルベース）と2つのデコーダアーキテクチャにわたる包括的な評価。
2. プロービング解析: トークン化された表現を音素単位および調音変形（ビゼムとブレンドシェイプ）の両方に結びつける調査を行い、音子的クラスの符号化は有益であるが、低構造な音響データの混入を避ける必要があることを明らかにした。
3. AVTTSパイプライン: 概念実証としての**オーディオ・ビジュアル・テキスト・トゥ・スピーチ（AVTTS）**パイプラインの導入。TTSシステム（CosyVoice2など）が既に離散的なトークンを生成しているという事実を活用し、単一の共有トークンシーケンスから音声と3D顔面運動を同時にデコードできる統一フレームワークを実証した。これにより、別途の音声駆動型アニメーション段階を排除できる。

意義
本論文は、音子的クラスの情報が、低構造な音響データによって汚染されていない場合に限り、正確な顔面アニメーションのための必要条件であると主張している。また、ラベルベースの離散表現が、確立されたSSL連続ベースラインと同等の競争力を持つことを示している。さらに、本研究は、離散的な音声トークンが音声と顔面合成の両方のための共有潜在空間として機能することを確立しており、従来の二段階（テキスト $\to$ 音声 $\to$ 顔）のパラダイムをバイパスする、統合されたマルチモーダル生成パイプラインへの道を開くものである。