技術的概要：DuoGesture

問題定義

現在の共話ジェスチャ生成モデルの多くは、すべてのジェスチャを均質な確率過程として扱う、ホリスティックな単一ストリームアーキテクチャに依存しています。著者らは、このアプローチが以下の 3 つの永続的な限界に苦しんでいると主張しています：

1. 不一致性：ジェスチャのタイミングと音声の韻律との同期が不十分。
2. 弱い意味的基盤：純粋な言語的埋め込み（例：BERT、FastText）への依存は、「意味的ギャップ」を生み出します。これは、テキスト表現がジェスチャに必要な運動形態を捉えられず、特に長尾の語彙的トリガーにおいて顕著です。
3. 生体力学的不一致性：ビートジェスチャ（リズム的、韻律に整合した）は、物理的または生体力学的制約なしに学習されるため、しばしばジッターや過剰な平滑化を示します。

本論文は、共話ジェスチャは、意味的ジェスチャ（語彙的に基盤を持ち、希少で、意味を伝達する）とビートジェスチャ（韻律に整合し、頻繁で、リズム的）という 2 つの独立しながらも結合したプロセスの相互作用としてモデル化されるべきであると提唱しています。

手法：DuoGesture

DuoGesture は、神経に着想を得た双ストリーム潜在生成器であり、ジェスチャ合成を、確率的なフレームレベルのゲートによって調整される結合された意味ストリームとビートストリームに分解します。アーキテクチャは 2 つの段階で動作します：

段階 1：領域別 RVQ-VAE トークナイザ

凍結された領域別残差ベクトル量子化 VAE（RVQ-VAE）が、4 つの身体領域（手、上半身、下半身、顔）の運動を離散的な潜在コードにトークナイズします。この段階は、構造化された低次元の潜在空間で動作するように、生成フェーズ中は固定されたままにされます。

段階 2：双ストリーム生成器

中核的な貢献は、ビート運動と意味運動を分離し、融合する生成器であり、以下の 3 つの新しいコンポーネントを使用します：

1. 運動基盤意味条件付け（MGSC）：

   • 目的：標準的なテキスト埋め込みを運動整合型意味事前分布に置き換えることで、言語 - 運動間のギャップを埋めること。
   • メカニズム：MGSC はクロスアテンションを介して 3 つの入力を融合します：
     • $e_s$：フレームごとの単語埋め込み（FastText）。
     • $e_m$：発話レベルの運動スタイル埋め込み。
     • $e_\epsilon$：感情埋め込み。
   • 運動スタイルと感情の埋め込みはメモリ $m$ にブレンドされ、単語埋め込みがこれをクエリして運動基盤の意味特徴 $S_m$ を生成します。これにより、希少で長尾の語彙的トリガーに対するより良い手がかりが提供されます。

2. 意味変分情報ボトルネック（S-VIB）：

   • 目的：確率的なフレームレベルのゲートとして機能し、意味ジェスチャがビート運動を上書きすべきタイミングを決定することで、「ゲート崩壊」（モデルが常時オンまたは常時オフにデフォルトする現象）を防ぐこと。
   • メカニズム：S-VIB は、意味特徴 $S_m$（「何を」）と低容量の HuBERT タイミング投影 $\hat{e}_a$（「いつ」）を入力として受け取ります。これらを情報理論的ボトルネックヘッドを介して潜在分布にマッピングします。確率的サンプル $z$ が抽出され、潜在スパース性解釈器を通過して、フレームごとの意味確率 $\Psi \in [0, 1]$ を出力します。
   • 正則化：フリービットの床値を持つ KL 発散損失により、ボトルネックは過剰正則化なしに意味信号のための容量を保持します。

3. 慣性ビート事前分布（IBP）：

   • 目的：意味フレームを制約することなく、ビートジェスチャにおけるリズムの一貫性を確保し、ジッターを低減すること。
   • メカニズム：ビートストリームの上腕と手の潜在変数にのみ適用される訓練時の正則化子です。これは、人体計測重み付けアームチェーン損失を用いて、一定速度運動からの逸脱を罰します。
   • 重み付け：損失重み $\tau_{j,t}$ は、De Leva の人体計測セグメント質量と S-VIB ゲート $(1-\Psi_t)$ から導出されます。これにより、事前分布はビートフレームでは有効に、意味フレームでは無効になります。

融合

ビートストリーム（$Z^b_r$）と意味ストリーム（$Z^s_r$）は、ゲート $\Psi$ を使用してフレームごとにブレンドされます：
$$Z_r = (1 - \Psi)\hat{Z}^b_r + \Psi\hat{Z}^s_r$$
得られた融合潜在変数は、RVQ コードブックにおける最近傍ルックアップを介して量子化され、関節空間にデコードされます。

主要な貢献

1. 双ストリーム定式化：語彙的に基盤を持つ意味運動と韻律に整合したビート運動を、結合されたが独立したプロセスとして扱うモデル。均質な生成器の限界に対処します。
2. MGSC：事前学習されたテキストから運動への表現を活用して希少な語彙的トリガーに対する意味的手がかりを改善し、言語 - 運動ギャップを埋める条件付けモジュール。
3. IBP：推論オーバーヘッドなしにリズムの一貫性を向上させ、ビート運動のジッターを低減する、人体計測重み付けアームチェーン正則化子。
4. S-VIB：適切な瞬間に意味ストリームを活性化することを学習し、決定論的ゲート崩壊を回避して運動の多様性を維持する確率的ゲート機構。
5. 実証的検証：BEAT2 ベンチマークでの実証により、分布のリアリズム（FGD）が向上し、同時に整合性、多様性、顔面運動指標を競争力あるレベルで維持していることを示しました。

結果

著者らは、DuoGesture を単一話者と多話者の両方の設定で BEAT2 データセット上で評価しました。

• 定量的パフォーマンス：

  • 分布のリアリズム（FGD）：DuoGesture は、両方の設定で最低のフレシェットジェスチャ距離（FGD）を達成しました（単一話者で 4.101、全話者で 4.081）。SemTalk や PyraMotion などの強力なベースラインを上回りました。
  • トレードオフ：一部のベースラインはより高いビート整合性（BA）スコアや多様性スコアを達成しましたが、それは著しく劣る FGD を犠牲にしていました。DuoGesture はパレートフロンティア上で最も「リアリズムに有利な」点に位置し、バランスの取れたトレードオフを提供します。
  • アブレーション研究：MGSC を除去すると FGD が最大に増加（+0.722）し、運動基盤条件付けの重要性が確認されました。IBP を除去するとビート整合性が大幅に低下し、S-VIB を決定論的ゲートに置き換えると多様性が低下しました。

• 主観的評価：

  • 30 名の参加者によるユーザー調査では、自然さ、運動の多様性、音声コンテンツとの整合性において、DuoGesture が SemTalk や EMAGE よりも高い評価を得ました。
  • 定性的分析により、DuoGesture は意味フレーズに対してより明確な腕の軌道を生み出し、ベースラインと比較してビートフレーズに対してより時間的に一貫したリズム運動を生成することが示されました。

意義と主張

本論文は、DuoGesture が、意味的ジェスチャとビートジェスチャ間の機能的な分岐を明示的にモデル化することで、共話ジェスチャ生成のためのより効果的な設計を提供すると主張しています。運動基盤意味条件付け、確率的ストリーム選択、生体力学的正則化を統合することで、このモデルは意味的表現力とリズム的な滑らかさの間の優れたバランスを達成します。

著者らは、彼らのアプローチが、ジェスチャ処理のための分離可能だが相互作用するネットワークに関する認知神経科学の知見に動機付けられていると指摘しています。彼らは、この手法が「意味的ギャップ」（テキストからの弱い事前分布）と「ビートギャップ」（物理的制約の欠如）を同時に解決することを強調しています。

限界と今後の課題：
著者らは、データセットの限界により、他の言語、文化、相互作用設定への一般化はテストされていないことを謙虚に認めています。また、MGSC は事前学習されたテキストから運動へのエンコーダのバイアスに依存しており、IBP は現在、アームチェーンのダイナミクスに限定されており、全身のジェスチャや物体との相互作用を捉えていないとも述べています。今後の課題として、クロスデータセットの一般化と生体力学的事前分布の拡張に焦点を当てることを提案しています。