技術要約：セマンティック・モーション・アンカー（Semantic Motion Anchors）

問題提起

発話テキストと共起ジェスチャー（co-speech gestures）の間の共有表現を学習することは、ジェスチャーの検索、合成、理解といったタスクにおいて不可欠である。しかし、既存の手法は、意味のあるジェスチャー（例：列挙、自己参照、不確実性）を扱う上で大きな課題に直面している。現在の手法は、トランスクリプト（逐語録）と連続的なモーション埋め込みとの間の直接的な対照学習（contrastive alignment）に依存する傾向がある。このアプローチは、低レベルの運動学的特徴（頻繁なビート・ジェスチャーなど）を過度に強調してしまい、意味的なジェスチャーが持つ象徴的な内容やコミュニケーション上の意図を捉えきれない傾向がある。

核心的な問題は、物理的な動きの類似性と、意味的な意味内容との間のミスマッチである。例えば、「列挙」という同じコミュニケーション上の意図であっても、話し手によって極めて異なる運動パターンで表現されることがあり、一方で、似たような運動パターンであっても、文脈に応じて全く異なる意図をコード化している場合がある。その結果、検索ベースのアプローチは、クエリとなる発話に対して意味的に関連のあるジェスチャーを検索するのではなく、一般的な運動パターンへと陥ってしまう。

手法

著者らは、ジェスチャーの動きを自然言語による抽象化によって橋渡しするフレームワークであるセマンティック・モーション・アンカー（Semantic Motion Anchors）を提案する。これらのアンカーは、ジェスチャーの物理的形態（観察可能な空間的および運動学的特性）と、コミュニケーション上の意図（文脈的な機能）の両方を捉える。本手法は、主に以下の3つの段階で構成される。

1. モーションのトークン化と言語化

• トークン化: 連続的な3Dジェスチャーシーケンス（上半身の関節）は、2ストリームのRVQ-VAE（残差ベクトル量子化変分オートエンコーダー）を用いて離散的なモーション・トークンへと圧縮される。ストリームは身体成分と手の成分に分割され、それぞれが個別のコードブックを用いて別々にエンコードおよび量子化される。
• 言語化: 各離散モーション・トークンは、観察可能な物理的特性を記述する構造化された自然言語の断片へとマッピングされる。このステップはKipp [2005] のアノテーション次元に基づき、手利き、空間的位置、移動軌跡、手の向き、手の形状といった属性を抽出する。これらの属性は、3Dスケルトン幾何学から決定論的に導出され、テンプレート関数を介して「物理的モーション・ナラティブ（物語）」へと変換される。

2. トランスクリプトに基づく推論

• 大規模言語モデル（LLM）を用いて、トークンレベルの物理的ナラティブを音声トランスクリプトと合成する。
• LLMは、構造化された4段階の推論プロセスを実行する：
  1. 手利き（Handedness）: テキストのヒントと運動の非対称性に基づき、ジェスチャーが片手で行われているか両手で行われているかを判断する。
  2. 動き（Motion）: 物理的ナラティブを簡潔な空間記述へとマッピングする。
  3. 意図（Intent）: トランスクリプトからコミュニケーション上の機能（例：強調、列挙、不確実性）を推論する。
  4. 検証（Verification）: 推論された手利き、動き、および意図の間の整合性を確認する。
• 出力されるのはセマンティック・モーション・アンカーであり、これは形態と機能の両方をコード化したコンパクトな自然言語記述である（例：「右手が胸の高さまで上がり、発話における増加を強調している、開いた掌」）。

3. アンカーによる教師あり対照学習

• 本フレームワークは、セマンティック・アンカーが補助的な教師信号として機能する対照学習目的関数を採用している。
• 学習サンプル $(X_i, y_i)$（モーションとトランスクリプト）は、アンカー $a_i$ によって拡張される。$a_i$ は、$a^{phys}_i$（物理的形態）と $a^{int}_i$（コミュニケーション上の意図）の2つのコンポーネントに分解される。
• モデルは以下の整合を学習する：
  • トランスクリプト ($y_i$) と モーション ($X_i$)
  • モーション ($X_i$) と 物理的形態の記述 ($a^{phys}_i$)
  • トランスクリプト ($y_i$) と 意図の記述 ($a^{int}_i$)
• この「モダリティ一致型の教師あり学習」により、モーション・ブランチは視覚的に接地された構造を学習し、トランスクリプト・ブランチは談話の文脈からジェスチャーに関連する内容を抽出することを学習する。

主な貢献

1. セマンティック・モーション・アンカー: 生のモーション座標ではなく、物理的形態とコミュニケーション上の意図を通じて共起ジェスチャーを表現する、構造化された自然言語記述の導入。
2. アンカーによる教師ありフレームワーク: 言語とジェスチャーの整合性を向上させるために、モーション・トークンの言語化とトランスクリプトへの接地を利用した対照学習フレームワーク。これは、直接的なテキスト・モーションのマッピングを超えたものである。
3. SEMANTIX データセット: 物理的形態とコミュニケーション上の意図に関するゴールドスタンダードな記述を持つ、878個の人間によるアノテーション済みTEDおよびBEAT2クリップで構成される新しいデータセットの公開。これは、意味的なジェスチャー理解を評価するために設計されている。
4. 実証的検証: BEAT2における検索指標の向上と、TEDを用いたクロスデータセット汎化性能を実証。また、ダウンストリームの生成タスクにおけるユーザー調査により、検索されたジェスチャーに対する有意な好意を示した。

実験結果

本手法はBEAT2データセットで評価され、TED Expressiveでのクロスデータセット汎化についてもテストされた。

• 検索性能: BEAT2において、提案手法は直接的なテキスト・モーション・ベースラインと比較して、テキスト・トゥ・ジェスチャーのRecall@1 (R@1) を39.1%から42.3%へと向上させた（8.2%の相対的改善）。また、テキスト・トゥ・ジェスチャーおよびジェスチャー・トゥ・テキストの両方向の検索において、従来の最先端手法（JEGALやTMRを含む）を上回った。
• 意味的整合性: 「意味ラベル一致率」の分析により、特定の運動インスタンスがグラウンドトゥルース（正解）と異なっていても、モデルが同じコミュニケーション上の意図を持つジェスチャーを正常に検索できていることが明らかになった。これは特に、定量化（Quantification）、時間的参照（Temporal Reference）、感情（Emotion）といったカテゴリにおいて顕著であった。
• クロスデータセット汎化: TED-to-BEAT2の設定において、ギャラリーに対してセマンティック・アンカーのプロキシを使用することで、生のモーション埋め込みやランダムなアンカーを使用する場合よりも検索性能が向上した。これは、ジェスチャーを関連する特性へと抽象化することが転移性を高めることを示唆している。
• ダウンストリームへの応用: 検索拡張型ジェスチャー生成の研究において、ユーザーは提案手法によって検索されたジェスチャーを、RAG-Gestureベースラインによって検索されたものよりも有意に好んだ（72.2% vs 27.8%, $p < 0.0001$）。これは、意味的に接地された検索が、コミュニケーション上の意図により適合するジェスチャーをもたらすことを示している。

意義と主張

本論文は、意味的なジェスチャーの検索は、単にテキストを連続的なモーション空間にマッピングすることに依存すべきではなく、意味的に関連する抽象化によってサポートされるべきであると主張している。セマンティック・モーション・アンカーを導入することで、著者らは以下を実証した：

• モーションを言語化可能なプリミティブへと離散化し、それらをトランスクリプトの文脈に接地させることで、モデルは、意味的なジェスチャーの疎で多様な空間にわたって汎化可能な表現を学習できる。
• このアプローチは、低レベルの運動学的類似性から、象徴的なジェスチャー内容へと焦点をシフトさせ、検索システムが一般的な運動パターンに陥ることなく、発話クエリに対して意味的に関連のあるジェスチャーを特定することを可能にする。
• この手法は、改善された検索をより優れたダウンストリーム生成へと効果的に変換できることが、ユーザーの好みの調査によって証明されており、意味的に接地された検索が、コミュニケーション上の意図をより正確に伝えるジェスチャーを生み出すことを裏付けている。

著者らは限界についても認めており、現在のパイプラインはジェスチャー属性の一部（微細な指の分節化の欠如など）しか捉えていないこと、およびアンカー生成においてクローズドなLLMに依存していることを挙げている。また、ジェスチャーの慣習が異なるため、異なる文化や言語間での汎化についてはさらなる調査が必要であるとも述べている。