技術要約: InteractGesture

問題提起

音声に同期した全身モーションの生成において、共話ジェスチャー（Co-speech gesture）生成技術は、リアルな動きを実現するレベルまで大きく進歩しました。しかし、既存のモデルは主に制約のない生成に焦点を当てており、個々の身体関節に対する**きめ細かな空間的制御性（fine-grained spatial controllability）**を欠いています。デジタルヒューマン、バーチャルエージェント、エンボディド・アシスタントといった実用的なアプリケーションでは、自然な音声・ジェスチャーの同期性を維持しつつ、精密な空間編集（例：手首を特定の物体に向ける、両手でアイテムを囲む、インターフェースを指し示すなど）が求められます。

重大な技術的課題は、**連続的なストリーミング生成（continuous streaming generation）**において発生します。標準的な推論プロセスは、音声を有限の重なりを持つチャンク単位で処理します。厳密な逐次型アプローチでは、一度生成されたチャンクは固定（freeze）されます。これにより依存関係のボトルネックが生じます。もし将来のチャンク（$k+1$）における空間的制約が、先行するチャンク（$k$）の軌道の調整を必要とした場合、チャンク $k$ が固定されているためにこの修正ができず、結果としてモーションの不連続性やチャンク境界を越えた制御の一貫性の欠如を招きます。

手法

著者らは、空間的に制御可能なジェスチャー生成のための、モデルに依存しない推論時フレームワークであるInteractGestureを提案しています。この手法は、既存の生成モデルを再学習させるのではなく、学習済み拡散モデルのサンプリングプロセスをガイドするものです。

コアメカニズム：潜在表現へのガイダンス（Latent Guidance）

InteractGestureは、学習済みのジェスチャ生成器をデノイジング（ノイズ除去）プロセスとして扱います。選択されたサンプリングステップにおいて、予測されたクリーンなターゲット潜在推定値（$\hat{x}_0$）は、微分可能なRVQ-VAEデコーダを通じて身体ポーズ（SMPL-X関節）へとデコードされます。

1. 損失計算: デコードされた関節位置と、ユーザーが指定した制御ターゲット（位置、軌道、または方向）との間で、マスクされた空間損失（masked spatial loss）が計算されます。
2. 勾配の逆伝播: 空間損失から微分可能なデコーダを通じて、モデルのパラメータではなく、ターゲット潜在推定値（$\hat{x}_0$）を更新するために勾配が逆伝播されます。
3. デノイジングの更新: 調整された潜在推定値は、現在のモーション潜在値（$x_{i-1}$）を更新するために使用されます。その後のサンプリングステップにより、学習されたスコアネットワークがモーションを音声条件付きのジェスチャー分布へと回帰させ、空間的制約と自然さのバランスを取ります。

プログレッシブ・チャンク・ガイダンス（Progressive Chunk Guidance）

ストリーミングにおける依存関係の問題に対処するため、著者らはプログレッシブ・チャンク・ガイダンスを導入しています。これは、標準的な逐次推論（過去のチャンクを固定する）や、完全な同期推論（シーケンス全体へのオフラインアクセスを必要とする）とは異なり、編集可能なチャンク潜在値のアクティブなウィンドウを維持する戦略です。

• 段階的な遅延（Staggered Delays）: 新しいチャンクは、現在のサンプリングステップに対して段階的な遅延を持って導入されます。
• 双方向伝播（Bidirectional Propagation）: 新しいチャンクが到着するにつれ、先行するチャンクはアクティブかつ編集可能な状態に保たれます。将来のチャンクからの空間的制約は、チャンク境界を越えて勾配を遡って伝播し、先行する軌道を調整することができます。
• コンテキストのリフレッシュ: 新しいチャンクのコンテキストフレームは、先行するチャンクの最新のガイダンス済み推定値から継続的にリフレッシュされ、固定されたストリーミング・レイテンシ・予算内で滑らかなモーションの連続性を確保します。

制御表現

本システムは、ターゲット位置テンソル（$H$）とバイナリマスク（$M$）を介して、多様な制御モードをサポートします。

• 疎な関節位置制御（Sparse Joint Position Control）: 特定のフレームにおいて、特定の関節を物体に向ける。
• 密な関節軌道制御（Dense Joint Trajectory Control）: 関節を連続的な経路に沿って誘導する。
• 指示方向制御（Pointing Direction Control）: 四肢をターゲットの方向に向ける。

主な貢献

1. InteractGestureフレームワーク: 生成器のアーキテクチャや学習目的を変更することなく、学習済み共話ジェスチャー生成器に対してきめ細かな空間制御を可能にする、モデルに依存しない推論時手法。
2. プログレッシブ・チャンク・ガイダンス: ストリーミング生成とグローバルな空間的一貫性の間の衝突を解決する、新しいチャンク・ウィンドウ・サンプリング戦略。これにより、フルシーケンスのオフライン処理を必要とせずに、将来の制約が先行するモーションに影響を与えることを可能にする。
3. 包括的な評価: BEAT2データセットを用いた広範な評価により、ジェスチャーの品質を維持しながら、疎なポジショニング、密な軌道追従、および方向指示をサポートできる本手法の能力を実証した。

実験結果

本手法は、ベースとなる生成器としてGestureLSMを用い、BEAT2データセットで評価されました。主な知見は以下の通りです。

• 空間精度: プログレッシブ・チャンク・ガイダンスを用いたInteractGestureは、平均制御誤差 6.34 cm、および位置誤差 16.1%（誤差 > 10cm）を達成しました。これは以下の手法を大幅に上回っています。
  • 逆運動学（IK）: 生成的な正則化が欠如しているため、高い誤差（19.97 cm）と不自然なポーズ（FGD 1.043）を示す。
  • チャンク単位のControlNet: 隣接するコンテキストへのアクセスが制限されているため、高い誤差（46.16 cm）を示す。
  • 逐次型チャンク・ガイダンス: 過去のチャンクが固定されているため、中程度の誤差（11.70 cm）を示す。
• ジェスチャーの品質: 本手法は音声条件付きの自然さを維持しており、Fréchet Gesture Distance (FGD) 0.431、および Beat Consistency (BC) 0.762 を達成しており、これはグラウンドトゥルース（正解データ）に匹敵し、事後的な幾何学的フィッティング手法よりも優れています。
• アブレーション研究:
  • フル・ガイダンス: サンプリング・ガイダンス（デノイジング中）と事後リファインメント（post-refinement）を組み合わせることで、最良の結果が得られました。サンプリング・ガイダンスは粗い整合性を提供し、事後リファインメントは最終的な潜在推定値を微調整しました。
  • スケール感度: ストリーミング設定において、ガイダンススケールは0.5が空間精度とジェスチャーの自然さの最適なトレードオフを提供しました。
  • ストリーミング vs オフライン: オフラインの同期型チャンク・ガイダンスは最高の精度（誤差 4.67 cm）を達成しましたが、プログレッシブ・チャンク・ガイダンスは、同等の精度（誤差 6.34 cm）を維持しつつ、連続的なストリーミング実行を可能にしました。

意義

本論文は、InteractGestureが、高品質な音声同期ジェスチャー生成と、精密な空間インタラクションという実用的なニーズとの間の溝を埋めるものであると主張しています。連続的なストリーミング中のきめ細かなマルチジョイント3D空間制御を可能にすることで、本手法は、従来の制約のない生成モデルでは到達できなかった複雑なエンボディド・インタラクション（例：指示、物体操作）をサポートします。プログレッシブ・チャンク・ガイダンスメカニズムは、長期的な制御可能性と、オンライン・ストリーミング推論の制約を両立させるための重要な革新として強調されています。