技術要約：WaveSync

問題提起

物理的なヒューマノイドロボットに対して表現力豊かな共起ジェスチャー（co-speech gestures）を生成することは、バーチャルアバターとは異なる独自の課題を提示します。バーチャルアバターは、結果を伴うことなく迅速かつ重なり合う動作を実行できますが、物理的なロボットは厳格な運動学的および動的な制約（例：モーターの速度制限や構造的完全性）の下で動作します。既存の手法は、以下の結合された問題に対処できていないことが多いです。

• ルールベースのシステムは柔軟性に欠け、ライブ・プロソディ（韻律）に適応できません。
• データ駆動型モデルは、学習データ内に強調的なジェスチャーが不足していることが多く、ハードウェアの限界に抵触する軌跡を生成する可能性があります。
• LLMベースのプランナーは、意味論的な接地（semantic grounding）を提供しますが、関節構成のハルシネーション（幻覚）を引き起こしたり、レイテンシを導入したりする可能性があります。
• 現在のロボット用同期手法は、通常、単純な期間のマッチング（音声やキーフレームの引き伸ばし）に依存しており、サブ・アトランス（発話内）の構造を無視しています。これにより、発話のストレスピークとジェスチャーのストローク最大値との間のズレが生じ、相互作用の知覚的な自然さが損なわれます。

手法：WaveSync フレームワーク

WaveSyncは、ジェスチャーのストロークを音声の強調と同期させつつ、ロボットの運動学的制約を厳格に遵守するように設計されたハイブリッド・フレームワークです。パイプラインは、以下の3つの連続したステージで構成されます。

1. LLMベースのセマンティック・スクリプティングとSIW合成

本システムは、生の対話テキストを「Semantic Importance Wave（SIW：意味的重要度波形）」として知られる連続的なエネルギー信号に変換します。

• 意味論的分解（Semantic Decomposition）: 大規模言語モデル（LLM）が対話応答を処理し、それをプロソディ・セグメントへと分解します。各単語に対し、LLMは意味的重要度の重み（$\alpha \in [0, 1]$）を割り当てます。ここで、値が1に近いものは強調されたキーワードを、0に近いものはフィラー（充填音）を表します。
• 時間的整合（Temporal Alignment）: これらの単語レベルの重みを、Whisperベースの強制アライメント・パイプラインからのタイムスタンプと融合させ、各ジェスチャーのピークとなる目標時刻（$t_c$）を決定します。
• 波形の構築（Wave Construction）: 離散的な単語と重みのペアを、ガウスカーネルを重ね合わせることで連続的な信号 $s(t)$ へと変換します。この波形は、時間の経過に伴うコミュニケーション上のエネルギーをエンコードする最適化ターゲットとして機能します。

2. 放物線プリミティブとDMPによる運動学的アクション・モデリング

モーション・ライブラリから取得されたジェスチャーは、運動学的実現可能性と表現力を確保するために適応されます。

• 放物線モデリング（Parabolic Modeling）: ジェスチャーのストロークは、準備、ストローク、および退避のフェーズを表すために、逆放物線（$P_j(t)$）としてモデル化されます。この数学的形態により、SIWのピークとの直接的な整合が可能になります。
• 動的運動プリミティブ（DMPs）: 選択されたジェスチャーはDMPとしてエンコードされます。これにより、以下が可能になります。
  • 空間的スケーリング: 目標位置は、意味的重要度や感情状態（例：興奮による動きの拡大や高速化）に基づいてスケーリングされます。
  • 様式的バリエーション: 強制関数に確率的なノイズを注入することで、反復的でテンプレートのような挙動を防ぎます。
  • 時間的適応: 時間スケーリング・パラメータ（$\tau$）を主要な変数として使用し、基礎となる運動学的特性を変えることなく、ジェスチャーの持続時間（$D(\tau)$）を伸縮させます。

3. ウェーブフロント最適化（Wavefront Optimization）

このステージでは、長時間のジェスチャーが近接した意味的ピークに割り当てられた際の時間的衝突を解決し、ハードウェアの限界を遵守しながら同期を実現します。これには、3段階の階層的ポリシーが用いられます。

• ピーク整合（Peak Alignment）: ジェスチャーのパルスとSIWの重なり積分を最大化し、ストロークのピークを音声の強調に一致させます。
• 実行調整（Execution Adjustment）: 重なりが発生した場合、後続のジェスチャーの持続時間を圧縮します。ハードウェアへの損傷を防ぐため、ハードな下限値（$D \geq \frac{2}{3}D_0$）が強制されます。
• 前方伝播（Forward Propagation）: 圧縮のみでは衝突を解決できない場合（すなわち、「クロスオーバー・ルール」が違反される場合）、システムはすべての後続のジェスチャーを時間軸上で前方にシフトさせます。蓄積された時間オフセットは、自然なセグメント間のポーズとしてTTS（音声合成）パイプラインに注入されます。これにより、音声のプロソディを維持しつつ、ロボットに運動学的に妥当なストロークを完了させるための十分な時間を提供します。モーション補間により、クリップされたジェスチャーの境界での滑らかな遷移が保証されます。

主な貢献

1. ハイブリッド・アーキテクチャ: LLMによる意味的意図をDMPを介してロボットの動作へと変換する新しいパイプラインであり、LLMから生の関節角を直接生成するリスクを効果的に回避します。
2. ウェーブフロント最適化: 音声のストレスとジェスチャーのストロークとの間で、単語レベルのピーク間の一致を実現しつつ、リアルタイムの運動学的および動的な制約を厳格に満たす同期モジュールです。
3. ハードウェアに安全なスケジューリング: モーションの衝突を、音声信号を歪ませたりハードウェアに損傷を与えたりすることなく、持続時間の圧縮と自然なポーズを通じて解決するメカニズムを導入しました。

実験結果

システムは、高精度なPyBulletシミュレーションにおいて、ヒューマノイドの上半身モデルを用い、5つの対話シナリオ（挨拶、カジュアル、記述、警告、思考）で評価されました。

• 客観的評価:
  • 同期精度: WaveSyncは平均Human-based Sync (HbS) スコア0.307を達成し、整合エラーを概ね1秒の知覚許容閾値未満に抑えました。シナリオS3（記述）が最も高い結果（HbS = 0.534）を示し、S2（カジュアル）はジェスチャーのピークが曖昧であったため、忠実度が低くなりました。
  • 軌跡の流暢さ: WaveSyncは一貫して低い関節ジャーク（躍度）を維持しました。対照的に、DMPを使用しないベースラインは140 m/s³を超える頻繁なスパイクを示し、軌跡整形のないキーフレーム補間が急激で不安全な動作を生むことを裏付けました。
• 主観的評価:
  • 20人の参加者を対象としたユーザー調査において、モーションの滑らかさ、時間的同期、意味的適切性、および全体的な自然さを評価しました。
  • WaveSyncは、3つのアブレーション・ベースライン（SIWなし、DMPなし、Wavefrontなし）を一貫して上回りました。
  • 最大の性能差は、時間的同期と全体的な自然さにおいて観察されました。研究により、意味的重み付け、DMP整形、またはウェーブフロント・スケジューリングのいずれか一つの要素を取り除くことで、ユーザー体験が著しく低下することが確認されました。

意義と主張

本論文は、WaveSyncが表現力豊かなジェスチャー生成と、ヒューマノイドロボットの物理的限界との間のギャップをうまく解決していると主張しています。意味的重要度を運動学的制約と統合することで、システムは表現力豊かで、意味に基づき、かつ運動学的に適合したジェスチャーを生成します。

著者らは、現在のシステムが固定されたアクション・ライブラリに依存しており、それが制約のない対話におけるカバー範囲を制限していると述べています。そのため、将来の研究として、自動ジェスチャー合成によるこの制限への対処を控えめに提示しており、WaveSyncを実際のロボットハードウェアでテストすることが次の重要なステップであることを強調しています。本研究は、自然で同期した非言語コミュニケーションを伴うソーシャルロボット・アプリケーションの展開に向けた基礎的な一歩として提示されています。