Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

仮想キャラクターがあなたに話しかけている場面を想像してみてください。会話をリアルに感じさせるためには、キャラクターはただ口を動かすだけでは不十分です。肩が動き、手がジェスチャーを交え、声のリズムや感情に合わせて姿勢が変化しなければなりません。これが「共発話モーション生成（co-speech motion generation）」の目標です。つまり、コンピュータに、話された言葉と自然に同期する全身の動きを作り出す方法を教えることです。長年、研究者たちはデジタルスケルトン（骨格）を構築することでこの問題を解決しようとしてきました。そこでは、手の動きは、肩、肘、手首の回転を連鎖的に足し合わせることで計算されます。この手法は骨のつながり方を模倣していますが、隠れた欠陥があります。長い列の人々がメッセージを伝言ゲームのように回していく際、小さな間違いが最終的なメッセージを全く別のものにしてしまうのと同様に、肩の回転の計算における微細な誤差は、腕の下へと進むにつれてどんどん大きくなっていくのです。コンピュータが指先の位置を計算する頃には、誤差が膨大になり、手がねじれたり、壊れたり、あるいはあり得ない場所に浮いているように見えてしまいます。

アリババ・グループと南洋理工大学の研究チームは、この問題に対する全く新しい解決策を提案し、この「連鎖反応方式」から完全に脱却しました。彼らの新しいシステムである「GlobalDiff」は、各関節が前の関節に対してどのように回転するかを計算するのではなく、部屋にあるすべての関節の最終的な方向を同時に決定します。これは、肘に対して肩がどこを向くべきかを教えるのではなく、すべての関節に対して、世界の中でそれぞれがどの方向を指すべきかを直接指示するようなものです。このアプローチによって、小さな誤差が積み重なることが止まり、長く表現豊かな会話の間でも、手足が安定し正確に保たれます。しかし、すべての関節に完全な自由を与えると、新たなリスクが生じます。キャラクターが人間の肉体では物理的に不可能な形に手足をねじってしまう可能性があるのです。これを修正するために、研究者たちは、骨の長さが適切であること、肢体の間の角度が理にかなっていること、そして動きが時間の経過とともにスムーズに流れることを確認する、ガイドのような役割を果たす「目に見えないルール」を追加しました。

研究者たちは、1,700以上の対話シーケンスを含む大規模な録音コレクションを用いて、この新システムをテストしました。その結果、関節のグローバルな方向を直接予測することで、コンピュータは従来の手法よりもはるかに安定した動きを生成できることが分かりました。テストにおいて、この新システムは既存の最高峰のツールと比較して、最終的なモーションの誤差を46パーセント削減しました。結果を詳しく観察すると、その差は明白でした。古いシステムでは、指が裏返ったように見えたり、手が体から離れて漂ってしまうことがよくありました。しかし、この新メソッドでは、手は自然な位置に留まり、ジェスチャーは話し手の声と精密に一致し、人間らしい感覚を与えます。また、このシステムは異なる話し手にも対応できるよう学習しており、声が男性のものであろうと、女性のものであろうと、あるいはネイティブスピーカーであろうとアクセントのある人であろうと、高い品質を維持しました。

動きが単に安定しているだけでなく、物理的に可能であることを確実にするために、チームは3つの層のチェック機能を導入しました。第一に、各関節の周囲に仮想のマーカーを配置して回転を精密に制御し、手足が不自然にねじれるのを防ぎました。第二に、すべての骨の間の角度を測定して骨格が維持されるようにし、キャラクターが不可能な方向に背骨や手足を曲げるのを防ぎました。第三に、動きのタイミングを分析して、ジェスチャーが話しのリズムに合わせて流れるようにし、ぎこちない動きや不安定な動きを回避しました。これらのチェックを一つずつ取り除いていったところ、動きの品質が著しく低下したことから、説得力のある結果を生み出すためにはこれら3つの層すべてが必要であることが証明されました。

この研究は、長年この分野を悩ませてきた誤差の蓄積を回避しながら、仮想キャラクターのための現実的な長時間ボディランゲージを生成することが可能であることを示しています。身体全体を、厳格な物理的ルールに導かれた独立したパーツの集合体として扱うことで、研究者たちは滑らかで解剖学的に正しく、かつ表現力豊かなモーションを生み出すシステムを作り上げました。この成果は、バーチャルアバターの未来が、失敗しやすい複雑な計算の連鎖に頼るのではなく、身体の各部位が空間内でどのように動くべきかという、直接的かつグローバルな理解に基づいている可能性を示唆しています。その結果、デジタルな存在は、人間と機械の間のシームレスな相互作用に近づくような、自然さを持って話し、動くことができるようになるのです。