GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling

言葉だけでは不十分だと感じられる静かな会話のひととき、人間の身体は独自の言語を語ります。肩をすくめる動作、手の動き、あるいは姿勢の変化は、しばに語られている文章と同じくらいの重みを持ちます。これらの動きは無作為なものではありません。それは、感情や意味を伝えるために手、腕、そして胴体が統一されたリズムで動く、タイミングと協調性が密接に織り込まれたタペストリーなのです。何十年もの間、科学者やエンジニアはこの沈黙の対話をコンピュータに再現させようと試みてきました。デジタルアバターに、実在する人間が見せるような自然な流動性を与えることを目指したのです。その課題は常に二重でした。すなわち、真に人間らしく見える動きを作り出すこと、そしてそれをリアルタイムで実行できるほど速く行うことです。これまでの試みは、身体をバラバラのパーツの集合体として扱うことが多く、脚を考慮せずに腕を動かしたり、顔を考慮せずに手を動かしたりしたため、ジェスチャーがバラバラで機械的なものになってしまいました。さらに、これらの動きを生成するために必要な複雑な数学的計算は通常、ライブでのやり取りに活用するには時間がかかりすぎ、テクノロジーができることと人々が必要としていることの間に溝を残していました。

研究チームは現在、「GestureLSM」と呼ばれる新しいシステムによってこの溝を埋めました。これは、音声やテキストの台本から全身の人間らしいジェスチャーを、高品質かつリアルタイムの速度で生成するように設計されています。彼らの革新の核心は、人間の身体をどのように捉えるかという点にあります。システムは、身体を単一の塊、あるいは孤立した四肢のセットとして扱うのではなく、手と胴体の関係性といった、異なる部位間の相互作用を明示的にモデル化しています。ジェスチャーとは身体部位間の「対話」であるとコンピュータに教えることで、システムは一貫性のある自然な動きを生み出します。例えば、人が「完全に同意します」と言うとき、システムは指が指を差し、腕が広がり、胴体がわずかに動くといった、メッセージを補強するためにすべてが連動して働く様子を理解します。このアプローチにより、身体の各部位が互いに独立して動いているように見える、以前の手法に見られた不自然で協調性のない動きを回避することができます。

このレベルの協調性を実現するために、研究者たちは二つの異なる種類の関係性に注目するモデルを構築しました。第一に、ある特定の瞬間における身体全体を一度に捉え、左手の位置が右手や頭に対して適切であるかを保証します。次に、時間の経過とともに身体がどのように動くか、つまり一秒ごとの動きの流れを追跡します。この二重の焦点により、システムはポーズの構造的なバランスと、ジェスチャーの動的な進行の両方を学習することができます。その結果、微妙な前傾姿勢から力強い強調のための大きな動きに至るまで、話し言葉と完璧に同期した、人間の表現の繊細なニュアンスを捉えたデジタルパフォーマンスが可能になります。

スピードもまた、チームが乗り越えなければならない大きな障壁でした。既存のシステムの多くは、一つの動きを洗練させるために数十回の繰り返しの計算を必要とする手法に依存しており、そのプロセスは現実世界の利用には遅すぎます。新しいシステムは、動きの速度と方向を直接モデル化する異なる数学的手法を用いており、これにより、より少ないステップで最終的な結果に到達できます。しかし、研究者たちは、この高速な手法は理論的には有望であるものの、時には品質の低下を招いたり、依然として時間がかかりすぎたりすることを発見しました。これを解決するために、彼らはモーション生成のプロセスの中で「ショートカット」を学習できる技術を導入しました。長い経路に沿ってすべての小さなステップを踏む代わりに、システムは動きの目的地をより直接的に予測することを学びつつ、その過程における滑らかさと正確さを維持します。また、時間の経過に伴う学習方法を調整し、間違いを犯しやすい瞬間に注意を向けるようにしたことで、出力の品質をさらに向上させました。

この新しいアプローチの有効性は、記録された人間のジェスチャースetを用いた大規模なデータセットを用い、幅広い既存手法と比較検証されました。その結果、新しいシステムは、これまでのどの手法よりも、はるかに現実的で、音声との同期も優れたジェスチャーを生成することが示されました。速度に関しては、システムは一文分のジェスチャーを1秒足らずで生成することができ、他のテクノロジーが要する数秒あるいは数分という時間と比較して劇的な改善を見せました。この速度は、インタラクティブなデジタルアバターや、ユーザーに即座に反応できるバーチャルアシスタントのような、リアルタイムのアプリケーションをサポートするのに十分な速さです。研究者たちは人間を対象とした調査も実施し、参加者は一貫して、新しいシステムのジェスチャーは他の主要なテクノロジーによるものよりも自然で、滑らかで、タイミングが良いと評価しました。

この研究の意義は、単にデジタルキャラクターの見栄えを良くすることに留まりません。高品質でリアルタイムのジェスチャーをコンピュータが生成できるようにすることで、仮想環境におけるより没入感のある魅力的なインタラクションへの扉が開かれます。エンターテインメント、教育、あるいはコミュニケーションにおいて、人間と同じ自然な優雅さを持って動くことができるアバターを持つことは、私たちがデジタル空間を体験する方法を変えます。研究者たちは、このシステムを使用して3Dボディポーズを生成し、それを2Dビデオに投影することで、特定の物語や用途に合わせてカスタマイズ可能なアニメーションキャラクターを作成し、その可能性を実証しました。音声から流暢で表現力豊かな動きをリアルタイムで生成するこの能力は、人間とコンピュータの相互作用の分野における重要な進歩であり、デジタルな存在が言葉だけでなく、身体の持つ完全で自然な言語を通じて私たちとコミュニケーションをとる未来へと、私たちを近づけています。