StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

ロボットに、音楽に合わせて踊る方法を教えようとしていると想像してみてください。ロボットは音楽に合わせて腕や体を完璧に動かす必要があります。しかし、ここには一つ問題があります。音楽はリアルタイムで、1秒ごとにストリーミングされてくるのです。ロボットは曲全体が終わるのを待ってから動き始めることはできません。ビートが落ちるたびに、クリップごとに即座に反応しなければなりません。これが、デジタルアバターに自然な動きをさせるためのコンピュータサイエンスの分野である「共起ジェスチャー生成（co-speech gesture generation）」の世界です。核心となる課題は「リアルタイム・ストリーミング」です。システムは、その人が次に何を話し、何をするかを知ることなく、即座に動きを生成しなければなりません。

長い間、これらのシステムは、暗闇の中で足元を確認しながら歩く目隠しをしたハイカーのように機能してきました。彼らは直前の数秒間の動き（過去）を見て、現在の音に基づいて次に行くべき場所を推測します。問題は、あらゆる推測には微小で目に見えない誤差が含まれていることです。1,000歩踏み出せば、それらの小さな誤差は積み重なっていきます。ハイカーは徐々に道から外れ、トレイルではなく沼地へと迷い込んでしまいます。デジタル世界では、これを「ドリフト（漂流）」と呼びます。ロボットの動きが、わずか1分ほどで奇妙になったり、不自然になったり、現実から乖離したりしてしまう現象です。これから読む論文は、まさにこの問題に取り組んでいます。問いはこうです。「もし足元の地面しか見ることができないとしたら、どうすればロボットを正しい経路に留めておくことができるのか？」

---

問題点：漂流するダンサー

この論文の著者たちは、既存の「話すロボット」を作る手法が、根本的に「オープンループ」であることに気づきました。あなたが友人と「伝言ゲーム」をしている場面を想像してください。ただし、文章を囁くのではなく、ダンスの動きを囁いています。あなたは最初の動きを伝え、友人はそれを実行し、次の動きをあなたに伝えます。もし最初の動きで小さなミスをすると、友人もそのミスをコピーし、さらに自分自身の小さなエラーを加えます。曲が終わる頃には、ダンスは最初とは全く異なるものになってしまいます。

AIの世界では、これらの動きの「クリップ」は一つずつ順番に生成されます。AIは前のクリップの最後の数フレームを見て、「よし、これに基づいて次の60フレームを生成しよう」と判断します。これを何度も繰り返します。論文は、現代のAIが短くて説得力のあるクリップを作ることは非常に得意であるものの、自分がまだ正しい軌道に乗っているかどうかを確認する方法を持っていないことを指摘しています。それは、背後の道路しか映っていない壊れたGPSを搭載して車を運転しているようなものです。あなたはゆっくりとフィールドへと逸脱しているかもしれませんが、泥沼にはまってしまうまでそれに気づくことはありません。この「ドリフト」によって、特に数分間の会話のような長い時間において、腕が浮いてしまったり、体がリズムを失ったりするなど、動きが不自然になります。

解決策：「デスティネーション・アンカー（目的地の錨）」

StreamTalkの背後にある大きなアイデアは、AIに盲目的な推測をさせるのをやめ、代わりに「デスティネーション・アンカー（目的地の錨）」を与えることです。著者たちは、問題はAIが優れた動きを作れないことではなく、クリップの終了時に「どこにいるべきか」を知らないことにあると気づきました。

これを解決するために、彼らはStreamTalkと呼ばれる、クローズドループのフィードバック・システムのように機能する仕組みを構築しました。その仕組みは以下のステップで行われます。

1. 下書き: まず、AIは従来のメソッドと同様に、動きの「粗い（coarse）」クリップを生成します。
2. 現実のチェック: このクリップを世界に送り出す前に、システムは一時停止します。生成されたクリップのまさに最後のポーズを見て、巨大な「優れたポーズのライブラリ」（その特定の話し手の実際の人間らしい動きのデータベース）に対して、「ねえ、これに最も似ている自然なポーズは何？」と問いかけます。
3. アンカー: システムはそのライブラリから、最も一致するポーズを掴み取ります。これがデスティネーション・アンカーです。これは船にとっての灯台のようなものです。
4. 洗練: AIは次に、そのアンカーをガイドとして使い、粗い下書きを取り、クリップの終わりが正確に意図した場所に到達するように微調整を行います。それは、粗い石塊を彫り上げた後に、精密なテンプレートを使って細部を滑らかにする彫刻家のようです。

このプロセスはすべてのクリップの最後に行われ、システムが常に自らを修正する「クローズドループ」を作り出し、小さなエラーが災厄へと積み重なるのを防ぎます。

ヒントから学ぶようにAIを教える

一つ難しい点がありました。AIがそもそもこれらの「アンカー」を受け入れられるように訓練する必要があったことです。もし学生を、常に答え合わせができる状態で訓練してしまったら、ヒントだけを与えられた時にパニックに陥るでしょう。そこで著者たちは、Stochastic Anchor Masking (SAM) と呼ばれる訓練テクニックを考案しました。

訓練中、彼らは完璧なモーションビデオを取り、ほとんどのフレームをランダムに隠し（マスクし）、最初と、終わりの単一の「アンカー」フレームだけを残します。そして、AIに対し、その2つの点だけに基づいて欠落している中間部分を特定することを強制しました。これにより、AIは「インペイント（描き込み）」、つまり疎な手がかりだけを使って動きの隙間を埋める方法を学びました。こうすることで、実際のシステムが動作し、データベースから「デスティネーション・アンカー」を使用する際、AIはすでにその単一の点を用いて全体の動きを導くエキスパートとなっているのです。

結果：スムーズでリアルタイムなダンス

著者たちは、25人の異なるスピーカーによる高品質な3Dモーションデータを含むBEAT2というデータセットを用いて、StreamTalkのテストを行いました。彼らは自分たちの手法を既存の最高水準のシステムと比較しました。

• ドリフトの阻止: 結果は、他の手法がしばらくすると奇妙に見えたり自然な動きから逸脱したりし始めたのに対し、StreamTalkは安定していることを示しました。論文ではこれを Fréchet Gesture Distance (FGD) という指標で測定しており、StreamTalkは最高のスコアを記録しました。これは、その動きが統計的に実際の人間に近いことを意味します。
• リアルタイムの速度: 複雑なAIにおける大きな懸念は速度です。著者たちは、StreamTalkが標準的なハイエンドグラフィックスカード（NVIDIA V100）上で 76 FPS（フレーム毎秒） で動作することを示しました。これはリアルタイムアプリケーションに十分な速度であり、ロボットがラグなしで話し、踊ることができることを意味します。
• アンカーは1つで十分: 論文では、より多くの「アンカー（灯台）」を使うことが役立つかどうかをテストしました。驚くべきことに、クリップの最後にある1つのアンカーを使用するのが最適であるという結果が出ました。アンカーを増やすと、動きがガタつき、かえって悪化しました。AIには、グリッド状の修正ではなく、明確な一つの方向性さえあれば十分なのです。

なぜ重要なのか

StreamTalkは単なる小さな改良ではありません。それは、ストリーミング・モーションに対する根本的な考え方を変えるものです。エラーが蓄積していくオープンループにする代わりに、動きを現実に引き戻す定期的な「チェックイン」を導入しています。この論文は、スマートな検索システム（適切なアンカーを見つけること）と特化した訓練手法（疎なヒントから学ぶこと）を組み合わせることで、数分間にわたって自然に話し、動き続けるデジタルアバターを作成できることを証明しています。

著者たちは、このアプローチが、ジェスチャー生成における長年の課題であった分布ドリフト（distributional drift）を効果的に解決し、よりリアルなバーチャルプレゼンター、テレプレゼンス・アバター、そして私たちと一歩一歩、決して迷うことなく歩調を合わせられるインタラクティブなゲームキャラクターへの道を切り開くものであると結論付けています。