Zero-Shot Skeleton-Based Action Anticipation

映画を見ていると想像してください。しかし、最初の数秒が経過した直後、画面が突然真っ暗になります。登場人物が膝を曲げ、重心を低くしています。その人物はフェンスを飛び越えようとしているのでしょうか、それともベンチに座ろうとしているのでしょうか？コンピュータサイエンスの世界では、これは「アクション・アンティシペーション（動作予測）」と呼ばれる課題です。これは、ロボットやAIが、人が動作を完了する前に、次に何をするかを推測する技術です。これは、即座に反応する必要がある安全ロボット、支援デバイス、自動運転車にとって極めて重要です。

通常、これらのコンピュータは、教科書を暗記する学生のように訓練されます。彼らは「ジャンプ」の例を何千回も、「座る」の例を何千回も見て、そのパターンを学習します。しかし、ロボットが、見たこともない新しい動作（例えば、特定のダンスのステップや、独特なボールの投げ方など）を目にしたとき、何が起こるでしょうか？従来のコンピュータは、その特定の動きを暗記していないため、フリーズしてしまいます。ここで「ゼロショット学習（Zero-Shot Learning）」が登場します。これは、容疑者の顔を見たことがなくても、その特徴（「赤い帽子を被り、杖を持っている」など）という記述に基づいて、その人物を特定できる探偵のようなものです。この論文は、これら2つのアイデア、つまり「ごくわずかな初期の予兆から動作を推測すること」と、「コンピュータが教わっていない動作に対して行うこと」という、非常に難しい組み合わせに取り組んでいます。

---

半分しか見えていないダンスの謎

この論文の中で、著者であるHongsong Wang氏とそのチームは、「ゼロショット・スケルトンベース・アクション・アンティシペーション（Zero-Shot Skeleton-Based Action Anticipation）」、略して「ZS-SkAA」と呼ぶ新しい課題を提示しています。音楽の最初の2音だけを聞いて、その曲を当てようとしている場面を想像してください。ただし、その曲はあなたが一度も聞いたことがない曲です。あなたは、メロディの「形」と、その曲の記述に頼って、正解を導き出さなければなりません。

研究者たちは、コンピュータが完全な動作を認識することには長けている一方で、動作の始まり（「初期段階」の部分）しか見えていない場合や、その動きが全く新しいものである場合に苦戦することに気づきました。既存の手法は、コンピュータがあらかじめ考えられるあらゆる動作を見ていることを前提としていますが、これは現実世界では非現実的です。これを解決するために、彼らは将来の研究のための出発点となる新しい「ベースライン」モデルを構築しました。これは、このパズルを解こうとする試みです。

モデルの思考プロセス：探偵の道具箱

著者たちは、3つの主要なテクニックを用いる超スマートな探偵のようなシステムを設計しました。

1. スケルトン・マップ (GCN): モデルは人物の顔や衣服を見るのではなく、3D関節（肘、膝、肩など）で作られた「棒人間」を見ます。彼らはグラフ畳み込みネットワーク (GCN) というツールを使用します。これは、あなたの肘がどのように肩とつながっているか、膝がどのように股関節と共に動くかを理解する「地図」のようなものです。それは、あなたの身体部位の「家系図」を知っています。
2. タイムマシン (Transformer): モデルは動作の最初の数秒間しか見ることができないため、動きが時間の経過とともにどのように流れるかを理解する必要があります。彼らは、チャットボットが言語を理解するのを助けるものと同じ技術であるTransformerを使用して、動きのシーケンスを観察します。これは、単語の順番が言葉そのものと同じくらい重要な物語を読むようなものです。
3. 記述のマッチング (相互情報量): これが「ゼロショット」のマジックです。モデルは単に棒人間を見るだけではありません。動作のテキストによる記述（「ジャンプしている」や「踊っている」など）も読み取ります。モデルは、視覚的な棒人間とテキストによる記述との間の「相互情報量」を最大化しようとします。犬のぼやけた写真と、「ふわふわしていて、吠えている動物」という記述を一致させようとする場面を想像してください。モデルは、特定の犬を見たことがなくても、動きの視覚的な形状と言葉の意味を一致させるように学習します。

これをさらに改善するために、モデルはスケルトンを同時に3つの異なる方法で観察します。

• 関節 (Joints): 身体部位がどこにあるか。
• 骨 (Bones): 部位をつなぐ線。
• 動き (Motion): 部位がどれくらいの速さで動いているか。
  これら3つの視点を融合することで、モデルは、わずかな時間しか手元にない場合でも、より豊かなイメージを得ることができます。

研究結果：早い段階の推測が向上する

チームは、数千の人間動作が記録された有名なデータセットであるNTU RGB+Dを用いてモデルをテストしました。彼らは動作を2つのグループに分けました。一つは、モデルがトレーニング中に「見た」もの（既知クラス）、もう一つは、モデルが一度も見なかったもの（未知クラス）です。

彼らは、ビデオの**10%から90%**を見たときに、モデルがどれだけうまく動作を推測できるかを測定しました。結果は以下の通りです。

• 初期の優位性: モデルが動作のまさに始まり（ビデオの10%から30%）を見たとき、3つの視点（関節、骨、動き）をすべて組み合わせることは大きな助けとなりました。これは、関節だけを見る場合に比べて精度を最大**4%**向上させました。これは、一瞬の隙を見て判断しなければならない時に、拡大鏡、懐中電灯、そして速度計を同時に持っているようなものです。
• 後半の変化: モデルがビデオのより多くの部分（40%から90%）を見るようになると、関節だけを見ることも、複雑な混合モデルと同等、あるいはそれ以上に良くなりました。これは、十分な情報があれば、余分な詳細は単なるノイズになり得ることを示唆しています。
• 競合への勝利: 以前の手法であるSMIEと比較して、彼らの新しいモデルは一貫して優れた推測を行いました。例えば、NTU RGB+D 60データセットにおいて、動作が10%しか見えていないとき、彼らのモデルは39.62%の確率で正解しましたが、旧手法は36.60%でした。より大きなNTU RGB+D 120データセットでは、開始時点での差はさらに大きく、彼らのモデルは**26.46%の精度を達成したのに対し、他の手法は23.38%**でした。

「アハ！体験」の瞬間

著者たちは、どの部分が探偵の道具箱の中で実際に重要な役割を果たしているかを確認するために、実験も行いました。

• 位置の重要性: もし「位置エンコーディング」（どの関節がどれであるか、およびフレームの順序をモデルに伝える部分）を取り除くと、モデルが混乱することを発見しました。それは、言葉がバラバラになった本を読もうとしているようなもので、モデルは腕が上がっているのか下がっているのかを判別できなくなりました。
• キーフレーム: 彼らはまた、最も重要な「キーフレーム」（動きの最も劇的な瞬間）を見つけようとする特別なモジュールについてもテストしました。この機能をオフにすると、モデルの性能が低下しました。これは、モデルが推測を行うために、動作の最もエキサイティングな部分に焦点を当てることを実際に学習していることを証明しています。

結論

この論文は、ロボットの予測問題を永遠に解決したと主張しているわけではありません。むしろ、他の人々がその上に構築していくための新しい遊び場（ベンチマーク）と、強力な出発点（ベースラインモデル）を設定したものです。身体構造に対するスマートな理解、鋭い時間の感覚、そして画像と言葉を巧みに一致させる方法を組み合わせることで、コンピュータは、見たことがない動作であっても、人間が次に何をするかを推測し始めることができることを示しています。

これらの結果は、予期せぬ事態が避けられない現実世界において、人間と安全に相互作用できるロボットを構築するための、有望な方向性を示唆しています。著者たちが述べているように、これは、真に適応能力のある機械を作るための、極めて重要な研究経路の始まりに過ぎません。