Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

コンピュータビジョンの世界において、人間の動きを機械に理解させることは、ロボット工学、セキュリティ、および自動監視に深い影響を与える根本的な課題です。数十年にわたり、研究者たちはこのパズルを解くために主に2つの戦略に頼ってきました。第一の戦略は、色、照明、背景全体を観察し、何が起きているかを推測するものです。第二の戦略は、景色を完全に無視し、人間のスケルトン（骨格）、つまり関節や肢の特定の配置のみに焦力するものです。第一のアプローチは直感的ですが、背景が変わったり照明が悪かったりすると失敗することがよくあります。スケルトンを追跡する第二のアプローチは、こうした環境の変化に対してはるかに堅牢ですが、歴史的に別の問題、すなわち、教えるために膨大な量の人間による労働を必要とするという問題を抱えてきました。特定の動作、例えば人が転倒したり喧嘩したりすることをコンピュータに認識させるために、研究者たちは伝統的に、何千ものビデオのあらゆるフレームに対して、一人一人の周囲にボックスを描き、彼らが正確に何をしているのかをラベル付けするという、気の遠くなるような作業を行わなければなりませんでした。このプロセスは非常にコストと時間がかかるため、コンピュータに新しい動作を迅速に教える能力を制限しています。

ある研究チームが、この重い負担を回避し、コンピュータが事前に一度も例を見ることなく新しい動作を学習する方法を開発しました。彼らのアプローチは最近の研究で詳述されており、フレームごとの注釈ではなく、広範で一般的なビデオの説明から学習するシステムを導入しています。「この人物はこの瞬間にパンチをしている」と教えられる代わりに、このシステムは「ゴルフをしている」や「運転している」といった、活動全般を記述する単純なテキストラベルが付いたビデオ全体を用いて訓練されます。人間のスケルトンの視覚データと動作のテキスト記述を一致させる技術を用いることで、システムは動きの普遍的な言語を学習します。一度訓練されると、システムは見たことがない動作を行っている人々を含むビデオを見ても、誰が何をしているのかを正確に識別することができます。研究者たちは、この手法が大量の詳細なラベルを用いたシステムと同等の精度を実現するだけでなく、ビデオの品質が低い場合や背景が乱雑な場合でも、著しく高い耐性を持つことを実証しました。

この革新の中核は、著者たちが「スケルトン・ランゲージ・フィーチャー・プーリング・スイッチング（Skeleton-Language feature Pooling Switching）」と呼ぶ巧妙な情報の処理方法の転換にあります。まず部屋の会話の要約を聞いて部屋の全体的な雰囲気（ムード）を理解することを学び、次に特定の話し手を特定するように求められたときに、個々の声を聞くことに集中するシステムを想像してみてください。訓練フェーズでは、コンピュータはビデオを見て、クリップ内の全員のスケルトンデータを一つの要約として集めます。そして、その要約をビデオ全体に提供されたテキストラベルと比較します。これにより、システムは誰がいつ動いているのかを知る必要なく、動きのタイプと単語との間のつながりを学習できるのです。しかし、システムがテストフェーズに移行すると、ギアを切り替えます。ビデオ全体を見るのをやめ、個々の人物のスケルトンを個別に分離します。訓練フェーズにおいて動きのパターンと単語の関連性をすでに学習しているため、システムは単一の人物のスケルトンを見て、「これは『パンチ』というテキスト記述に合致するか？」と問いかけることができるのです。この切り替えにより、システムは、それらの特定の人物がラベル付けされたビデオを一度も見せられることなく、特定の人物に対する特定の動作をピンポイントで特定できるのです。

複数の人々が同時に動いている複雑なシーンでこれを機能させるために、研究者たちは、ビデオ全体に対して一つのラベルしか与えられていない場合に、コンピュータにどのようにして異なる人々を区別させるかという難しい問題を解決しなければなりませんでした。もしビデオの中で一人が走り、もう一人が歩いており、ラベルが単に「エクササイズ」であった場合、コンピュータはどの動きがどのラベルに属するのか混乱する可能性があります。これを解決するために、チームは「シーン混合判別対照学習（Scene-Mixed Discriminative Contrastive Learning）」と呼ばれる手法を導入しました。この手法は、訓練プロセス中に異なるビデオの断片を人工的に混ぜ合わせます。複数の動作が並行して起こる混沌とした環境を作り出すことで、システムはそれらの間の微妙な違いを学習することを強制されます。システムは、同じ混合された文脈の中に現れたとしても、走っている人の動きがジャンプしている人の動きとは異なるものであることを識別することを学びます。これにより、実際のビデオで複数の人々が現れたとき、システムは正しい動作を正しい個人に自信を持って割り当てることができます。

このアプローチの結果は、ビデオ内で動作を特定しラベル付けする能力を評価するために使用されるいくつかの標準的なデータセットに対してテストされました。24種類の異なる動作を含むデータセットにおいて、この新手法は34.1パーセントの精度を達成し、より洗練されていない訓練に依存する従来の弱教師あり学習手法を上回りました。さらに印象的なことに、転倒する人々を追跡するために特別に設計されたデータセットでテストした際、この新システムは73.3パーセントの精度に達し、時間の経過に伴う人物の位置を追跡する既存の手法を大幅に打ち破りました。また、研究者たちは、彼らのシステムがビデオの品質に対して非常に堅牢であることも発見しました。入力ビデオがぼやけていたりフレームが欠落していたりする場合、視覚的な外観に依存するシステムの性能は急激に低下しましたが、スケルトンベースのシステムは高い精度を維持しました。これは、シーンの外観ではなく身体の構造に焦点を当てることで、カメラが揺れていたり照明が暗かったりする現実世界の条件下でも、システムが信頼性高く機能できることを示唆しています。

もう一つの重要な発見は、システムの効率性でした。ビデオとテキストを理解できる多くの現代的な人工知能モデルは、数十億のパラメータと大規模なコンピューティングパワーを必要としますが、この新手法は約7000万個のパラメータを持つモデルで動作します。これほど小さいにもかかわらず、暴力的な行為のデータセットにおいて84.0パーセントの精度を達成し、より大きく複雑なモデルを凌駕しました。さらに、このシステムは非常に高速であり、毎秒約1900フレームの速度でビデオを処理します。これは、同様のタスクに使用される大規模言語モデルよりも約240倍高速です。高精度、低計算コスト、そして高価な再学習なしに新しい動作を学習できる能力というこの組み合わせは、膨大なラベル付け作業を行う人間のチームを必要とせずに、新しい状況に適応できるインテリジェントな監視システムやロボットシステムを配備するための実用的な道筋を示唆しています。

本研究は、高価なフレームごとのラベル付けから、より柔軟なテキスト誘導型の学習プロセスへと焦点を移すことで、高度に教師あり学習されたモデルにのみ許されていたレベルの洗練度をもって、人間の行動を理解するシステムを構築できることを結論付けています。研究者たちは、特定のイベントのあらゆるバリエーションを記憶させるのではなく、身体の動きと言語の関係を教えることによって、未知の動作を認識するようにコンピュータを訓練することが可能であることを示しました。このアプローチは、新しい動作認識システムを開発するために必要なコストと時間を削減するだけでなく、より堅牢で、現実世界の乱雑で予測不可能な性質に適応できるモデルを生み出します。技術が成熟するにつれ、これは手作業によるデータアノテーションという、長年この分野のボトルネックとなっていた禁止的なコストをかけることなく、安全性を監視し、スポーツ分析を支援し、あるいはロボットを導くための新しい世代のアプリケーションを可能にするでしょう。