Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

コンピュータビジョンの世界において、人間の動きを理解させることは、長らく計り知れない複雑さを伴うパズルであり続けてきました。数十年にわたり、研究者たちはビデオを観察し、それがテニスのサーブなのか、握手なのか、あるいは転倒なのかといった、人が何をしているのかを識別できるシステムの構築を試みてきました。初期の試みは、エンジニアが手動で動きの定義を行うハンドクラフトのルールに依存していましたが、これらのシステムはカメラの角度が変わったり背景が煩雑になったりすると、しばしば失敗しました。ディープラーニングの登場により、コンピュータが生のビデオデータから直接これらのパターンを学習できるようになり、分野は大きく転換しました。しかし、この新しいアプローチには大きな代償が伴いました。それは、人間が膨大な時間の映像を丹念に観察し、あらゆる動作にタグを付けるという、大量のラベル付きビデオを必要としたことです。このプロセスは時間がかかり、コストがかかり、専門家が不足している特殊なタスクにおいてはしばしば不可能なことでした。これを解決するために、科学者たちは自己教師あり学習へと目を向けました。これは、コンピュータが欠落した部分を予測しようとすることで、膨大な量のラベルなしビデオから学習し、人間の助けを借りずに動きの構造を自ら習得していく手法です。残された問いは、これらの自己学習システムが、ラベル付きデータが限られていることが多い現実世界において、本当に実用的なレベルにあるのか、それとも正しく機能するためには依然として人間の強力な監督を必要とするのか、という点です。

インドのシッダガンガ工科大学の研究者は、VideoMAEと呼ばれる特定の種類の自己教師ありモデルをテストすることで、この問いに答えるべく取り組みました。図書館にあるすべての本を読んではいるものの、一度もテストを受けたことがない学生を想像してみてください。研究者は、その学生にわずかな解答例だけを与えた場合、どれほど上手く試験問題に答えられるかを確認したいと考えました。研究では、すでに数千のラベルなしクリップからマスクされたセクションを再構成することでビデオの理解を深めた、事前学習済みのVideoMAEモデルを使用しました。彼らはこのモデルの「脳」を凍結（フリーズ）して新しい学習を行わないようにし、その上にシンプルで軽量な分類器を取り付けました。このセットアップにより、ラベル付きのトレーニングデータを、ごくわずかな割合からフルデータセットまで変化させて入力することで、モデルの生の動作理解力をテストすることができました。彼らは、人間の動作認識に関する2つの有名なベンチマーク、すなわち多様なスポーツや日常活動を含むUCF101と、複雑なカメラの動きや多様な背景を特徴とする映画や公開データベースからのより困難なコレクションであるHMDB51を用いて、このアプローチを検証しました。

結果は、これらの高度なモデルを使用するための明確かつ実用的な道筋を明らかにしました。研究者が利用可能なラベル付きデータのわずか10パーセントをシステムに与えたとき、それでも驚くべき精度で動作を識別することができました。UCF101データセットにおいて、モデルはわずかなラベル付き例だけで、88パーセント近い認識率を達成しました。ラベル付きデータを25パーセント、そして50パーセントへと増やしていくにつれ、精度は着実に上昇し、フルデータセットを使用したときには92パーセントを超えました。しかし、最も重要な発見は、モデルが少ないデータで機能したことだけでなく、データの追加による恩恵が急速に衰え始めたことでした。システムが半分のラベル付きトレーニングサンプルにアクセスした時点で、残りの半分を追加しても、パフォーマンスの向上はごくわずかでした。このことは、自己教師あり事前学習が、人間の動きを理解するために必要な視覚的および時間的な情報の大部分をすでに捉えており、単純な分類器が特定のタスクに適応するために行う作業が極めて少ないことを示唆しています。

より困難なHMDB51データセットをテストした際、物語は少し異なりますが、同様に示唆に富むものでした。これらのビデオはカメラが揺れていたり背景が複雑であったりと、より乱雑であったため、モデルはラベルの10パーセントを用いた時点での精度は約52パーセントと低めのスタートとなりました。しかし、ラベル付きデータを追加するにつれて、システムはより容易なデータセットよりも劇的に改善し、フル監督下では63パーセントを超える精度に達しました。これは、自己教師ありの基盤は強固であるものの、現実世界の環境が混沌として複雑であればあるほど、追加のラベル付き例の価値が高まることを示していました。それでもなお、システムはデータの半分だけで高いレベルのパフォーマンスを達成しており、自己学習モデルが、完全な手動ガイドを必要とせずに、大きな視覚的多様性に対処できる堅牢な動作表現を学習していることを証明しました。

最終スコアを超えて、研究者はシステムがどのように学習し、どの程度の資源を消費するかについても詳しく調査しました。彼らは、トレーニングプロセスがすべての監督レベルにおいて安定しており、予測可能であり、モデルが不安定な挙動を示すことなくスムーズに収束することを発見しました。計算能力の面では、このアプローチは非常に効率的でした。メインの部分が凍結され、上部の小さな層のみがトレーニングされるため、ラベル付きデータの量に関わらず、必要なコンピュータメモリ量はほぼ一定に保たれました。トレーニングにかかる時間は、コンピュータがより多くの例を処理しなければならないため、データが増えるにつれて増加しましたが、メモリのフットプリントが増大することはありませんでした。これは、この手法がスケーラブルであり、より大きなデータセットを扱うために高価なハードウェアのアップグレードを要求しないことを意味します。また、研究ではモデルが誤った動作についても調査し、エラーは主に視覚的に類似した動きに集中していることを見出しました。これは、人間の動作の微妙な差異を区別する際の自然な限界です。

結局のところ、この研究は、あらゆる新しいアプリケーションに対して、膨大な、完璧にラベル付けされたビデオデータセットを必要とする時代が終わりつつあることを示しています。研究者は、ラベルなしビデオで訓練されたモデルが、人間の動作を認識するための強力な基盤となり得ること、そして高いパフォーマンスを達成するために、わずかな割合の手動ラベル付け作業しか必要としないことを示しました。この知見は、工場の安全監視やスポーツ技術の分析といった多くの実用的なアプリケーションにおいて、組織がすべてのビデオフレームに注釈を付けるという法外なコストをかけることなく、これらの事前学習済みシステムに頼って正確な結果を得られることを示唆しています。最も困難なデータセットであっても追加のラベル付き例から恩恵を受けることはありますが、核となる能力はすでに自己教師ありモデルの中に存在しており、現実世界にインテリジェントなビデオ理解をもたらすための、実用的かつリソース効率の高いソリューションを提供しています。