Biomechanics-Guided Standard Action Modeling and Lightweight ST-GCN for Interpretable Phase-Based Action Quality Assessment

あなたは、友人がロボットにバスケットボールの教え方を教えている場面を見ていると想像してみてください。もしあなたが単にロボットに向かって「シュートを外した」と言うだけなら、ロボットは何も学びません。しかし、「肘が低すぎた、膝の曲げ方が足りなかった、そして離すタイミングが早すぎた」と言えば、ロボットは実際に自分の動きを修正することができます。これが、「動作品質評価（Action Quality Assessment: AQA）」と呼ばれる分野の核心です。長年、コンピュータは「何をしているか」（例えば「ジャンプしている」や「走っている」など）を認識することには長けてきましたが、「それがどれほど上手く行われたか」を説明することには苦戦してきました。従来の方法では、SF映画のセットのような、高価でかさばるカメラやセンサーが必要であり、一般的な学校の体育館で使用することは不可能です。研究者たちが解決しようとしている大きな問いは、「スマートフォンの単純なビデオや標準的なカメラを使って、スコアを出すだけでなく、どこで動きが間違ったのかを正確に説明できるのではないか？」ということです。

本論文では、ビデオのみを使用して立ち幅跳び（爆発的なパワーを測る古典的なテスト）を採点するために設計された、巧妙な新システムを紹介しています。首都正規大学のチームが率いる研究者たちは、ビデオからその動きを微細な機械的要素へと分解するデジタル「コーチ」を構築しました。彼らのシステムは、単に跳躍した最終的な距離を見るのではなく、バイオメカニクスの探偵のようにアスリートを観察します。彼らは専門知識に基づいた「標準テンプレート」を作成しました。これは、理想的なジャンプの「完璧な幽霊」として機能します。そして、この「完璧な幽霊」と実際の選手によるビデオを比較するために、軽量なAIモデル（ST-GCNと呼ばれる一種の脳）を使用しました。その結果は、単なる数字ではありません。「踏み切り角度が低すぎました」や「着地の際に膝の曲げが足りませんでした」といった詳細な成績表となるのです。チームはこれを200人を対象にテストし、彼らのAIが人間の専門家と同レベルの精度でジャンプを採点できることを見出しました。しかも、計算能力はごくわずかで済むため、学校の一般的なコンピュータでも実行可能です。

デジタルコーチと完璧な幽利

立ち幅跳びを、5つの明確な動きを持つ複雑なダンスと考えてみてください：準備、屈伸、上方への爆発、空中での飛行、そして安全な着地です。かつて、コーチがこれを採点しようとする場合、ビデオをフレームごとに確認し、角度を推測し、メモを取らなければなりませんでした。それは時間がかかり、コーチによって意見が分かれることもあります。

論文の著者たちは、決して疲れることなく、自分自身と意見が食い違うこともない「デジタルコーチ」を作ることに決めました。まず、コンピュータに「見ること」を教える必要がありました。彼らは200人の参加者（男性100人、女性100人）のジャンプ動画を取り込み、MMPoseというツールを使用して、ビデオ内の人物の「スケルトン（骨格）」を見つけ出しました。これは、ビデオのあらゆるフレームにおいて、人物の上に棒人間を描いているようなものです。次に、VideoPose3Dという別のツールを使用して、その棒人間を3D空間へと引き上げました。これにより、コンピュータは単なる平面的な画像ではなく、奥行きを理解できるようになります。

しかし、骨格が見えるだけでは不十分です。コンピュータは何が良いジャンプであるかを知る必要があります。そこで、チームは「標準アクション・テンプレート」を構築しました。これを「完璧な幽霊」のジャンプだと想像してください。この幽霊には体はありませんが、一連のルールを持っています。「膝は80〜100度に曲がるべきである」「踏み切り角度は19度から40度の間である」「着地はソフトである」といった具合です。この幽霊は、科学的研究と実際のスポーツ専門家の知識を組み合わせて作成されました。

軽量な脳

ここで主役が登場します。軽量型ST-GCNです。AIの世界において「GCN」とはグラフ畳み込みネットワーク（Graph Convolutional Network）を意味し、これはコンピュータの脳が、体の部位がどのように繋がっているか（例えば、腰が動くと膝がどう動くかなど）を理解する、非常に高度な仕組みのことです。通常、これらの脳は巨大で重く、動作させるために強力なスーパーコンピュータを必要とします。

研究者たちは、普通のコンピュータ、あるいは学校の体育館にあるノートパソコンでも動作するものを作りたいと考えました。そこで、彼らは「軽量版」を構築しました。これは、巨大で複雑な図書館を、たった一つの完璧に整理されたノートに凝縮するようなものです。彼らは不要な部分を削ぎ落とし、複雑なアテンション・メカニズム（一度に多くのものを見ようとする脳のようなもの）を取り除き、構造を簡素化しました。

結果として、このモデルは驚くほど小型です。パラメータ数（脳の「記憶」）はわずか0.48百万であり、計算能力は2.7 GFLOPsしか必要としません。比較のために言えば、標準的な重厚なバージョンの脳は3.10百万のパラメータと16.4 GFLOPsを必要とします。この新しいモデルは、約84.5%小さく、より高速です。高性能なコンピュータでは、わずか18.2ミリ秒で、標準的なCPUでも64.3ミリ秒でジャンプを分析できます。これは、選手がまだ空中にいる間にアドバイスを叫ぶコーチのように、ほぼ即座にフィードバックを与えるのに十分な速さです。

どのように採点し、説明するか

ここからが魔法の部分です。システムはジャンプ全体を見て推測するのではなく、ジャンプを3つの主要な採点ゾーンに分解します：踏み切り（Take-off）、飛行（Flight）、そして**着地（Landing）**です。

1. 踏み切りゾーン： これには、準備、屈伸、および爆発的な動きが含まれます。AIは、アスリートが十分に膝を曲げたか、腕の振りが正しかったかをチェックします。
2. 飛行ゾーン： これは空中での時間です。AIは、体が安定しているか、脚が適切に後ろに引かれているかをチェックします。
3. 着地ゾーン： これは衝撃の瞬間です。AIは、衝撃を和らげるために膝が曲がったか、バランスが保たれているかをチェックします。

AIは各ゾーンに対してスコアを出し、それらを組み合わせて合計スコアを算出します。しかし、最も優れた点はフィードバックです。もし「踏み切り」のスコアが低い場合、システムは「完璧な幽霊」のテンプレートを参照し、「何が違っていたのか？」を問いかけます。

• 膝が十分に曲がらなかった場合 → フィードバック：「踏み込み不足」
• ジャンプが平坦すぎた場合 → フィードバック：「低い踏み切り角度」
• 腕が動かなかった場合 → フィードバック：「腕の振りが不十分」

結果：それは機能するか？

チームは、このデジタルコーチを3人の人間の専門家と比較検証しました。結果は目覚ましいものでした。AIのスコアは、人間の専門家と0.94（1.0が完全な一致）の相関関係を示しました。誤差の面では、人間の専門家が0.33ポイント、他のコンピュータ手法が0.26ポイントであったのに対し、AIは平均してわずか0.12ポイント（RMSE）の差しかありませんでした。

本論文は、この手法が特に踏み切りフェーズにおいて最も一貫しており、優れていることを示唆しています。飛行および着地フェーズについては、体の動きが非常に速く、カメラが瞬間的に関節を見失うことがあるため、完璧に判断するのがわずかに難しいようです。しかし、こうした小さなつまずきがあったとしても、システムは従来のコンピュータ手法よりも正確であり、人間の専門家と同等の性能を発揮しました。

また、研究者たちは、この「分割フェーズ方式（3つの部分を個別に採点する手法）」を、ジャンプ全体を一度に見て採点する手法と比較しました。結果、分割フェーズ方式が圧倒的に勝利しました。これは、数学のテストを採点する際、最終的な答えだけを見るのではなく、足し算、掛け算、そして最終回答をそれぞれ個別にチェックするようなものです。このアプローチにより、AIは、ジャンプ全体の結果だけを見ていた場合には隠れてしまうような小さなミスを特定することができたのです。

まとめ

本論文は、スポーツの動きに対してプロレベルのフィードバックを得るために、高価なラボは必要ないということを示唆しています。「完璧な幽霊」のテンプレートと、小さく高速なAIの脳を組み合わせることで、単純なビデオを詳細なコーチング・セッションに変えることができるのです。このシステムは高速で、正確であり、そして最も重要なことに、**解釈可能（interpretable）**です。つまり、単にスコアを出すだけでなく、なぜそのスコアになったのかを教えてくれるのです。

著者らは、これは人間のコーチやハイテクセンサーを備えた研究所に取って代わるものではないという点に注意を払っています。これは、リソースが限られている学校や草の根レベルのトレーニングのためのツールです。また、今回のテストグループは主に若年成人であったため、子供や高齢のアスリートに対してもさらなるテストが必要であることも認めています。しかし現時点では、彼らは、少しの巧妙なエンジニアリングがあれば、コンピュータがジャンプを見守り、物理学を理解し、あなたにハイタッチを送ったり、あるいは「もう一度やってみて」と優しく促したりできることを証明しました。