Learning human joint torques from pixels

バスケットボール選手がダンクシュートを決める瞬間を、スローモーション映像で見ていると想像してみてください。肉眼では、純粋な運動の美しさにしか見えません。しかし、バイオメカニスト（生体力学者）にとって、その一瞬は目に見えない力が渦巻く混沌とした嵐です。選手の体内では、筋肉が小さなエンジンのように作動し、関節は凄まじい圧力の下でヒンジ（蝶番）として機能しています。科学者は、これらの関節を動かす回転力を「トルク」と呼びます。何十年もの間、どれほどのトルクが働いているのかを正確に突き止めることは、車の排気管を見るだけでエンジンの馬力を推測しようとするようなものでした。ギアが回っている様子は見えないため、肌のあちこちにセンサーを貼り付けたり、巨大なカメラを備えたラボに縛り付けたり、あるいはその人のふりをするロボットを作ったりする必要がありました。これらの手法は正確ですが、扱いにくく、高価であり、誰かが公園でサッカーをしたり、リビングルームでダンスをしたりしている最中に使うことは不可能です。大きな問いは常にこうでした。「単純なビデオを見て、動きの中に隠された物理学を即座に知ることはできるのだろうか？」

この論文は、「はい、できます」と言い、彼らはそれを証明するためのツールを作り上げました。研究者たちは、VIDと呼ばれる大規模な新しいデータセットを作成しました。これは、実在する人々が動いている63,369個の同期されたビデオフレームを集めた、巨大なライブラリのようなものです。しかし、これは単なる動画のコレクションではありません。すべてのフレームに「秘密のカンニングペーパー」が付随している「スーパーライブラリ」なのです。ビデオと並行して、関節がどれくらいの速さで動き、どれだけのトルクを発生させていたかという正確な数学的データが、高度な物理ソフトウェアを用いて算出されています。そして彼らは、VID-Networkと名付けられた特別なAIを訓練し、ビデオフレームを見ながら、その人の外見と体内の目に見えない力の関係を学習させました。結果は驚くべきものでした。AIは標準的なカメラのピクセルから直接、関節のトルクを予測することを学習し、従来の手法を40%近くも上回りました。それはまるで、AIがセンサーやロボットの助けを借りることなく、ただダンスを見ているだけで「筋肉の数学」を読み取る方法を学んだかのようです。

見えないエンジンルーム

なぜこれがこれほど大きな意味を持つのかを理解するために、問題を分解してみましょう。人間の動きは、骨、筋肉、そして重力による複雑なダンスです。ボールを蹴るとき、膝はただ曲がるだけではありません。重力と自身の体重に打ち勝つために、特定の量の回転力、すなわちトルクを生み出さなければなりません。かつて、科学者がその数値を知りたいと思った場合、その人を「ラボの檻」に入れる必要がありました。筋肉からの電気信号を読み取るために皮膚にセンサーをテープで貼り付け、地面を叩く強さを測定する特殊な床の上に人を立たせ、関節にある小さなマーカーを追跡するためにカメラで周囲を囲みました。それは、車のエンジンを分解し、すべてのボルトを測定し、テストコースで走らせることで、エンジンの仕組みを理解しようとするようなものです。それは機能しますが、高速道路を走行しながら行うことはできません。

他の科学者たちは、ビデオゲームとシミュレーションを用いた代替アプローチを試みました。彼らはコンピュータにデジタルロボットの動きを見せ、力を推測するように教えました。しかし、そこには落とし穴があります。ビデオゲームの中のロボットは、実在の人間と全く同じようには動きません。彼らは完璧すぎ、滑らかすぎ、実在の肉体と骨が持つ微細な揺らぎや不完全さが欠けています。それは、レーシングゲームをプレイすることだけで実際の車の運転を学ぼうとするようなものです。ルールは知っているかもしれませんが、路面がデコボコになったときにステアリングホイールがどのように感じられるかは分からないでしょう。

新しい「スーパー・ビューアー」

論文の著者たちは、ラボの檻やビデオゲームのロボットをスキップすることに決めました。代わりに、彼らは混沌とした現実世界と精密な物理の世界との間に架け橋を築きました。彼らの第一歩は、VIDデータセットの作成でした。彼らは既存の、実在する人々が動いているオープンソースのデータを取り込み、それらを同期させるという困難な作業を行いました。人がジャンプしているビデオと、物理計算の別々のスプレッドシートがあると想像してください。そして、ビデオの各フレームが計算の正確な一瞬と一致するように、注意深く並べ合わせました。彼らは、身長、体重、そして関節の正確なトルク値が完備された、実在の人間による63,000フレーム以上のデータを手に入れました。このデータセットは、AIが学習するための「教科書」となります。

次に、彼らは「スーパー・ビューアー」として設計されたスマートなコンピュータプログラム、VID-Networkを構築しました。このネットワークには、探偵チームのように連携して働く3つの主要なパーツがあります。

1. ポーズ探偵（Pose Detective）: まず、画像を見て、人物の関節が3次元空間のどこにあるかを特定します。これは、AIがビデオの上に棒人間のようなスケルトンを精神的に描いているようなものです。
2. マーカー・トラッカー（Marker Tracker）: 次に、たとえ目には見えなくても、特定の部位（筋肉が付着する場所など）がどこにあるかを予測します。これにより、AIは体の構造をより深く理解できます。
3. タイムトラベラー（Time Traveler）: 最後に、凍結された一枚の絵を見るだけではありません。コミック本をめくるように、一連のフレームを見ることによって、体が時間の経過とともにどのように動いているかを理解します。動きの過去、現在、未来をつなぎ合わせ、力を推測するために、特殊な「Transformer（トランスフォーマー）」型の脳（スマートなチャットボットを動かしているのと同じ技術）を使用します。

結果：見えないものを見る

この新しいAIをテストしたとき、結果はゲームチェンジャーとなりました。彼らは、VID-Networkを、現在利用可能な2つの最高の手法と比較しました。一つは物理学とセンサーを組み合わせた手法、もう一つはロボットのシミュレーションに依存する手法です。従来の手法は間違いを犯し、平均誤差は約2.93および2.92ユニット（ニュートンメートル毎キログラムで測定）でした。しかし、新しいVID-Networkは、その誤差を1.7612 N·m/kgまで下げました。これは39.81%の改善です。

論文は、この新しい手法がほぼすべての項目において優れていることを示しています。歩行、スクワット、あるいはジャンプダウンなど、どのような動作であっても、AIは従来の方法よりも正確に力を予測しました。特に「腰椎伸展（腰を反らす動き）」のようなトリッキーな動きにおいて、精度を大幅に向上させました。唯一、シミュレーションベースの手法がわずかに優位に立ったのは、特定の歩行パターンにおいてでしたが、これはトレーニングデータの中に歩行の例が非常に多かったため、シミュレーションがその特定の動作に対して非常に精通していたためと考えられます。しかし全体として、実画像によるアプローチが勝利しました。

なぜこれが重要なのか

この論文の最もエキサイティングな部分は、数値が良くなったことだけではありません。AIが実画像のみを使用してこれを学習したという点です。センサーも、力学プレートも、ロボットのシミュレーションも必要としませんでした。AIは、標準的なビデオの中に潜む目に見えない物理学を見る方法を学んだのです。著者らは、これが実在の人間のデータを用いて、このような「ビジョンベースの逆動力学（インバース・ダイナミクス）」のベンチマークを構築することに成功した初めての事例であると示唆しています。

これは、カメラを向けるだけで、アスリートの動きを分析したり、患者の回復過程を分析したり、あるいは日常生活での歩行を分析したりできる未来への扉を開きます。論文では、まだ課題があることも指摘されています（例えば、見たことがない人物に対してもAIが機能するかどうかや、混沌とした「野外環境」への対応など）。しかし、単純なビデオから人間の動きを読み取るという夢が、もはや空想ではないことを、彼らは証明しました。それは今、現実世界でテストされる準備ができている現実なのです。