DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

問題提起
スケーラブルで正確な人体動作追跡は、歩行病理の診断の近代化、スポーツパフォーマンスの最適化、および運動研究の進展において不可欠である。従来のマーカーベースのモーションキャプチャシステムは高い精度を提供するものの、専用のインフラ、専門の人員、そして時間のかかるキャリブレーションに依存しているため、研究室内に限定されている。マーカーレスの代替手法はスケーラビリティへの道筋を示すが、現在は精度と柔軟性の間のトレードオフに直面している。単一視点のメソッドはアクセシビリティが高いものの、奥行きの曖昧さや遮蔽（オクルージョン）の問題を抱えており、臨床的な有用性が制限されている。既存のマルチビュー・マーカーレスシステムは、追加のカメラによって精度が向上しない場合（例：OpenCap）、あるいはデプロイメントを妨げるような高密度のカメラアレイと独自のソフトウェアを必要とする場合（例：Theia3D）がある。さらに、現在のツールの多くは、健康な集団のデータで学習されていることが多いため、運動機能に制限のある個人に対する汎用性に欠けている。

手法
著者らは、カメラ構成（2台から10台まで）を問わず、カメラ間の空間キャリブレーションを必要とせずに、正確な3Dキネマティクスを提供するために設計されたオープンソースのフレームワークであるDeepGaitLabを提示する。本システムは、以下の3段階のワークフローで動作する。

1. 2D高密度ランドマーク検出： 標準的なコンピュータビジョン手法が疎な関節中心を検出するのに対し、DeepGaitLabは高密度の表面ランドマーク（57個の解剖学的点）を推定する。これはTransformerベースのネットワークによって実現される。マルチビューのラベル付きデータの不足を克服するため、モデルはBEDLAMデータセットから派生した大規模な合成データを用いて学習される。このデータセットは、AMASSデータセットから得られた271体の実在する人体が、ゲームエンジン内でフォトリアルなテクスチャと多様な衣服を纏って行う9.3時間の動作を利用している。ネットワークは転移学習戦略を採用しており、実世界の画像で学習された事前学習済み疎なキーポイント検出器（ViTPose）から重みを初期化し、その後、汎用性を確保するために合成データで微調整（ファインチューニング）を行う。
2. 3D三角測量とキャリブレーション： システムは、物理的なチェッカーボードによるキャリブレーションを用いた同期ビデオを使用するワークフローと、自動キャリブレーションモードの2つのワークフローをサポートする。後者は、被験者を動的なキャリブレーション対象として扱い、複数の視点から検出された高密度の解剖学的ランドマークを使用して、バンドル調整を介してカメラの外向きパラメータ（エクストリンシックス）を推定することで、物理的なキャリブレーションターゲットを不要にする。
3. バイオメカニカル・シミュレーション： 三角測量された3D仮想マーカーはOpenSimを用いて処理される。システムは、一般的な筋骨格モデルを被験者の人体計測学に合わせてスケールアップし、逆運動学（インバース・キネマティクス）および逆動力学（関節モーメント）を計算する。

主要な特徴は、環境特異的な微調整である。本フレームワークは、特定の研究所のカメラ幾何学や背景に合わせた合成学習データを生成できるため、新しい手動アノテーションを行うことなく、特定のサイト向けにモデルを微調整することが可能である。

主な貢献

• 合成データ駆動型学習： 大規模な合成データを活用することで、DeepGaitLabは実世界のマルチビューデータセットの労力のかかるアノテーションを回避しながら、高い精度と汎用性を達成している。
• 高密度ランドマーク表現： 疎な関節中心から高密度の表面ランドマークへと移行することで、セグメントの向きをより正確に解決するための幾何学的制約を提供し、疎なキーポイント手法に固有の曖昧さに対処している。
• 柔軟かつキャリブレーションフリーな運用： 本フレームワークは、わずか2台のカメラでも効果的に機能し、時間のかかる手動キャリブレーションという障壁を取り除く自動キャリブレーション機能を含んでいる。
• 病理に対する堅牢性： 本システムは、他のツールでは精度が低下しやすい運動機能に制限のある集団を含む、多様な集団にわたって一貫した精度を維持する。

結果
著者らは、健康な成人、前十字靭帯再建術（ACLR）からの回復期にある個人、脳卒中サバイバー、および軽度認知障害（MCI）を持つ個人の4つのグループにわたる80名を対象にDeepG配Labを評価した。

• 最先端技術との比較精度： 健康な成人において、DeepGaitLabは一貫してOpenCapおよびTheia3Dを上回った。2台のカメラ構成において、マーカーベースのリファレンスと比較して、OpenCap（5.9°）よりも有意に低い平方根平均二乗差（RMSD）を示した（4.2°）。
• カメラ数によるスケーラビリティ： カメラ数を2台から10台に増やしても精度がプラトーに達するOpenCapとは異なり、DeepGaitLabはカメラ密度が増加するにつれて単調な精度の向上を示した。
• 病理への汎用性： DeepGaitLabはACLR患者においても一貫した性能を維持し、健康なグループと障害のあるグループの間で精度に有意な差は見られなかった。対照的に、OpenCapとTheia3DはACLRグループにおいて有意に高いエラーを示した。DeepGaitLabは、他のツールが見逃した股関節の屈曲・伸展および内転・外転における臨床的に重要な左右差を正常に検出した。
• 時空間指標： MCIおよび脳卒中の患者において、DeepGaitLabは、わずか2台のカメラを使用しながら、8台のカメラを使用したTheia3Dと同等の歩幅の非対称性の一致度を達成した。
• 逆動力学： DeepGaitLabは、特に非矢状面運動において、2台のカメラ構成での関節モーメント推定における相対的RMSDがOpenCapよりも低かった。
• 機能の検証： 自動キャリブレーション機能は、手動のチェッカーボードキャリブレーションに匹敵する性能を達成した。環境特異的な微調整は、特に膝および足首のキネマティクスにおいて、地上歩行タスクに対してわずかながら統計的に有意な改善を提供した。

意義
本論文は、DeepGaitLabを、研究グレードのバイオメカニクスと臨床展開の間の溝を埋める実用的かつスケーラブルなプラットフォームとして位置づけている。消費者向けのRGBカメラと合成監督によって研究品質の動作解析が可能であることを示すことで、本フレームワークは定量的な歩行解析へのアクセスを民主化する。著者らは、マーカーベースのシステムが長らく「ゴールドスタンダード」であったが、視覚ベースの手法が（バイプレーンX線撮影のような新しい高精度なリファレンスが採用された際に）その限界に到達、あるいは超える可能性があることを示唆しており、臨床評価指標を再定義する可能性があるとしている。DeepGaitLabは、透明性の高いオープンソースの代替案を提供し、精度、スケーラビリティ、または柔軟性のトレードオフによって従来のツールが制限されてきた、クリニックや研究所における幅広い導入を可能にする。