A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning

テクニカル・サマリー：ディープラーニングを用いた骨格ベースのリハビリテーション評価のための標準化されたベンチマーク

問題提起
人間の動作の自動評価は、患者の進捗やエクササイズの実行を客観的に評価できるため、リハビリテーションにおいて極めて重要である。しかし、リハビリテーションの動作評価は、一般的な人間活動認識とは根本的に異なる。活動認識が「何をしているか」（例：歩行か走行か）を分類するのに対し、リハビリテーションの評価は、特定の動作の「質」を評価するものであり、理想的な動きからの微細な逸脱を検出する必要がある。

ディープラーニングやビデオベースの骨格抽出技術が進歩しているにもかかわらず、この分野には標準化されたベンチマーク、一貫した評価プロトコル、および再現可能な手法が欠けている。既存の研究は、限られたデータセット（主にKIMOREやUI-PRMD）に依存しており、実験プロトコル（データ分割や指標の差異）が不一致であり、ソースコードが公開されないことも頻繁にある。このような統一されたフレームワークの欠如は、手法の客観的な比較、結果の再現、あるいは多様な集団やエクササイズタイプへの汎用性の評価を妨げている。

手法
これらのギャップに対処するため、著者らは以下の3つの柱を中心とした包括的なベンチマーク・フレームワークを提案している。

1. Rehab-Pile アーカイブ: 著者らは、既存の9つの公開リポジトリを集約し、「Rehab-Pile」と名付けられた統一アーカイブを作成した。このアーカイブは、各リポジトリ内の特定のエクササイズを独立したデータセットとして扱うもので、合計60のデータセットで構成されている。

   • 39の分類データセット: 二値分類および多クラス分類タスク（例：正しい実行と誤った実行、または特定のエラータイプの識別）をカバー。
   • 21の外部回帰データセット: 連続的なスコア予測（例：重症度レベルやパフォーマンススコア）をカバー。
   • データは、主にKinectセンサーやOpenPoseを介して取得されたビデオストリーム（RGBまたはRGB-D）から抽出された骨格シーケンス（関節座標）で構成されている。

2. 統一評価フレームワーク: 本研究では、厳格に標準化されたプロトコルの下、9つのディープラーニング・アーキテクチャを全60データセットに対して評価している。

   • アーキテクチャ: モデルは4つのカテゴリに分類される：畳み込みベース（FCN、H-Inception、LITEMV、DisjointCNN）、リカレントベース（MotionGRU、ConvLSTM）、自己注意（Self-Attention）ベース（VanTran、ConvTran）、およびグラフベース（STGCN）。
   • データ前処理: すべてのシーケンスは共通のフレーム数にリサンプリングされ、最小最大スケーリング（訓練データのみで計算）を用いて正規化される。また、STGCN（生の骨格シーケンスを使用）を除き、ほとんどのモデルでは多変量時系列形式（関節軸と次元軸のフラット化）に変換される。
   • 実験プロトコル: データ漏洩を防ぐため、被験者間分割（cross-subject split）を強制する。分割数は被験者数によって決定される（被験者が10人以上の場合は5分割、それ以外はLeave-one-subject-out）。
   • アンサンブル: 結果を安定させるため、各モデルを各フォールド内で異なるランダム初期化を用いて5回訓練し、予測値を平均化する。
   • 指標: 分類はAccuracy（正解率）とBalanced Accuracy（均衡正解率）を用いて評価される。回帰はMAE（平均絶対誤差）とRMSE（平方根平均二乗誤差）を用いる。効率性は、訓練/推論時間、パラメータ数、およびFLOPsを通じて測定される。

3. 統計分析: モデル間の性能差の統計的有意性（$p < 0.05$）を判断するために、多重比較行列（MCM）およびウィルコクソンの符号付順位検定を利用する。

主な結果
広範なベンチマークングにより、以下の知見が得られた。

• 回帰性能: LITEMV（Light Inception with boosTing tEchniques MultiVariate）が、外部回帰において統計的に有意に優れた性能を示すモデルとして浮上し、MAEとRMSEの両方において他の競合モデルを上回った。著者らは、この理由をLITEMVが深度分離畳み込み（DWSCs）と手作りのフィルタを使用することで、時間的および空間的な相関を効果的に捉えていることにあるとしている。ConvTran（畳み込み埋め込みを持つ自己注意モデル）が第2位となり、回帰タスクには長期的な依存関係が重要であることが示唆された。
• 分類性能: 分類タスクにおいて、LITEMVは再び最高の平均精度（75.49%）とBalanced Accuracyを達成したが、VanTran（Vanilla Transformer）との差は統計的に有意ではなかった（$p > 0.05$）。MotionGRUはBalanced Accuracyで第2位となり、不均衡なデータセットにおいて良好な性能を示した。特筆すべきは、STGCN（時空間グラフ畳み込みネットワーク）は回帰では妥当な性能を示したものの、分類では最下位となったことであり、これは現在の条件下ではGCNベースのアーキテクチャがリハビリテーションの分類タスクには適さない可能性を示唆している。
• 効率性と性能のトレードオフ: LITEMVは、トップクラスの性能を提供しながら、最も少ないパラメータ数とFLOPsを実現しており、全体として最良のトレードオフを示した。MotionGRUは推論速度が最も速く、ConvTranは訓練速度が最も速かった。VanTranは、シーケンス長に対する二次的なFLOPスケーリングと複数のアテンション層により、最も計算コストが高かった。
• モデルの特性: 結果は、単純なCNN（FCN）や標準的なLSTM（ConvLSTM）は、より特化したアーキテクチャに比べて性能が劣ることを示している。LITEMVとConvTranの成功は、局所的な時間パターン（畳み込みによる）とグローバルな依存関係（アテンションやリカレントメモリによる）の両方を捉えることの重要性を強調している。

意義と主張
本論文は、以下の点を通じて、自動リハビリテーション評価における将来の研究のための強固な基盤を確立することを主張している。

1. 分野の標準化: 60の多様なデータセットを持つ初の統一アーカイブ（Rehab-Pile）と再現可能な評価プロトコルを提供し、研究間での公平な比較を可能にする。
2. 最先端（SOTA）の特定: LITEMVが、特に回帰タスクにおいて、現在最も効果的かつ効率的な骨格ベースのリハビリテーション評価用アーキテクチャであることを実証し、同時に分類タスクにおけるTransformerベースのモデルの可能性を明らかにする。
3. 再現性の促進: 透明性を高め、信頼性が高く、アクセシブルでパーソナライズされたリハビリテーション・ソリューションの開発を加速させるために、集約されたすべてのデータセット、ソースコード、および詳細な実験結果をコミュニティに公開する。

著者らは、LITEMVが現在リードしているものの、分類タスクは依然として困難（平均精度 ~75%）であり、性能をさらに向上させるためのモデルアーキテクチャの継続的な探求が必要であることを強調している。