A Point Cloud Transformer for Remote Monitoring and Automated Assessment of Physical Rehabilitation Exercises

技術要約：遠隔モニタリングおよび身体リハビリテーション運動の自動評価のためのポイントクラウド・トランスフォーマー

問題提起
身体リハビリテーションのエクササイズは、パーキンソン病や腰痛などの疾患を持つ患者の機能回復において極めて重要です。しかし、効果的なリハビリには正確な遂行が必要ですが、専門家の監督なしにこれを維持することは困難です。現在、患者の約90%が専門家の監視なしに自宅でエクササイズを行っており、その結果、運動の質の低下、潜在的な負傷、およびモチベーションの欠如を招いています。従来の臨床評価は主観的な視覚検査に依存しており、既存の自動化ソリューションには以下のような重大な限界があります：

• 手作業による特徴量設計（Hand-crafted features）: 専門家による手動のエンジニアリングに依存しており、バイアスが生じやすく、時間がかかります。
• 畳み込みニューラルネットワーク（CNN）: スケルトルデータにおける重要な長距離の時空間情報を捉えることに失敗することがよくあります。
• 時空間グラフ畳み込みネットワーク（ST-GCN）: 事前に定義されたグラフを利用しており、それらはフレーム間でトポロジーが類似しているため、意味情報（骨の長さや方向など）をマッピングしたり、異なるアクションクラスに適応したりすることができません。
• データの冗長性: 生のセンサーデータ（Kinectなど）は、空間的に冗長であったり、ノイズが含まれていたり、不完全な点を含んでいたりすることが多く、過学習を起こしやすい過度に大きな入力空間を生み出します。

手法
著者らは、スケルトルの関節座標をポイントクラウドとして扱う、軽量でエンドツーエンドのフレームワークを提案しており、軸方向アテンション（Axial Attention）を備えた曲線ベースのポイントクラウド・トランスフォーマーを利用しています。この手法は、主に3つの段階で構成されています。

1. 曲線ベースのポイント集約（Curve-Based Point Aggregation）:

   • データの冗長性に対処し、特徴表現を強化するために、モデルは曲線ベースの集約技術（元々はCurveNetに由来するもの）を適応させています。
   • 曲線のグルーピング（Curve Grouping）: 開始点がTop-K選択法によって選択されます。「ウォーク（歩行）」ポリシーにより、学習された状態記述子とループを回避するためのGumbel-softmax確率に基づき、隣接する点を曲線へとグループ化します。
   • 曲線の集約（Curve Aggregation）: モデルは、アテンティブ・プーリングを用いて曲線間の関係および曲線内の関係を学習します。これにより、曲線記述子とマッピングが生成され、元のポイントクラウドと融合されます。このプロセスは、位置と幾何学に基づいたポイント情報を拡張し、同一平面上の点であっても区別可能な特徴表現を保証します。

2. 軸方向自己アテンション・トランスフォーマー（Axial Self-Attention Transformer）:

   • 集約されたポイントクラウドデータは、トランスフォーマー・アーキテクチャに投入されます。
   • 計算効率を向上させ（多次元データに対して$O(N^2)$の複雑さを管理可能な規模に削減）、モデルは**軸方向自己アテンション（Axial Self-Attention）**を採用しています。
   • 入力テンソルは、特定の軸（例：時間と空間）に沿って独立してアテンションを計算するように再配置されます。これにより、標準的な自己アテンションの重い計算コストをかけることなく、時空間的な依存関係を効率的に捉え、特定の関節の相対的な重要性を特定することが可能になります。

3. 回帰とスコアリング（Regression and Scoring）:

   • システムは、患者のパフォーマンスと専門家の実行との間の運動学的類似性を表す定量的な評価スコア（0から1の間で正規化）を予測する回帰タスクとして訓練されます。
   • 本フレームワークは、時間的な整列やセグメンテーションを必要とせずに、可変長の入力シーケンスをサポートします。

主な貢献

• 幾何学を考慮した表現: スケルトルの関節ポイントクラウドに対して、最先端の曲線ベースのポイント集約戦略を適応させ、構造的および運動学的な情報を保持しました。
• 効率的なアテンション・メカニズム: 軸方向自己アテンションを統合することで、時空間的な依存関係をモデル化し、関節レベルの関連性を効率的に推定し、モデルを計算量的に軽量にしました。
• エンドツーエンドの柔軟性: 手動の特徴量エンジニアリング、時間的な整列、または固定長シーケンスの要件なしに動作します。
• 解釈可能性: システムは、統合勾配（Integrated Gradients）を利用して関節レベルの寄与度を可視化し、どの特定の身体部位が品質スコアに影響を与えているかをハイライトすることで、ユーザーに実行可能なフィードバックを提供します。

実験結果
モデルは、3つの公開ベンチマークデータセット、KIMORE（腰痛エクササイズ）、UI-PRMD（一般的な理学療法）、およびIRDS（一般的なリハビリテーション）を用いて評価されました。

• 性能: 提案手法は、すべてのデータセットにおいて最先端（SOTA）または競争力のある結果を達成しました。
  • UI-PRMDにおいて、GCNベースおよびCNNベースのベースラインと比較して低い平均絶対偏差（MAD）スコアを達成しました（例：Exercise 1において、Deep CNNの0.014に対し、本手法は0.030 MAD）。
  • IRDSにおいて、高い精度（平均0.9819）を達成し、ベースラインのGCNおよびCNN手法を上回りました。
  • KIMOREにおいて、ST-GCNおよび他のディープラーニング手法と比較して、MAD、RMSE、およびMAPEの指標において優れた性能を示しました。
• 効率性: モデルは大幅な推論速度の向上を示しました。コンシューマーグレードのCPUではテストセットを約10秒で処理し、NVIDIA RTX 3090では約1.09秒で処理しました。これは、ベースラインのST-GCNに対して約12.4倍の高速化であり、リアルタイムのフィードバックを可能にします。
• 堅牢性: Leave-One-Subject-Out (LOSO) 交差検証により、モデルの汎用性と解剖学的な不変性が確認されました。異なる被験者間でも標準偏差は低く抑えられました。
• 可視化: t-SNE可視化は、正確、中程度、および不正確なエクササイズの間の明確なクラスタリングを示しました。また、特徴量寄与マップは、特定の運動（例：体幹回旋における脊椎と手首）における重要な関節を特定することに成功しました。

意義と主張
本論文は、このフレームワークが遠隔モニタリングおよび在宅リハビリテーションのための実用的なソリューションを提供すると主張しています。曲線ベースの集約と軸方向アテンションを組み合わせることで、システムは生のセンサーデータのノイズと冗長性を効果的に処理しながら、高い精度と低い計算コストを維持します。著者らは、連続的かつ定量的なフィードバックを提供し、特定の関節の誤りを特定できる能力により、専用のハードウェアが利用できないリソース制約のある環境への展開に適していることを強調しています。システムは、可変長のシーケンスにスケーラブルであり、個別のユーザー校正なしに異なる種類のエクササイズに汎用できる設計となっています。

認められた限界
著者らは、いくつかの限界についても謙虚に述べています。

• センサー、関節数、およびスコアリングの慣習の違いにより、クロスデータセット検証は行われていません。
• 通信コストの数値は分析的な推定値であり、実際の展開にはジッターやパケットロスに関するテストが必要です。
• 計算上の制約により、より大規模なモデルバリアントや、より複雑なクロス特徴量関係の可視化へのスケールアップは行っていません。