Enhancing Box and Block Test with Computer Vision for Post-Stroke Upper Extremity Motor Evaluation

以下は、提示された論文「ENHANCING BOX AND BLOCK TEST WITH COMPUTER VISION FOR POST-STROKE UPPER EXTREMITY MOTOR EVALUATION（脳卒中後の上肢運動評価におけるボックス・アンド・ブロックテストのコンピュータビジョンによる強化）」の詳細な技術的サマリーです。

1. 問題提起 (Problem)

脳卒中後の上肢機能評価において、既存の臨床評価には以下の限界があります。

• 順序尺度（Ordinal Scoring）の限界: FMA-UE や ARAT などの定性的評価は多関節・多タスクを網羅しますが、主観的なスコアリングにより感度が低く、微妙な変化を捉えきれません。また、実施に時間がかかります。
• 時間ベース指標の限界: ボックス・アンド・ブロックテスト（BBT）や NHPT などの定量的評価は迅速ですが、単に「タスク完了時間」や「移動ブロック数」しか提供せず、**運動の質（Movement Quality）**や代償動作（Compensatory movements）に関する情報は得られません。
• 既存の自動化の課題: RGB-D カメラ（Kinect など）を用いた既存の自動化手法は、スコアリングの効率化には寄与しますが、臨床評価の時間を短縮するわけでも、元のスコア以上の情報を提供するわけでもありません。また、深度センサーやキャリブレーション対象物が必要という制約があります。

本研究の目的は、標準的な時間ベースの評価ツール（BBT）に最先端のコンピュータビジョン（CV）を統合し、深度センサーやキャリブレーション対象物なしに、単眼カメラ（スマートフォン等）から世界座標系に整合した 3D 関節角度を抽出し、運動の質を客観的に評価するフレームワークを構築することです。

2. 手法 (Methodology)

2.1 データ収集

• 48 名の健常者（5-73 歳）と 7 名の脳卒中後遺症患者から、合計 136 件の BBT 動画を記録。
• 脳卒中患者は、より影響を受けた側（MI）と影響の少ない側（LI）について、3 回の訪問で計測。
• 解像度 1080p、22 FPS で記録され、顔はプライバシー保護のためぼかすか除外。

2.2 ゼロショット単眼カメラの外部パラメータ較正（Zero-Shot Monocular Extrinsic Calibration）

深度センサーなしでカメラのピッチ（傾き）を推定し、関節角度を重力方向に整合させるための独自パイプラインを構築しました。

1. セマンティックセグメンテーション: 微調整されたSegMANモデルを用いて、動画フレーム内の BBT ボックスをセグメント化。
2. マスクのフィルタリングと安定化: 時間的な一貫性を保つため、ノイズ除去と多数決（Majority Vote）を行い、安定化されたボックスマスクと代表フレームを選択。
3. 3D ポイントマップと法線ベクトル推定: SAM 3D Objectsを用いて、代表フレームからボックスの 3D ポイントクラウドを再構築。画像グリッド上の局所有限差分を用いて表面法線ベクトルを推定。
4. カメラピッチ推定: ボックス前面の法線ベクトルから、重力に対するカメラのピッチ角度（$\theta$）を算出。これにより、カメラの向きに依存しない関節角度の計算が可能になります。

2.3 単眼 3D ポーズ推定と関節角度計算

1. ポーズ推定: 各フレームをSAM 3D Bodyに入力し、Momentum Human Rig (MHR) パラメトリックモデル（手と体のキーポイント）をカメラ座標系で出力。
2. 重力整合（World Alignment）: 前述のピッチ推定値を用いてキーポイントを回転させ、重力方向に整合させる。これにより、カメラの傾きによる姿勢の誤認を防ぎます。
3. 関節角度計算: 指、手首、肘、肩、体幹の各関節を隣接する肢ベクトルの 3D 角度として計算。

2.4 ポーズ推定手法の比較と選定

• PromptHMR, SMPLer-X, SAM 3D Body, WiLoR などを比較。
• 結果: 深度の一貫性や関節の可動域において、SAM 3D Bodyが最も画像の観察と整合性が高く、被写体（手や物体）による遮蔽（Occlusion）にも強靭であったため、本研究で採用されました。

2.5 分析手法

• 特徴量: 14 本の指関節角度（PCA で 9 次元に圧縮）、肩、肘、手首、体幹の角度を含む 18 次元ベクトル。
• 次元削減: UMAP（Uniform Manifold Approximation and Projection）を用いて 2 次元埋め込みを生成。
• 評価: 教師なし学習により、健常者と患者の分布の分離を確認。患者のフレームと健常者のフレーム間のユークリッド距離を計算し、健常者間の平均距離に対する比率（スコア）として定量化。

3. 主要な貢献 (Key Contributions)

1. カメラ不変・非侵襲的フレームワーク: 深度センサーやキャリブレーション対象物なしで、BBT の単眼 RGB 動画から世界座標系に整合した 3D 関節角度を推定する手法を提案。臨床現場の既存手順を乱すことなく、スマートフォン等の一般的なカメラで実施可能。
2. BBT におけるポーズ推定手法の定性的評価: 遮蔽下でのロバストな 3D 関節角度推定に適した手法（SAM 3D Body）の選択を裏付けるための詳細な比較評価を実施。
3. 運動の質の定量化: 従来の「時間」や「回数」だけでなく、姿勢パターンや代償動作を定量的に捉える新たな指標を提供。

4. 結果 (Results)

• 健常者と患者の分離: 教師なしの UMAP 埋め込みにより、健常者の運動パターンと脳卒中患者の運動パターンの明確な分離が確認されました。
• 同一スコア患者の識別: 従来の BBT スコア（移動ブロック数）が同じであっても、患者ごとに異なる姿勢パターン（代償戦略）を示すことが判明しました。
  • 例：軽度障害の患者 2 名と 7 名は臨床スコアが同等ですが、関節角度の埋め込み空間では異なるクラスターを形成し、異なる代償戦略をとっていることが示唆されました。
• 影響の少ない側（LI）の異常: 多くの患者において、影響の少ない側（LI）であっても、健常者とは異なる代償運動が見られました。
• スコアリング: 患者の姿勢スコアは健常者の基準（1.0）よりも一貫して高く、より重度の障害側（MI）ほど偏差が大きくなりました。

5. 意義と結論 (Significance and Conclusion)

• 臨床的価値: 単に「速さ」や「回数」だけでなく、**「どのように動かしているか（運動の質）」**を客観的に評価できます。これにより、同じ BBT スコアを持つ患者でも、個別の代償パターンに基づいた最適なリハビリ戦略をセラピストが選択できるようになります。
• 汎用性: 脳卒中患者だけでなく、脳性麻痺など BBT を用いる他の患者群や、NHPT などの他の時間ベーステストにも拡張可能です。
• 実用性: 深度センサー不要、キャリブレーション不要、医師の負担増なし（既存の動画記録のみ）という点で、日常臨床への導入障壁が極めて低いです。

限界点:

• 脳卒中患者のサンプル数が少ない（7 名）。
• 現時点ではフレームごとの分析であり、時間的な滑らかさ（Smoothness）などの動的特徴は含まれていない（今後の研究課題）。
• 手ポーズ推定における複雑な指の重なり（Occlusion）の精度向上は依然として課題。

総じて、本研究はコンピュータビジョン技術を用いて、既存の臨床評価を「量」から「質」へと進化させ、個別化されたリハビリテーションを支援する可能性を示しました。