技術的サマリー：スケルトンポーズ軌道のための弾性形状変分オートエンコーダ

問題定義

深層生成モデル、特に変分オートエンコーダ（VAE）は、画像やテキストのような構造化データに対して有効であることが証明されている。しかし、人間のスケルトンの時系列データに適用する場合、標準的な VAE は形状の内在的幾何学とその運動を分離することにしばしば苦労する。その代わりに、モデル容量の大部分を「ノイズ要因」に割り当ててしまう。これらには、カメラの向き、被写体のスケール、視点、実行速度（時間的変動）のばらつきが含まれる。これらの要因は自然な記録設定では避けられないが、活動分類や臨床的な移動能力評価などのタスクには無関係である。従来の形状分析手法は統計分析の前にこれらの変換を除去するが、通常ユークリッド変数上で動作する強力な深層学習フレームワークにこれらの幾何学的不変性を統合することは、依然として課題である。

手法

著者は、スケルトン軌道に特化して設計された幾何学認識型生成モデルである弾性形状変分オートエンコーダ（ES-VAE）を提案する。核心的な革新は、スケルトンデータをケンドールの形状多様体上で表現し、**輸送された平方根速度場（TSRVF）**フレームワークを利用することにある。

1. 幾何学的表現

• ケンドール形状空間: 各スケルトンは、$\mathbb{R}^m$ 内の $k$ 個のランドマークの構成として扱われる。モデルは、中心化によって並進を、単位フロベニウスノルムへの正規化によってスケールを、特殊直交群 $SO(m)$ の商化によって回転を除去する。これにより、剛体変換と大域スケーリングに対して不変な表現が得られる。
• 時間的整列のための TSRVF: 速度のばらつき（例えば、異なる歩行速度）に対処するため、TSRVF フレームワークを採用する。これには、軌道の共微分を計算し、接ベクトルを共通の参照点（フレレ平均）へ平行移動させ、それらを正規化する処理が含まれる。これにより、ダイナミックプログラミングによる最適な時間的整列が可能となり、形状ダイナミクスを保持しつつ速度プロファイルを効果的に除去できる。

2. リーマン VAE 構造

ES-VAE は、ユークリッド空間で近似するのではなく、直接多様体上で動作する：

• エンコーダ: 軌道の接ベクトル表現（フレレ平均からのリーマン対数写像によって計算される）を受け取り、低次元の潜在空間 $z \in \mathbb{R}^L$ へマッピングする。
• デコーダ: 潜在コード $z$ をニューラルネットワークを通じて接空間へマッピングし、その後、リーマン指数写像を用いて形状多様体へ射影することで軌道を再構成する。
• 損失関数: モデルは**リーマン証拠下限（ELBO）**を最大化することで訓練される。再構成項は形状多様体上の二乗測地距離を利用し、正則化項は潜在空間内の標準正規分布に対するカルバック・ライブラー（KL）ダイバージェンスである。

主要な貢献

1. 弾性形状 VAE: ケンドール形状空間上で輸送された SRVF によって表現されるスケルトン軌道を低次元潜在空間に埋め込むリーマン VAE の導入。この設計により、並進、回転、スケーリング、および活動速度プロファイルに対する完全な不変性が、構成上保証される。
2. 多様体学習の優位性: 単位球面（$S^2$）上の合成データを用いて、ES-VAE が非測地的な一次元部分多様体を、ユークリッド PCA、ユークリッド VAE、および接空間 PCA よりも正確に近似することを著者は実証した。これは、ユークリッド近似が失う非線形幾何構造を保持することの重要性を浮き彫りにしている。
3. 臨床的解釈可能性と性能: 155 名の参加者（健常者対脳卒中後）からなる臨床データセットにおいて、学習された潜在次元は以下のことを示した：
   • 解釈可能な歩行特徴（歩幅、四肢の剛性、腕の可変性など）に対応する。
   • 臨床的移動能力スコア（POMA）と高い相関を示す。
   • 脳卒中の重症度予測および脳卒中側性の分類において、古典的および深層学習のベースラインを上回る性能を発揮する。
4. 動作認識性能: 厳選された NTU RGB+D データセットの部分集合において、ES-VAE の潜在表現は、困難な動作カテゴリの分類において、各種ベースライン（TCN、トランスフォーマー、グラフ畳み込みネットワークを含む）を上回った。これは、形状ベース表現の汎用性を示している。

実験結果

本論文は、生スケルトン手法（PCA、VAE、TCN、LSTM、トランスフォーマー、ST-GCN）、関節角度手法、および接ベクトル手法を含む包括的なベースラインセットに対して ES-VAE を評価する。

• 脳卒中歩行データセット（回帰）: POMA スコアの予測において、ES-VAE は $R^2$ で0.74、RMSE で2.82を達成し、最良の生スケルトン深層学習モデル（LSTM、$R^2=0.64$）および接空間 PCA（$R^2=0.70$）を大幅に上回った。
• 脳卒中歩行データセット（分類）: 3 クラス分類（健常、左脳卒中、右脳卒中）において、ES-VAE はマクロ F1 値で0.83を達成し、接空間 PCA（0.79）およびすべての生スケルトン深層学習モデルを上回った。
• NTU-60 動作認識: 困難な 10 クラスの部分集合において、ES-VAE はマクロ F1 値で0.56を達成し、最良の接ベクトルベースライン（接空間 PCA の 0.50）および生スケルトンベースラインを上回った。特に、バニラ VAE（0.27）を 0.29 改善しており、幾何学的前処理の価値を実証している。
• アブレーション研究: 結果は、幾何学的整列が重要であることを確認した。並進のみの除去では不十分であり、ケンドール形状空間（スケール/回転の除去）と TSRVF（速度変動の除去）の組み合わせが最良の性能をもたらした。測地再構成損失も、ユークリッド接空間の MSE に対して一貫した優位性を提供した。

意義と主張

本論文は、ES-VAE の主な利点が構造的であると主張している。すなわち、モデリングに先立って幾何学的にノイズ変動（並進、回転、スケール、速度）を除去することで、深層ネットワークは意味のある形状ダイナミクスを学習するためにその容量を完全に割り当てることができる。

• 解釈可能性: 「ブラックボックス」的な深層学習アプローチとは異なり、ES-VAE の潜在次元は、歩幅の減少や四肢の剛性など、特定の臨床的に関連する歩行特徴に対応しており、ポーズ形状多様体上の縦断データを分析するための原理的な枠組みを提供する。
• 汎用性: このアプローチは、臨床的歩行分析と一般的な動作認識の両方で有効であることが示されており、多様体上で直接モデル化することが、ユークリッド近似で失われる本質的な幾何構造を保持することを示唆している。
• 限界: 著者は、研究がデータセットサイズ（脳卒中で 155 名、NTU 部分集合で 40 名）および運動学的データのみの使用によって制限されていると指摘している。将来の作業には、より大規模なマルチセンターデータセット、マルチモーダル入力（例えば EMG）、およびより表現力豊かなアーキテクチャの導入が含まれる可能性があるが、その場合、解釈可能性が犠牲になる可能性がある。

結論として、ES-VAE は、スケルトンポーズ軌道分析のための堅牢で解釈可能かつ高性能なフレームワークを提供し、これらの不変性を生データから学習しようとする標準的な深層学習アプローチと比較して、生成モデルアーキテクチャに幾何学的不変性を組み込むことが優れた結果をもたらすことを実証している。