技術要約：独立した装着部位ごとの方位変化に対する回転不変なマルチIMU活動認識

問題提起

自己装着型のウェアラブル慣性計測装置（IMU）を用いた人間活動認識（HAR）は、セッションごとにセンサーを再装着する際に発生する、独立した方位オフセットという重大な分布シフトに直面している。マルチIMU設定（例：胸部、手首、大腿、足首）では、各センサーが監視対象となる身体部位に対して、個別の任意の回転を生じる可能性がある。

従来のスカラ値ベースのHARモデルは、これらの回転に対する構造的な堅牢性に欠けており、大幅な性能低下を招く。既存の解決策には主に2つのアプローチがあるが、いずれも限界がある：

1. 回転拡張（Rotation Augmentation）： 合成された回転データを用いてモデルを訓練する。この堅牢性はサンプリングに依存しており、未知の任意の $SO(3)$ 回転に対する不変性を保証するものではない。
2. キャリブレーション・パイプライン： 基準フレーム、静止区間、または磁気データを使用して方位を正規化する前処理ステップ。これらはエンジニアリング上のオーバーヘッドを導入し、制御されていない自己装着環境において失敗しやすい仮定（例：信頼できる磁場）を伴う。

核心となる課題は、回転拡張やテスト時の明示的なキャリブレーションを必要とせずに、独立した部位ごとの $SO(3)$ 方位シフトに対する構造的不変性を達成することである。

手法：TRI-HAR

著者らは、回転不変性をモデルアーキテクチャに直接組み込むフレームワークである Truly Rotation-Invariant HAR (TRI-HAR) を提案する。この手法は、加速度計およびジャイロスコープのストリームを、スカラチャネルとしてではなく、三軸ベクトルとして処理する。

1. 部位グループ化されたベクトル表現

入力データは、平坦化されたスカラチャネル ($X_{raw} \in \mathbb{R}^{T \times 3S}$) から、三軸ベクトルストリーム ($X \in \mathbb{R}^{T \times S \times 3}$) へと再構成される。極めて重要な点は、これらのストリームが物理的なIMU設置部位 ($L$ 個のロケーション) ごとにグループ化されていることである。各グループ $X^{(l)}$ は、独立した回転 $R_l \in SO(3)$ を受ける単位として扱われる。この定式化は、異なる身体部位におけるセンサーが、それぞれ異なるオフセットを持って再装着されるシナリオを明示的にモデル化している。

2. 共有 $SO(3)$ 等変バックボーン

TRI-HARは、FER-VN-DGCNN（Vector NeuronsとDynamic Graph Convolutional Neural Networksを用いた、周波数ベースの等変特徴表現）としてインスタンス化された共有バックボーンを採用している。

• ベクトルニューロン (VN): スカラ値の隠れ特徴を、3D回転の下で予測通りに変形する3Dベクトル値チャネルへとリフトアップする。
• 多周波数等変性: バックボンドは、入力ベクトルを多周波数の等変空間へとリフトアップする。入力ベクトルの方向が角度成分を決定し、学習可能な径関数が振幅依存の周波数係数を変調する。
• グラフ処理: 各部位グループ内において、バックボーンは時間インデックスを持つIMUの状態に対して動的グラフを構築し、等変性を保持しながら運動学的に類似した運動状態から特徴を集約する。

3. 不変投影と融合

本手法の鍵となる革新は、操作の順序にある：不変投影は、クロスロケーション融合に先行する。

• 不変投影: 各部位グループについて、等変特徴は回転不変なスカラ表現へと投影される。これは、潜在的な特徴と学習された共回転フレームとの内積を計算することによって達成される。数学的に、もし $V_t$ が特徴量、$F_t$ がフレームであるならば、不変特徴 $z_t = V_t F_t^\top$ は回転 $R_l$ を打ち消す。
• 部位別集約: 不変なタイムステップ特徴はプーリング（グローバル最大値/平均値）され、各部位の単一の不変特徴ベクトル $h_l$ を生成する。
• 固定順序の融合: 不変ベクトル $\{h_1, \dots, h_L\}$ は、固定された身体部位の順序で連結され、最終的なMLP分類器に渡される。

この設計により、異なる部位からの特徴が結合される前に回転が局所的にキャンセルされるため、各部位における独立した回転 $R_l$ に対してモデルが不変であることが保証される。

主な貢献

1. TRI-HARフレームワーク: 物理的な部位ごとに等変から不変への表現を学習するマルチIMU HARアーキテクチャを提供し、回転拡張やテスト時のキャリブレーションなしに、独立した方位オフセットに対する構造的な堅牢性を提供する。
2. 独立した部位別シフト・プロトコル: 各IMU部位に個別の固定 $SO(3)$ 回転を割り当てる特定の評価プロトコルを定式化し、自己装着による再装着シナリオを正確にシミュレートした。
3. 実証的検証: 4つの公開ベンチマーク（PAMAP2, DSADS, Opportunity, RealDISP）において、TRI-HARが固定された独立した部位別回転下でもmacro-F1スコアを維持し、サンプリングに依存する回転拡張ベースラインを上回ることを示した。

実験結果

著者らは、5つの教師あり学習ベースライン（MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR）を、元のテストデータ ($I$) と、固定された独立した部位別 $SO(3)$オフセット ($SO(3)_{loc-fix}$) の2つの条件下で評価した。

• 回転に対する堅牢性: $SO(3)_{loc-fix}$ 下において、非等変なベースラインは壊滅的な性能低下を経験した（例：PAMAP2においてmacro-F1が約80%から約30%へ低下）。対照的に、TRI-HARは元のテストデータにおける性能を維持し、無視できる程度の性能低下（不変誤差 $< 10^{-10}$）を示した。
• 拡張との比較: ベースラインが一致した部位別回転拡張（loc-sample）を用いて訓練された場合でも、TRI-HARは回転拡張を使用することなく、すべてのデータセットでより高いmacro-F1スコアを達成した。
• RealDISPの相互変位: 難易度の高いRealDISPの「相互変位（Mutual-displacement）」フォールド（センサーがインストラクターによって物理的に再配置・再配向されたもの）において、TRI-HARは最高のmacro-F1（85.29%）を記録し、最強の回転拡張ベースライン（TinyHAR：78.49%）を6.8ポイント上回った。
• 融合戦略のアブレーション: コントロールモデルである TRI-HAR-joint（全部位の連結された特徴に不変投影を適用し、共通のグローバル回転を想定するもの）は、独立した部位別シフトの下で著しく失敗した（約37〜50ポイントのmacro-F1低下）。これは、ターゲットとなるデプロイメント設定において、部位ごとの不変投影が必要であることを裏付けている。
• レイテンシ: 3-IMUおよび5-IMUストリームにおけるホスト側のレイテンシ測定では、部位ごとの等変処理によりTRI-HARはスカラベースラインよりも低速になるものの、p99のウィンドウ・トゥ・ラベル・レイテンシ（それぞれ67.61 msおよび85.78 ms）は、ウィンドウ更新周期（約2.5秒）を十分に下回っており、リアルタイムのストリーミング推論をサポートしている。

意義と主張

本論文は、TRI-HARが自己装着型マルチIMU HARにおける方位の変動問題に対する構造的な解決策を提供すると主張している。このフレームワークにより、以下の必要性が排除される：

• 訓練時の合成回転拡張。
• 推論時における明示的な方位キャリブレーションまたは基準フレームの仮定。

著者らは、TRI-HARを、センサーの再装着が頻繁に起こり、ユーザーによるキャリブレーションが困難な、在宅リハビリテーションや運動モニタリングに適した「キャリブレーション・ライト」なアプローチとして位置づけている。本研究は、現在の実装がスカラモデルよりも高い計算コストを要する一方で、現実的かつ制御されていないデプロイメントシナリオで得られる堅牢性という観点から、そのアーキテクチャ上のトレードオフが正当化されることを強調している。今後の研究は、エッジデプロイメントに向けたエンコーダ内部コストの最適化に向けられている。