TransfHAR: Self-Supervised Wrist Representations for On-Demand Activity Recognition

技術要約: TransfHAR

問題提起
きめ細かな手首の活動認識は、コンテキストを考慮した支援や手順のガイダンスにおいて大きな可能性を秘めています。しかし、現在のシステムは、特定のデータセットで学習された固定の事前定義済み活動語彙に依存しているという重大なボトルネックに直面しています。新しい活動、特にユーザー定義の、あるいはきめ細かな（例：特定のジェスチャーや手順のステップ）活動や、個人の癖にパーソナライズされた活動を追加するには、新しいラベル付きデータを収集し、モデルを一から再学習させる必要があります。このアプローチは、人間の活動の多様性に対してスケールしません。さらに、公開されている手首のIMUデータセットは、粗い移動や姿勢（レベル1および2の活動）に大きく偏っており、きめ細かな操作的（レベル3）および手順的（レベル4）なタスクのためのラベル付きデータの不足を招いています。

手法
著者らは、オンデマンドで、きめ細かな活動認識を可能にするために、グローバルでラベルのない手首のIMUデータから転移可能な運動の事前知識を学習するように設計された自己教師あり学習フレームワークであるTransfHARを提案しています。このフレームワークは、以下の2つのステージで動作します。

1. ステージA：グローバルな動きに対する自己教師あり事前学習

   • データの集約: 著者らは、異種混合の公開手首IMUデータセット（例：RecoFit, PAMAP2, Capture-24）を集約し、共通の50 HzサンプリングレートおよびForward-Left-Up (FLU) 座標系に標準化しました。
   • 焦点: 事前学習では、データが豊富な粗いグローバルな動き（歩行、座る、エクササイズなどのL1/L2活動）を主に利用します。このフェーズではラベルは破棄されます。
   • アーキテクチャ: 1D Vision Transformer (ViT-1D) エンコーダを採用しています。これは、チャンネル独立型のパッチ・トークナイゼーションを用いて、生の時系列入力を処理します。
   • 目的関数: モデルは、Masked Autoencoder (MAE) 目的関数を用いて学習されます。複合的なマスキング戦略（ランダム、時間的、および信号マスキング）によってトークンの65%を隠し、軽量なデコーダが隠されたパッチを再構成します。これにより、エンコーダは、異なる活動タイプ間で共有される時間的構造と軸間の協調性を学習することを強制されます。
   • バリアント: 3軸（加速度計のみ）と6軸（加速度計 + ジャイロスコープ）の2つのエンコーダが学習されます。

2. ステージB：オンデマンド・タスク学習（パーソナライゼーション）

   • 凍結: 学習済みのエンコーダは凍結されます。
   • 線形プローブ: エンコーダの出力埋め込みに、軽量な単層の線形分類器（プローブ）を付加します。
   • ユーザーワークフロー: スマートウォッチ上で、ユーザーは新しい活動クラスを定義し、少数のデモンストレーション（few-shot）を記録します。システムはデータをセグメント化し、凍結されたエンコーダを使用してエンコードし、デバイス上でプローブを学習させます。
   • 適応: エンコーダは固定されたまま、プローブのパラメータのみが更新されます。これにより、ユーザーは重いバックボーンを再学習させることなく、活動の語彙を反復的に拡張できます。

主な貢献

1. TransfHARフレームワーク: 異種混合の公開データセットから再利用可能な運動表現を学習し、ユーザー定義の活動に対する迅速なデバイス上での適応を可能にする、自己教師あり手首IMUフレームワーク。
2. リアルタイム・スマートウォッチ・システム: ラベルの定義、デモンストレーションの記録、デバイス上でのパーソナライズされた分類器の学習、およびリアルタイム予測をサポートする、Apple Watch Series 10への実装。
3. 実証的検証: 凍結された自己教師あり表現が、保持された操作的、手順的、およびジェスチャーのようなベンチマークに対して効果的に転移し、完全教師ありのベースラインを上回ることを示すクロスデータセット評価。

結果

• オフライン・クロスデータセット評価: フレームワークは、L3（操作的）およびL4（手順的）の活動をカバーする3つの保持されたベンチマーク（SAMoSA, PrISM-Tracker, UTD-MHAD）でテストされました。
  • パフォーマンス: 凍結された6軸TransfHARエンコーダと線形プローブは、完全なラベルセットを使用し、しばしばより多くのセンサーチャンネルを備えた完全教師ありのベースラインを、平均で6.2ポイントのバランス精度で上回りました。
  • 具体的な利得: SAMoSAで+8.1ポイント、Prismのラテ作りで+5.5ポイント、UTD-MHADで+5.0ポイントを達成しました。
  • Few-Shotのスケーリング: パフォーマンスはわずかなショット数で大幅に向上しました。例えば、SAMoSAにおいて、6軸モデルの精度は1ショットの21.8%から5ショットの42.6%へと跳ね上がりました。
• オンデバイス・ユーザー研究: 10人の参加者がそれぞれ7つのユーザー定義活動を行った研究。
  • 精度: クラスあたりわずか5つの例（約12.8秒のデータ）で、システムは**86.7%**のバランス精度を達成しました。
  • 1分間の記録: 1つのクラスにつき1分間の記録で学習した場合、精度は**90.4%**に達しました。
  • 効率性: ウォッチ上でのプローブ学習は、典型的なクラス数において1秒未満で完了し、推論レイテンシは約23.8 ms（ウィンドウあたり）でした。
• 語彙のスケーリング: システムは、語彙が10から70クラスへと拡大しても高い精度を維持しましたが、ほとんどの性能低下は30クラス未満で発生しました。

意義と主張
本論文は、粗いグローバルな手首の動きに対する広範な自己教師あり事前学習が、事前学習中に一度も目にしたことがない、きめ細かなユーザー定義の活動を認識するための効果的な基盤を提供すると主張しています。中心となる洞察は、公開データセットは移動（locomotion）に支配されているものの、そこには操作的または手順的なタスクに再利用可能な基礎的な運動プリミティブ（振動、衝撃、回転）が含まれているということです。

著者らは、このアプローチがパーソナライズされた活動認識のスケール性の問題を解決すると主張しています。一般的な運動多様体（motion manifold）を学習することで、システムはユーザーが独自の活動セットを定義し、極めて少ないデモンストレーションから強力な認識を実現することを可能にし、大規模なラベル付きデータセットや完全なモデルの再学習を不要にします。この研究は、自己教師あり学習が、粗い公開データと、インタラクティブなウェアラブルシステムにおける個々のユーザーの特定のきめ細かなニーズとの間の溝を埋めることができることを示しています。

著者が指摘する限界

• 時間的コンテキスト: 現在のウィンドウベースのアプローチは、局所的に類似しており、区別するために長い時間的コンテキストを必要とするL4の手順的ステップに対して苦戦しています。
• 長期的なドリフト: ユーザー研究は短期的なものでした。長期的な行動のドリフトや、時間の経過に伴う再適応の必要性は評価されていません。
• ハードウェア/リソースの制約: トランスフォーマー・エンコーダは、エッジ向けに最適化されたCNNやLSTMよりも重く、バッテリーや熱への影響は直接測定されていません。
• 人口統計学的バイアス: 事前学習のコーパスには一貫した人口統計学的メタデータが欠けており、異なる体型、年齢、運動能力に対する転移性はテストされていません。