技術要約：メンタルヘルス研究におけるウェアラブル運動データのための基盤モデル

問題提起

スマートウォッチやフィットネストラッカーから収集される分単位のアクチグラフィ（活動量計）データ、特にウェアラブルによる運動データは、メンタルヘルス研究において豊かで長期的なリソースを提供します。これは、サーカディアンリズムの断片化や精神運動遅滞といった、微細な行動トレンドを捉えることができます。しかし、このモダリティにおける基盤モデルの開発は、臨床的な画像解析やテキスト解析に比べて遅れています。既存の分析手法には、以下のような重大な限界があります：

• 古典的な手法は、ハンドクラフトされた特徴量やルールベースの検出器に依存しており、これらはタスク特化型であり、コホートやデバイスのバリエーションに対して敏感（脆弱）です。
• ディープラーニングのアプローチ（CNNおよびRNN）は、長い時間窓の処理に苦慮することが多いです。CNNは受容野が限定的であり、再帰モデルは長いシーケンスにおいて勾配消失の問題に直面します。
• 現在の基盤モデルは、ウェアラブル向けの場合、短時間のセグメント（数秒から数分）で訓練されていたり、精神医学的および睡眠の転帰よりも一般的な活動認識に焦点を当てていたりするものが多く、プロプライエタリ（独占的）なものが多いのが現状です。
• 分単位の解像度で週単位の依存関係をモデル化し、メンタルヘルスの転帰を予測できる、オープンソースで汎用的なモデルが不足しています。

メソドロジー

データセットと前処理

本研究では、米国を代表する国民健康栄養調査（NHANES）のデータを利用しました。

• 事前学習（Pretraining）: 2003–2004年、2005–2006年、および2011–2012年の調査サイクルにおける、21,538人の参加者からのデータを使用しました。これには、腰部に装着された単軸加速度計および手首装着の三軸加速度計が含まれます。比較可能性を確保するため、三軸データを単軸のカウントに一致するように合算し、振幅の差異を軽減するためにデバイスタイプごとにzスコアを用いてデータを標準化しました。
• ファインチューニング（Fine-tuning）: 2013–2014年サイクルの7,769人の参加者からのデータを、ダウンストリームの教師ありタスクに使用しました。
• 入力: 7日間（10,080タイムステップ）にわたる分単位のアクチグラフィ・シーケンス。

モデルアーキテクチャ：Pretrained Actigraphy Transformer (PAT)

著者らは、長尺シーケンスのアクチグラフィに特化したTransformerベースのアーキテクチャを設計しました：

1. パッチ埋め込み（Patch Embeddings）: 10,000ステップ以上のプロセスに伴う二次的な計算複雑性を処理するため、入力シーケンスを重複のないパッチ（例：10分間のパッチ）に分割します。各パッチは、学習可能な線形投影または1D畳み込みを介して固定次元にマッピングされます。
2. 位置埋め込み（Positional Embeddings）: 時間的順序をエンコードするために、固定のサイン・コサイン位置埋め込みが追加されます。
3. Transformerエンコーダー: パッチ埋め込みを処理する、Transformerブロック（マルチヘッド自己注意、レイヤー正規化、フィードフォワードネットワーク）のスタック。
4. マスクド・オートエンコーダー（MAE）による事前学習:
   • 戦略: エンコーダーの前に、高い割合（90%）のパッチをランダムにマスクして除去する非対称オートエンコーダー・アプローチを採用。
   • エンコーダー: マスクされていないパッチのみを処理します。
   • デコーダー: 軽量なデコーダーは、エンコーダーの出力とマスク・トークンを受け取り、元の標準化されたアクチグラフィ信号を再構成します。
   • 損失（Loss）: 全てのパッチにおける再構成されたデータと元のデータの間の平均二乗誤差（MSE）を算出します。
5. ファインチューニング: パッチ埋め込み層と事前学習済みエンコーダーを抽出します。バイナリ分類タスクのために、シグモイド活性化関数を持つタスク固有のフィードフォワード分類層を追加します。

実験デザイン

• タスク: 5つのバイナリ分類タスクを定義しました：ベンゾジアゼピン系薬剤の使用、SSRIの使用、抑うつ（PHQ-9 ≥10）、睡眠障害の既往歴、および睡眠異常の検出。
• ベースライン: 1D CNN、LSTM、ConvLSTM、ウェーブレットベースの分類器、および「ScratchTransformer」（事前学習なしでランダム初期化から訓練された、PATと同一のアーキテクチャ）との比較。
• 評価: パフォーマンスは、低データ領域における堅牢性を評価するために、訓練セットのサイズ（500、1,000、2,500、および全利用可能セット）にわたる受信者操作特性曲線の下端面積（AUC）の平均によって測定されました。

主な貢献

1. オープンソースの基盤モデル: PATは、週単位の分単位の長期的時間モデリングと、メンタルヘルスの転帰に対する明示的な評価を組み合わせた、最初のオープンソースのウェアラブル運動データ用基盤モデルです。事前学習済みの重み、コード、および訓練パイプラインを公開しています。
2. 長距離の時間的モデリング: 数秒から数分間の短いセグメントで動作する既存のモデルとは異なり、PATは10,080分（週単位）のシーケンスをモデル化し、サーカディアン構造や多日間の行動パターンを捉えます。
3. 汎用性: モデルは5つの多様な臨床タスク（薬剤使用、抑うつ、睡眠）において一貫したパフォーマンスを示し、低データ領域（n ≤ 1,000）においても優れた性能を示しました。
4. 解釈可能性: モデルには組み込みのアテンションマップが備わっており、予測を駆動する特定の時間的期間（例：朝の活動の移行期）をハイライトすることで、事後的な説明ツールを必要とせずに透明性を提供します。

結果

パフォーマンス指標

• ベンゾジアゼピン予測: PAT-L（最大バリアント）は、平均AUC 0.767を達成しました。これは、LSTMベースライン（0.493）に対して55.6%の改善、1D CNN（0.632）に対して21.4%の改善、およびConvLSTM（0.668）に対して14.8%の改善を示しました。
• 低データへの堅牢性: PATは、全ての訓練セットサイズにおいて、ScratchTransformerを含む全てのベースラインを一貫して上回りました。これは、自己教師あり学習による事前学習が、限られたラベル付きデータであっても、良好に転移する汎用的な表現を効果的に学習したことを示しています。
• マルチタスク・パフォーマンス: PATは、SSRI使用、睡眠異常検出、および抑うつ分類においてベースラインを上回りました。睡眠障害の既往歴については、PATは他のモデルと同等の性能を示しましたが、共変量を調整した後には独立した関連性を示しませんでした（下記参照）。

ハイパーパラメータの洞察

• マスキング比率: 90%のマスキング比率が最高のダウンストリーム性能（AUC 0.773）をもたらし、エンコーダーがより広範な文脈依存性を学習することを促進しました。
• 平滑化（Smoothing）: 生のアクチグラフィ信号で訓練されたモデルは、平滑化されたデータで訓練されたモデルよりも優れた性能を示しました（AUC 0.773 対 0.741）。これは、きめ細かな時間的情報が極めて重要であることを示唆しています。
• 損失関数: 全てのパッチ（再構成されたパッチと元のパッチの両方）に対してMSEを計算することは、マスクされたパッチのみで計算する場合よりも大幅に優れた結果をもたらしました。

解釈可能性の知見

アテンション・ヒートマップにより、PATがランダムなノイズではなく、特定の行動の移行に注目していることが明らかになりました。

• ベンゾジアゼピン使用者: 長時間の早朝の不活動と、遅い起床時間に高いアテンションが割り当てられました。
• 非使用者: 鋭く一貫した早朝の身体活動に高いアテンションが割り当てられました。
• 集団レベル: アテンションのパターンは強い24時間周期性を示し、ピークは覚醒の移行期や朝の活動付近に集中しており、モデルが反復的な日内リズムを学習していることを裏付けています。

交絡因子分析

多変量ロジスティック回帰の結果、年齢、性別、BMI、および抑うつの重症度を調整した後でも、PATの予測はベンゾジアゼピンの使用、SSRIの使用、抑うつ、および睡眠異常と独立して関連していました。しかし、睡眠障害の既歴については、調整後に有意な関連が見られませんでした。これは、モデルが診断された疾患そのものではなく、潜在的なリスク因子（例：BMI、抑うつ）を予測しているか、あるいは治療された状態がアクチグラフィの信号を減衰させている可能性を示唆しています。

意義と主張

著者らは、PATをウェアラブルセンサーデータから臨床的洞察を得るための実用的かつスケーラブルなソリューションとして位置づけています。

• アクセシビリティ: オープンソースであり、消費者向けのGPU（例：NVIDIA T4）で実行可能であるため、計算リソースの限られた研究者の参入障壁を下げます。
• スケーラビリティ: PATは可変的な入力長や異なるデバイスに適応できるように設計されており、多様な研究設定に適しています。
• 臨床的有用性: 受動的な運動データから薬剤使用や精神疾患を予測できる能力は、リスク層別化や治療モニタリングのための非侵襲的な手法を提供します。
• 謙虚な姿勢: 著者らは限界についても認めており、ラベルがゴールドスタンダードの臨床診断ではなく自己申告に基づいているため、ノイズが混入する可能性があることを指摘しています。また、アクチグラフィ単体では複雑な精神病理に対する信号は部分的であり、単独の診断ツールではなく、マルチモーダルモデルにおける補完的なツールとして捉えるべきであると警告しています。さらに、横断的な性質を持つデータであるため、因果推論はできないとしています。

結論として、PATは、大規模なウェアラブルデータ収集と臨床的に関連のあるメンタルヘルス・モデリングとの間のギャップを埋める、汎用的でデータ効率が高く、解釈可能なデジタル・フェノタイピングへの一歩を象徴しています。