Validation design changes wearable stress-state classification performance in hospital nurses

技術要約：ウェアラブルによるストレス状態分類の性能における検証設計の変化

問題提起
ウェアラブルセンサーは自然な環境下での継続的な生理学的モニタリングを可能にするが、その検証設計に欠陥があるため、ストレス分類における有用性が過大評価されることが多い。重大な問題は、単一の個人から生成された高密度なセンサー・ストリームが、数千もの隣接するデータウィンドウを生成する場合に発生する。もし同一人物のウィンドウがモデルの学習と評価の両方に寄与した場合（内部ウィンドウレベル検証）、得られる高い精度は、モデルが未知の個人へと汎化する能力ではなく、特定のユーザー固有のシグネチャを認識する能力を反映したものになってしまう。本論文は、検証設計がウェアラブル由来のストレス分類器の見かけ上の性能にどのように影響するかを調査し、特に内部ウィンドウレベルの推定値と、参加者独立（Leave-one-identifier-out）の評価との間の乖離を検証する。

手法
本研究は、COVID-19パンデミック下における15名の女性看護師から収集された公開マルチモーダル・データセットを用いた、回顧的な二次計算ベンチマーク分析である。

• データソース: 分析には、Hosseiniらによって報告されたオリジナルのデータセット（約1,150万行の1秒間データを含む）を統合・再配布したデータを使用した。ソース・コホートは15名の看護師であるが、再配布されたデータには18個の一意の識別子（identifier）が含まれていた。
• センサーおよび特徴量: データはEmpatica E4デバイスを通じて取得され、皮膚電気活動（EDA）、心拍数（HR）、皮膚温度、および3軸加速度を測定した。信号は60秒のウィンドウに分割され、各モダリティごとに24の統計的特徴量（平均、標準偏差、最小値、最大値）が抽出された。
• ラベル: ターゲット変数である3段階のストレス状態（低、中、高）は、臨床的な診断ではなく、アルゴリズムによって提案されたイベントを看護師がレビューすることによって導出されたものである。
• モデル: 以下の6つのアルゴリズムを評価した：ランダムフォレスト、XGBoost、LightGBM、多層パーセプトロン（MLP）、長短期記憶（LSTM）、および1D畳み込みニューラルネットワーク（1D CNN）。
• 検証戦略:
  1. 内部時間依存ウィンドウ検証: 統合されたシーケンス内の時間に基づく分割であり、後続のウィンドウがテストセットとして機能する。これにより、同一の看護師のウィンドウが学習用とテスト用の両方のパーティションに現れることが許容される。
  2. Leave-One-Subject-Out (LOSO) 検証: 単一の識別子のすべてのウィンドウをモデルの適合中に保持する、参加者独立の評価。これは、データの可用性の制約により、XGBoostモデルに対してのみ実施された。
• 分析ツール: 特徴量の重要性を解釈するためにSHAP（SHapley Additive exPlanations）値が使用され、特定のモダリティの寄与を評価するためにセンサーグループのアブレーション研究が行われた。

主な結果

• 性能の乖離: 内部ウィンドウレベルの精度は、0.810（MLP）から0.990（LSTMおよび1D CNN）の範囲であった。対照的に、XGBoostをLOSO検証で評価した際、平均精度は0.661へと大幅に低下した（0.287の減少）。保持された個々の識別子による精度は、約0.32から0.90まで幅広く変動した。
• 特徴量の重要性: SHAP分析は、EDAの特徴量がモデルの出力に最大の寄与を提供し、次いで皮膚温度と動きの特徴量が高いことを示した。心拍数の寄与は最小限であった。
• アブレーションの結果: EDA特徴量を除去すると精度が0.0606低下し、皮膚温度を除去すると0.0455低下した。心拍数または単一の加速度軸のいずれかを除去しても、無視できる程度の減少（<0.009）にとどまった。
• 時間的パターン: 探索的な時間マッピングにより、識別子間で不均一なパターンが明らかになった。検証済みの勤務表がない限り、ストレスレベルが夜勤中や特定の時間帯（例：12:00–18:00）に高いという一貫した主張をデータは支持しなかった。

主な貢献

1. 検証バイアスの実証: 本研究は、内部ウィンドウレベルの検証が、ストレス分類におけるモデル性能を大幅に過大評価することを実証する経験的証拠を提供する。高い内部精度（最大0.990）は、未知の看護師への転送可能性を保証するものではない。
2. 汎化ギャップの定量化: XGBoostの内部結果とLOSOの結果を比較することで、ユーザー固有の評価からユーザー独立の評価へ移行した際の顕著な性能低下（平均精度0.948から0.661への減少）を定量化した。
3. モダリティ依存性の分析: 本研究は、分類器がEDAと皮膚温度に強く依存していることを特定しており、これらの信号がノイズが多い、あるいは新しい環境で欠如している場合、モデルがうまく汎化できない可能性を示唆している。
4. ラベルの由来に関する批判: 分析は、ターゲットラベルが独立した臨床診断ではなく、予測に使用されるものと同じセンサーデータから部分的に派生していることを強調しており、これが内部性能を膨張させる潜在的な経路（ラベルの組み込み）を生み出していることを指摘している。

意義および主張
本論文は、保持された内部推定値が、未知の看護師に関連する性能を大幅に過大評価していたと結論付けている。著者らは、高い内部精度をデプロイメント（実用化）の準備が整ったものと誤解すべきではないと主張している。

• 運用の準備状況: これらの知見は、現在のモデルが自律的なアラーム、人員配置ルール、またはパフォーマンス管理ツールとして運用可能な状態にはないことを示している。
• デプロイメントの要件: これらのシステムを実務で使用できるようになる前に、独立したアウトカム、再現可能な参加者レベルの評価（LOSOなど）、キャリブレーション、および外部検証が必要である。
• 限界: 著者らは、単一施設からの全女性コホートであること、15名のソース看護師と18の識別子の間の未解決の不一致、独立したアウトカムの欠如、および信頼区間やクラス別メトリクスの不在を含む限界を明示的に述べている。
• 今後の方向性: 本論文は、意図された用途を事前登録し、独立したタイムスタンプ付きのアウトカムを収集し、不確実性とキャリブレーション指標を報告する決定的な評価を求め、ヘッドラインとなるウィンドウレベルの精度よりも、転送可能性と再現性を優先すべきであることを強調している。