Inverse Reinforcement Learning for Interpretable Keystroke Biomarkers in Parkinson's Disease

技術要約：パーキンソン病における解釈可能なキーストローク・バイオマーカーのための逆強化学習

問題提起
パーキンソン病（PD）は、通常、顕著な運動ニューロンの消失が起こった後に診断されるため、早期発見や長期的なモニタリングを支援するための受動的なデジタル・バイオマーカーが必要とされている。キーストローク・ダイナミクス（キーの押し込みと離しのタイミング）は候補となるバイオマーカーとして検討されてきたが、既存の文献はほぼ排他的に教師あり分類に依存している。これらのアプローチは、タイピング信号から固定された要約統計量（平均、分散、高次モーメント）を抽出し、ユーザーのタイピングがPD患者に似ているか否かを判別する。しかし、これらは「なぜ」そのような現象が起きているのか、あるいはどのような具体的な行動変化が生じているのかを説明するには不十分である。さらに、報告されている精度には大きな幅があり、2022年のメタ解析では高い異質性（$I^2 = 94\%$）が示されており、これは先行研究における過学習や手法の不一致を示唆している。

手法
本論文は、キーストローク・ダイナミクスのモデリングにおいて、教師あり分類から**逆強化学習（Inverse Reinforcement Learning: IRL）**への転換を提案している。エージェントを分類器として訓練するのではなく、各キーストロークの遷移をタイピング速度に関する離散的な選択として扱い、観察された逐次的な決定を最もよく説明する潜在的な報酬関数を推定する。

• データソース: 本研究では、公開データセットである neuroQWERTY MIT-CSXPD（85名：PD 42名、コントロール群 43名）を使用しており、臨床環境での自由記述タイピング中に収集されたものである。著者らは予備解析においてTappyデータセットを明示的に棄却した。Tappyでは標準的な統計的特徴量が有意なグループ間差を示せず（AUC $\approx$ 0.377）、これは制御されていないホームコレクション・プロトコルによる困難さを指摘する文献とも一致している。
• 特徴量エンジニアリング: モデルは、プールされた五分位に基づき、フライトタイムを $K=5$ 個のビンに離散化する。報酬関数 $R(s, a)$ は、以下の特徴関数 $\phi(s, a)$ の加重和として定義される：
  1. 速度 (Speed): $\phi_{speed}(a) = -v_a$ （速いタイピングへの嗜好）。
  2. 一貫性 (Consistency): $\phi_{consistency}(t, a) = -|v_a - c_t|$ （ここで $c_t$ は移動平均のコンテキスト）。
  3. 交互の手 (Hand-Alternation): $\phi_{hand}(t, a) = -\mathbb{I}[\text{cross-hand}] \cdot v_a$。
• 最適化: 被験者ごとの重み $w$ は、L-BFGS-Bを用いて、選択されなかった代替案に対する観察されたビンの選択の対数尤度を最大化する最大エントロピーIRLを通じて回収される。
• 識別性の修正: 当初、4パラメータモデル（「努力」と「滑らかさ」を分離したもの）は、典型的な文脈におけるこれら2つの項間の完全な特徴量の共線性（$r=1.000$）により失敗した。著者らは、これらを単一の「一貫性」項に統合することで修正し、安定した3パラメータモデルを実現した。
• 検証の厳密性: パイプラインは敵対的コードレビューを受け、2つの実装バグが特定・修正された：(1) マルチセッションの被験者においてセッション境界で移動窓をリセットできていなかったこと、および (2) 移動平均に現在の観測値が含まれていたというデータリーク。これらの修正は、主要な相関係数には無視できる程度の変化しか与えなかった。

主な結果
主要な知見は、回収された速度嗜好の重み（$w_{speed}$）が、臨床的なPD重症度（UPDRS-IIIスコア）と強固に相関していることである。

• 相関: $r = -0.607$ ($p < 0.001$, $n=42$)。より負の重み（他の条件が等しい場合、速いタイピングに対してより強い暗黙的な報酬を示すこと）は、運動障害の大きさに関連している。
• 増分価値: 生のタイピング速度単独ではUPDRSの分散を19.4%しか説明できないが（$R^2 = 0.194$）、IRLによって回収された速度嗜好を加えることで、これを33.8%まで増加させた（$R^2 = 0.338, p = 0.006$）。
• 堅牢性: この結果は以下において成立している：
  • 2つの独立したサブコホート（CS1およびCS2）。
  • 複数の感度設定（ビン数や窓サイズの変更）。
  • ブートストラップ信頼区間（95% CI: $[-0.767, -0.369]$）。
  • 置換テスト（$p < 0.0001$）。
• 負の結果: 「一貫性」および「交互の手」の回収された重みは、交絡チェック（具体的には生のタイピング速度の制御）を通過できず、非有意であると報告されている。

意義と主張
著者らは、本研究をキーストロキニクスにIRLを適用した最初の事例として位置づけている。本論文の意義は、単なる相関係数によってではなく、その検証プロセスによって定義される。著者らは、この分野が説明のつかない異質性に苦しんでおり、識別性の失敗の特定、実装バグの修正、および負の結果の報告を含む厳密な検証こそが重要な貢献であると主張している。

本研究は、IRLが解釈可能な、被験者ごとの行動的嗜好（速度）を回収でき、それが臨床的重症度と相関し、単純な要約統計量を超えた説明力を提供できることを示している。しかし、著者らは謙虚な姿勢を維持しており、速度と一貫性の項の間に残存する共線性があるため、モデルが完全に識別されているわけではないことを認めている。また、独立したコホートによる外部的な再現が次のステップであるとしている。