技術要約：モバイルヘルス展開のための拡散モデルを用いたサブポピュレーション・デジタルツイン

1. 問題提起

モバイルヘルス（mHealth）介入は、パーソナライズされた行動へのナッジ（例：活動の提案）をリアルタイムで提供するために、JITAI（Just-in-Time Adaptive Interventions）のようなオンライン学習アルゴリズムにますます依存しています。しかし、これらのアルゴリズムの設計には、探索率や特徴量選択といった多数のハイパーパラメータや構造的選択が伴い、これらが適切に構成されていない場合、参加者に負担を強いたり、介入の有効性を低下させたりする可能性があります。

主な課題は、実際の展開前にこれらのアルゴリズム設計を検証するための、現実的なシミュレーターが不足していることです。既存のシミュレーターには主に2つの限界があります：

1. データの希少性： ターゲットとなるサブポピュレーション（例：心臓リハビリテーション患者）は規模が小さいことが多く（40〜80名）、堅牢なモデルを訓練することが困難です。
2. データの貧弱化： 連続する展開では、異なるサブポピュレーション、場所、または社会的文脈がターゲットとなることがよくあります。以前の展開で訓練されたシミュレーターは、分布の変化（例：パンデミック後の行動変化）により、次の展開への汎化に失敗することがあります。
3. モデルの限界： 従来の構造的シミュレーター（例：線形状態空間モデル）は、実際の活動データの非線形、ゼロ過剰、および不均一なダイナミクスを捉えることができません。リサンプリング手法は周辺分布を保持しますが、時間的な一貫性を失うことがよくあります。

本論文では、ターゲットとなるサブポピュレーションを表す「JITAI-Twin」を提案します。これは、研究開始前に行動と介入への反応をシミュレートできるデジタルツインであり、安全なオンラインアルゴリズム設計のテストを可能にします。

2. 手法

提案手法は、3段階のパイプラインを通じて、条件付き時系列拡散モデルを用いてJITAI-Twinを構築します。アーキテクチャはTimeWeaver (Narasimhan et al., 2024) をベースとしていますが、時間的一貫性（非予期的であること）、つまり未来のアクションが過去の状態の生成に影響を与えないことを保証するように修正されています。

2.1. アーキテクチャ

• ベースモデル： 36個の残差ブロックをバックボーンとする状態空間拡散モデル（SSSD）。
• 時間的一貫性： オンラインアルゴリズムの評価をサポートするため、モデルは時間を厳密に前方方向に生成します。これは以下によって実現されます：
  • 左パディングされた1次元畳み込み： 出力 $t$ が入力 $\le t$ にのみ依存することを保証します。
    かつ、
  • 前方方向のみのS4カーネル： 構造化状態空間カーネルの順方向のみを使用し、未来のタイムステップからの情報フローを防ぎます。
• コンディショニング（条件付け）：
  • ベースライン調査： 凍結されたT5テキストエンコーダを介して自然言語の要約へとエンコードされ、各残差ブロックでのクロスアテンションを通じて注入されます。これにより、研究間で異なるヘテロジニアスな調査スキーマを扱うことができます。
  • 介入シーケンス： ファインチューニング中に、専用の、ゼロ初期化された、時間的に一貫したモジュールを介して注入されます。

2.2. 3ステップのパイプライン

このパイプラインは、新しい展開にツインを適応させるために、3つの異なる情報源を統合します。

1. 事前学習（観測データ）：

   • ソース： 大規模な観測データセット（例：NIHの"All of Us"）。ここでは、介入なしで参加者がモニタリングされています。
   • 目的： 日々の行動ダイナミクス（例：昼夜のサイクル、ゼロ過剰パターン）および、ベースラインの属性に基づく個人間の変動に関する広範な事前分布を学習すること。
   • 訓練： 状態空間バックボーン、クロスアテンション、およびプロジェクションを訓練します。介入レイヤーは除外されます。

2. ファインチューニング（事前の介入データ）：

   • ソース： 同一の介入タイプ（例：HeartSteps v2/v3）の以前の展開から得られた小規模なデータ。
   • 目的： 特定の介入ナッジが、観測的な事前分布に対してどのように行動をシフトさせるかを学習すること。
   • 訓練： 介入に依存しないダイナミクスを捉える状態空間バックボーンは凍結されます。介入注入経路、クロスアテンションに対するLoRAアダプタ、および入出力プロジェクションのみが更新されます。これにより、小規模なデータセット（約100名）での過学習を最小限に抑えます。

3. 推論時のキャリブレーション（展開前の知識）：

   • ソース： ドメイン科学者の専門知識、またはLLMによる、今後の展開に関する人口統計および文脈の予測（例：「パンデミック後の南カリフォルニアの過体重の成人」）。
   • 目的： ターゲットとなる展開のデータを使用することなく、ファインチューニングされたツインをターゲット集団の期待される行動プロファイルに適合させること。
   • メカニズム： **報酬傾斜サンプリング（reward-tilted sampler）**が拡散生成プロセスを修正します。モデルは、傾斜した分布 $\tilde{p}(s) \propto p_\theta(s) \exp(\gamma \langle v, s \rangle)$ からサンプリングを行います。ここで、$v = \mu^* - \mu_{base}$ はターゲットの平均プロファイル（$\mu^*$）とベースモデルの平均との差です。信頼パラメータ $\gamma$ は、シフトの強さを制御します。
   • ターゲットプロファイルの生成： 2段階のLLMプロンプトにより、集団の違いに関する定性的な推論を引き出し、それを数値的な日周形状へと変換し、その後、以前の展開の活動レベルによってスケーリングします。

3. 主な貢献

1. 時間的に一貫した拡散アーキテクチャ： 時系列拡散モデルの新しい修正を加えたもので、厳密な前方方向の時間情報フローを強制します。これにより、未来のアクションが過去の状態に影響を与えることができないオンライン学習アルゴクションの評価に有効な環境となります。
2. 推論時のキャリブレーション： 報酬傾斜サンプリング（事前の知識、プロトコル、および専門家/LLMの予測を使用）を用いることで、再学習を行うことなく、固定された生成モデルを未知の集団に適応させる手法。
3. エンドツーエンドの評価： HeartStepsプログラム（v2からv4まで）の包括的なリプレイを行い、事前学習された観測的事前分布から、ファインチューニングされ、キャリブレーションされたシミュレーターへと、異なる集団の変化に対して進化するツインの能力を実証しました。

4. 結果

本手法は、HeartSteps身体活動介入シリーズを用いて評価され、JITAI-Twinをより単純なベースライン（KNN、Per-State Rejection Sampling、線形構造方程式モデル）と比較しました。

• 分布シフトにおける忠実度：
  • 最初のハンドオフ（v2/v3）： 事前の介入データがない状態で、キャリブレーションされた事前学習済みツインは、ベースラインよりも参加者間の不均一性（自己相関の広がり）を大幅に良く再現しましたが、日次プロファイルの適合度はリサンプリング手法と同等でした。
  • 二度目のハンドオフ（v4）： ターゲット集団が大きくシフトした場合（シアトルの心臓疾患患者から南カリフォルニアの過体重の成人へ）、キャリブレーションおよびファインチューニングされたツインは、オラクルに近い性能（実際のデータの下限に一致）を達成しました。これは、日次プロファイル、時間的なバット（塊）構造、および参加者間の不均一性を同時に忠実に再現できた唯一の非オラクル手法でした。ベースラインは、不均一性が崩壊するか、時間的パターンを誤って表現するかのいずれかとなり、転移に失敗しました。
• デモグラフィック・コンディショニング： ツインは、生成されたデータにおいて、デモグラフィックな対比の方向性（例：雇用されている vs 失業している、ストレスレベル）を正常に再現し、実際のデータのサブグループの順序とピークタイミングに一致しました。
• キャリブレーション・ターゲットの正確性： LLMによって生成された定性的予測を数値ターゲットに変換することで、日周活動パターンのシフト（例：パンデミック後のv4コホートの二峰性パターン）を予測することに成功し、ツインが実際のターゲット分布へのギャップを埋めることができました。
• 介入効果： ツインは、v4における特定のHeartStepsナッジに対して、ほぼゼロの効果を学習しました。これは実際のプログラムの知見と一致しており、介入の有効性を幻覚（ハルシネーション）として生成していないことを示しています。

5. 意義と主張

本論文は、このフレームワークが、実際の展開前にオンラインアルゴリズムの設計決定をテストし、情報を与えるための実用的な前提条件を提供すると主張しています。

• コスト・ベネフィット： ツインのコストは、展開が大きく異なる（分布シフトがある）場合、または決定が単純なリサンプラーが崩壊させてしまう参加者間の不均一性に依存する場合に、その価値を発揮します。集団が類似している場合は、より単純なリサンプラーで十分な場合があります。
• 再現性： アルゴリズムのハイパーパラメータの事前検証を可能にすることで、再現性を損なったり参加者のエンゲージメントを低下させたりする、展開中の即興的な修正を防ぐことを目的としています。
• 限界： 著者らは、アーキテクチャは時間的に一貫しているものの、本質的に因果効果を特定するものではないことを明記しています（ファインチューニング過程において、特定の重み付けなしに交絡を完全に除去することはできません）。また、「モデルから決定へのループ」（ツインを使用して実際の展開を実際に変更すること）は、事前のプロスペクティブな試験ではなく、シミュレーションのリプレイにおいてのみテストされています。

この研究は、強力な生成的事前分布、小規模な介入データに対する堅牢なファインチューニング、および推論時のキャリブレーションを組み合わせることで、ターゲットとなる集団のデータが利用できない場合でも、専門家の知見があれば、高精度なサブポピュレーション・シミュレーターを構築できることを示唆しています。