技術要約：一般化線形マルコフ決定過程 (GRASP-MDP)

1. 問題設定

縦断的研究、特にヘルスケアやデジタル介入におけるオフライン強化学習（RL）は、相互に関連する2つの課題に直面している：

1. 非線形報酬構造： 結果はしばしばバイナリ（例：再発）であったり、有界な連続値（例：0〜10のスケールにおける障害スコア）であったりする。これらは、標準的な線形MDPが仮定する線形報酬よりも、一般化線形モデル（GLM）によって自然にモデル化される。
2. 半教師ありデータ不足： 状態・行動・次状態の遷移（trajectory）は完全に記録されていることが多い一方で、対応する報酬の観測は、一部の軌跡や特定の時点においてのみ利用可能である場合がある。既存の手法は、遷移のみのデータを破棄するか（継続価値に関する情報を失う）、あるいは報酬の補完に依存する（検証されていない仮定を導入する）かのいずれかである。

標準的な線形MDPの手法は、非線形な報酬平均が線形ベルマン再帰を崩壊させるため、ここでは機能しない。また、既存の半教師ありアプローチは、遷移ダイナミクスの推定と報酬モデリングを明示的に分離していない。

2. 手法：GRASP-MDP

著者らは、報酬と遷移の推定を分離しつつ、扱いやすいベルマン構造を維持するフレームワークである GRASP-MDP (Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes) を提案している。

2.1 モデルの仮定

GRASP-MDPは、以下のハイブリッド構造を仮定する：

• 遷移ダイナミクス： 遷移カーネルは特徴写像 $\phi_p$ に対して線形である：
  $$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$$
• 報酬ダイナミクス： 条件付き平均報酬は、既知のリンク関数 $g$ を持つ一般化線形モデル（GLM）に従う：
  $$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$$
  ここで、$\phi_r$ と $\phi_p$ は異なる特徴写像であり、報酬に関連する情報と遷移に関連する情報が異なる統計的役割を果たすことを可能にしている。

2.2 非線形＋線形ベルマン完全性

核心となる理論的洞察は、非線形な報酬が標準的な線形ベルマンクラスを崩壊させる一方で、このモデルが 非線形＋線形関数クラス $\mathcal{F}$ を誘導することである：
$$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$$
著者らは（Proposition 1）、任意の有界な価値関数のベルマンバックアップがこのクラス $\mathcal{F}$ に属することを証明している。具体的には、バックアップは非線形な報酬項と線形な継続項に分解される。この構造により、報酬が線形であることを要求することなく、明示的なベルマン完全性が可能となる。

2.3 アルゴリズム：成分ごとの悲観的価値反復

学習手順は、分解された悲観的価値反復（Algorithm 1）を利用する：

1. 報酬推定： 報酬が観測されたサブセット（$I^r_h$）のみを用いて、GLM（例：二項回帰またはベータ回帰）を通じて報酬パラメータ $\theta_h$ を推定する。
2. 遷移推定： 報酬が観測されているかどうかにかかわらず、利用可能なすべての状態・行動・次状態の遷移（$n + N$ 個の軌跡）を用いて、継続パラメータ $\beta_h$ を推定する。これはリッジ回帰によって行われる。
3. 悲観性： 報酬と遷移のそれぞれに対して不確実性の半径を差し引くことで、悲観的なQ関数を構築する：
   $$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$$
   • $\hat{\Gamma}_{r,h}$ はGLMの曲率と報酬観測セットのサイズから導出される。
   • $\hat{\Gamma}_{p,h}$ は遷移特徴量の共分散と総軌跡数から導出される。

このアプローチは、報酬の補完を必要とせずに、遷移のみの観測が遷移推定誤差を減少させることを保証する。

3. 主な貢献

1. 理論的フレームワーク： 報酬と遷移の分離によって誘導される「非線形＋線形」関数クラスにおけるベルマン完全性の確立。
2. アルゴリズム開発： 報酬と遷移の不確実性を個別に制御する、成分ごとの悲観的価値反復アルゴリズム。
3. 有限サンプル保証： 学習された方策の劣最適性が、2つの異なる項によって支配されることを示す理論的境界：
   • 報酬項は $O(\sqrt{d_r/n})$ でスケールする（ここで $n$ は報酬が観測された軌跡数）。
   • 遷移項は $O(\sqrt{d_p/(n+N)})$ でスケールする（ここで $n+N$ は総軌跡数）。
     これにより、報酬が欠落していても、遷移のみのデータ（$N$）が方策学習を改善することが証明される。
4. 拡張性： 本フレームワークは、ステップレベルの報酬観測（軌跡内で報酬がランダムに欠落する場合）および、有限の平均範囲を持つ劣ガウス報酬にも拡張可能であることが示されている。

4. 実証結果

4.1 シミュレーション

• 設定： 実験は、完全な報酬観測および部分的な報酬観測（バイナリおよび有界連続報酬（ベータ分布））をカバーしている。
• 知見： 報酬が非線形である場合、GRASP-MDPは一貫して線形MDPのベースライン（PEVI、Local/Global Q-learning）を上回った。部分的な報酬観測下では、遷移のみの軌跡を保持することで、それらを破棄したり、ラベル付きデータのみを使用したりする方法と比較して、方策の性能が大幅に向上した。

4.2 実世界への適用：多発性硬化症 (MS)

• 文脈： 電子健康記録（EHR）を用いた疾患修飾療法（DMT）戦略の学習。
• データ： Mass General Brigham の EHR および CLIMB レジストリからの 4,295 人の患者コホート。報酬は、Expanded Disability Status Scale (EDSS) に基づいており、これは有界（0–10）であり、断続的に観測される（患者期間の約40%で欠落している）。
• 結果： 報酬欠落データ（遷移のみの軌跡を保持）を利用した GRASP-MDP 方策は、ラベル付きデータのみ、あるいは標準的な線形ベースラインと比較して、平均 EDSS および EDSS $\le$ 4 の月数について、数値的に有利な推定値を得た。これは、報酬の報告が疎な臨床現場において、遷移のみの情報を活用することの実用的な利点を示した。

5. 意義と主張

本論文は、GRASP-MDP が、構造化され、断続的に観測される結果を伴うオフライン強化学習に対する原理的な解決策を提供すると主張している。その意義は以下の通りである：

• 計算可能性の維持： 線形MDP の統計的・計算的な扱いやすさを維持しながら、現実世界のデータに共通する非線形な報酬構造を受け入れる。
• 効率的なデータ利用： 報酬を補完することなく、遷移のみの観測を用いることを理論的に正当化し、補完の仮定によるバイアスを回避する。
• 不確実性の分離： 報酬と遷移の誤差を個別に制御することで、追加の遷移データと追加の報酬データの価値を明確に区別する有限サンプル保証を提供する。

著者らは、本手法が報酬に関する「Missing at Random (MAR)」および状態・行動領域の十分な被覆（positivity）といった標準的な仮定に依存していることを述べている。また、報酬の非無視的な欠落（non-ignorable missingness）や、報酬ラベル付き軌跡と遷移のみの軌跡間の分布シフトは、依然として解決すべき課題であるとしている。なお、本フレームワークは、劣線形後悔（sublinear regret）の保証を持つオンライン拡張（GLSVI-UCB）もサポートしている。