技術要約：見えないものからの学習：隠れたアクションを伴うオフライン強化学習

1. 問題の定式化

標準的なオフライン強化学習（RL）およびオフポリシー評価（OPE）アルゴリズムは、データセットに記録されたアクションがエラーなしで観測されていることを前提としている。しかし、多くの実世界のアプリケーション、特に電子健康記録（EHR）を用いたヘルスケア分野においては、真のアクション（$A_t$）は観測不能（潜在的）である。代わりに、アノテーションエラー、チャート記録の遅延、不完全な管理システム、またはプライバシー保護のためのデータの粗視化により、ノイズを含むプロキシ（代理指標）またはサロゲート（$\tilde{A}_t$）のみが利用可能となる。

本論文は、アクション空間が部分的または完全に潜在的な無限ホライゾンの割引マルコフ決定過程（MDP）において、ターゲット方策 $\pi$ を評価する問題に取り組んでいる。目標は、履歴データから方策の価値 $V(\pi)$ を推定することであるが、ここで生成される履歴データは、真の $\{(S_t, A_t, R_t, S_{t+1})\}$ ではなく、観測された $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ で構成されている。既存のOPE手法において、観測されたサロゲート $\tilde{A}_t$ を真のアクション $A_t$ の代わりとして素朴に置き換えると、Q関数や密度比が潜在的な真のアクションに対して定義されているため、バイアスのある推定値が生じる。

2. 手法

2.1 同定戦略

著者らは、特定の仮定の下で、観測されたデータ分布から方策の価値 $V(\pi)$ が同定可能であることを確立している。核心となる洞察は、**次状態（$S'$）**を自然なプロキシとして活用することである。遷移ダイナミクスは真のアクションに依存するため、$S'$ には同定に利用できる隠れたアクションに関する情報が含まれている。

同定は、以下の4つの主要な仮定（仮定3.1）に基づいている：

1. カバレッジ（Coverage）: ターゲット方策のサポートが、振舞方策のサポートに含まれていること。
2. 関連性（Relevance）: 真のアクション $A$ が与えられたとき、報酬 $R$、サロゲート $\tilde{A}$、および次状態 $S'$ は、状態 $S$ を条件として独立ではないこと。
3. 条件付き独立性（Conditional Independence）: 真のアクション $A$ と状態 $S$ が与えられたとき、サロゲート $\tilde{A}$、報酬 $R$、および次状態 $S'$ は互いに独立であること。
4. サロゲートの質（Surrogate Quality）: サロゲートがランダムな推測よりも多くの情報を提供していること（例：バイナリアクションの場合、$A=1$ のときに $\tilde{A}=0$ が観測される確率は、$A=0$ のときよりも低い）。

これらの条件下で、著者らは $V(\pi)$ が一意に同定されることを証明している（定理1）。

2.2 LURE 推定器

価値を推定するために、本論文では LURE (Learning from the Unseen: Robust Estimator) を提案する。この推定器は、完全データにおける効率的影響関数から導出された観測データの影響関数に基づいて構築されている。

影響関数 $\phi_\pi(O)$ は以下のように定義される：
$$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$$
ここで：

• $\omega(S, a)$ は、ターゲット方策と振舞方策の間の周辺密度比である。
• $\theta_R(S, a)$ は報酬関数である。
• $M V^\pi(S, a)$ は期待将来価値である。
• $g_a$ および $g'_a$ は、「ブリッジ」推定器として機能する構築関数であり、観測されたサロゲート $\tilde{A}$ と次状態のプロキシ $S'$ を用いて、指示関数 $\mathbb{I}(A=a)$ を置き換える。具体的には、これらは $S$ と $A$ が与えられたときの $\tilde{A}$ と $S'$ の条件付き期待値を含む比率である。

2.3 推定手順 (EM アルゴリズム)

真のアクション $A$ は潜在変数であるため、摂動関数（$\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$）を推定するために標準的な教師あり学習を直接適用することはできない。著者らは、新しい Expectation-Maximization (EM) スタイルの反復アルゴリズム（アルゴリズム2）を提案している：

1. 初期化: 事後確率 $\eta(O; a) = P(A=a | O)$ を初期化する。
2. Mステップ（重み付き教師あり学習）: 事後確率 $\eta$ を既知の重みとして扱う。重み付き回帰または重み付きミニマックス最適化（密度比 $\omega$ のため）を用いて、摂動関数（振舞方策、測定モデル、報酬/遷移モデル、および密度比）を更新する。
3. Eステップ（事後確率の更新）: ベイズの定理と更新された摂動推定値を用いて、事後確率 $\eta(O; a)$ を更新する。
4. 反復: 収束するまで繰り返す。

さらに、EM アルゴリズムでは潜在クラスのラベルが任意に入れ替わる可能性があるため（例：真の $A=0$ がコンポーネント1にマッピングされる）、**ラベル・アライメント（Label Alignment）**の問題に対処する。一貫した解釈を確保するため、推定後にサロゲートの条件付き確率に基づくラベル・アライメント・ステップが行われる。

2.4 クロス・フィッティング

オーバーフィッティングのバイアスを軽減し、経験的プロセスの剰余を制御するために、著者らは $K$-fold クロス・フィッティング手順を採用している。摂動関数は訓練フォールドで推定され、保持されたテストフォールドで評価される。

3. 主な理論的貢献

• 多重頑健性（Multiple Robustness）: LURE 推定器は**多重に頑健（multiply robust）**である。系図1に示されるように、いくつかの特定の摂動コンポーネントの組み合わせのうち、少なくとも一つが正しく指定されていれば、推定器は一貫性を保つ（$\hat{V}(\pi) - V(\pi) = o_p(1)$）。例えば、継続価値の誤差が無視できるほど小さい場合、報酬ブリッジ $\theta_R$ が一貫しており、かつ潜在アクション回帰 $\theta_{\tilde{A}}$ または次状態回帰 $\theta_{S'}$ のいずれかが一貫していれば、一貫性が保持される。
• 漸近正規性（Asymptotic Normality）: 正則条件および摂動推定器の収束速度（具体的には、誤差の積が $n^{-1/2}$ より速く減衰することを要求する）の下で、推定器は漸近正規に従う（定理4）。これにより、有効なワルド型の信頼区間の構築が可能になる。
• 誤差境界（Error Bounds）: 本論文は、影響関数の平均、ラベル選択の剰余、および摂動推定誤差の積を含む二次的な剰余に分解される有限サンプル誤差境界（定理3）を提供している。

4. 実験結果

著者らは、シミュレーションと実世界のアプリケーションを通じて LURE を評価している：

• 表形式および一般的な MDP: 様々な誤分類率（$\tau \in \{0.05, 0.1, 0.2, 0.3\}$）を持つ合成環境において、潜在構造を無視した標準的なOPE手法（SIS, FQE, LSTD, MIS, DRL）は、誤分類率が高くなるにつれて悪化する顕著なバイアスを示す。対照的に、LURE は真の方策の価値の周囲に留まる。
• OpenAI Gym (CartPole): 連続状態環境において、LURE はベースラインを上回り、信頼区間の被覆率（nominal 95% レベルに近い）を正確に維持する。一方、ベースラインは大幅なバイアスや不安定な被覆を示す。
• MIMIC-III 敗血症解析: 本手法を敗血症管理データセットに適用した。研究では3つの方策を評価している：「常にIV投与」、「IVなし」、「SOFA適合型ルール」。
  • LURE は、「常にIV投与」の方策が期待SOFAスコアが最も低い（62.10）と推定しており、これが最適な方策であることを示唆している。
  • 「常にIV投与」の95%信頼区間 [60.16, 64.04] は、他の方策の区間と重なっていない。
  • 対照的に、標準的な DRL 推定器はすべての方策で信頼区間が重なっており、これらを区別できていない。これは、隠れたアクションを無視することが、臨床現場において誤解を招く実証的結論につながる可能性があることを浮き強調している。

5. 重要性と主張

本論文は、隠れたアクションの設定におけるオフライン強化学習を研究した最初の研究であると主張している。その重要性は以下の点にある：

1. 決定的なギャップへの対処: 標準的なRL手法では信頼性の高い処理ができない、アクションデータがノイズを含む、あるいは潜在的である場合の、原理に基づいたOPEフレームワークを提供している。
2. 理論的厳密性: 識別条件を確立し、RLの逐次的性質を考慮した影響関数を導出しており、これは静的な隠れた治療の設定とは区別される。
3. 実用的な有用性: 多重頑健性と漸近正規性を実証することで、LURE は、従来のメソッドではバイアスのある点推定しか得られなかった設定においても、有効な統計的推論（信頼区間および仮説検定）を可能にする。
4. 実世界への影響: MIMIC-III データベースへの適用は、隠れたアクションを考慮することが方策のランキングや臨床的な推奨事項を根本的に変え得ることを示しており、標準的なRL評価がこのような補正なしには信頼できない可能性を示唆している。

著者らは、本フレームワークはカテゴリカルなアクションにも一般化可能であるが、現在の研究では明確化のためにバイナリアクションに焦点を当てていること、また、次状態が隠れたアクションの有効なプロキシとして機能するという特定の仮定に依存していることを述べ、控えめなトーンを維持している。