Non-parametric Causal Inference in Dynamic Thresholding Designs

技術的サマリー：動的閾値設計における非パラメトリック因果推論

問題定義
回帰不連続（RD）デザインは、処置が走行変数が固定された閾値を越えるかどうかに基づいて割り当てられる静的な状況における非パラメトリック因果推論の標準的なツールである。しかし、医療、教育、公共政策における多くの重要な決定は、走行変数が時間とともに変化し、過去の処置の影響を受ける動的な状況で発生する。例えば、患者の翌年の血糖値（走行変数）は、前年に生活習慣介入（処置）を受けたかどうかによって依存する。

既存の RD 文献は、単位が一度だけ処置を受ける横断的状況に焦点を当てている。標準的な RD 手法を動的状況に直接適用することは失敗する。その理由は以下の通りである：

1. 過去の処置が将来の走行変数の分布を変化させ、複雑なフィードバックループを生み出す。
2. 時間範囲が広がるにつれて、すべての可能な処置履歴に対する因果推定量を定義することは「次元の呪い」をもたらす。
3. Reduced-form 手法（例：初期の走行変数に対する将来の結果を回帰する手法）は、完全な動的処置効果を捉えることができず、政策に関連するパラメータとして直接解釈できない。

手法
著者は、制限的なパラメトリック仮定を課すことなく処置の動態を考慮する、動的閾値設計における非パラメトリック因果推論の枠組みを提案する。

• 対象推定量（限界政策効果）： 本論文は、古典的な RD 推定量を単にカットオフにおける局所平均処置効果（LATE）としてではなく、限界政策効果として再解釈する。具体的には、閾値 $c$ に対する期待割引厚生（価値関数）の微分と、閾値 $c$ に対する期待割引処置頻度の微分の比率として定義される：
  $$\tau^{RD} := \frac{\partial V^Y(\pi_c)}{\partial c} \Big/ \frac{\partial V^A(\pi_c)}{\partial c}$$
  ここで、$V^Y$ と $V^A$ はそれぞれ政策 $\pi_c$ の下でのネット現在期待結果と処置回数を表す。この比率は、閾値を限界的に引き下げる際の費用対効果のトレードオフを特徴づける。

• Q 関数による同定： 強化学習（RL）およびマルコフ意思決定過程（MDP）に基づき、著者は政策勾配を同定するためにQ 関数（行動価値関数）を利用する。彼らは、システムがマルコフ構造に従う場合（観測されない状態があっても g-公式が成り立つ場合）、政策勾配が、走行変数の条件付き密度で重み付けされた閾値における Q 関数の差の割引和として表現できることを示す。
  $$-\frac{\partial V^Y(\pi_c)}{\partial c} = \sum_{t=0}^T \gamma^t E\left[ (Q^Y_{c,t}(S_t, c, 1) - Q^Y_{c,t}(S_t, c, 0)) f_t(c | S_t) \right]$$
  この特徴付けにより、動的限界政策効果は、単一の現状閾値で収集されたデータを用いて同定可能となる。

• 推定（二重割引局所線形回帰）： $\tau^{RD}$ を推定するために、著者は特化した**局所線形回帰（LLR）**推定量を提案する。標準的な静的 RD とは異なり、この推定量は以下の点で特徴付けられる：

  1. 即時的な結果ではなく、将来の結果（$\Gamma^Y_{i,t}$）と処置（$\Gamma^A_{i,t}$）の割引和を従属変数として使用する。これは Q 関数を近似し、長期的な下流効果を組み込む。
  2. 政策勾配定理の構造を反映するように、観測値に時間的割引重み（$\gamma^t$）を適用する。
  3. 単位間で共通する時間固有のシフトを吸収し、漸近分散を減少させるために時間固定効果を含む。
  4. 閾値の変更が将来の処置頻度にどのように影響するかという不確実性を考慮するため、ファジー RD 推定量と同様に比率形式（$\hat{\tau}^Y / \hat{\tau}^A$）をとる。

主要な結果

• 一致性： 標準的な正則条件（カットオフにおける条件付き反応関数および密度の連続性、Q 関数の滑らかさ）の下で、提案された推定量は動的限界政策効果 $\tau^{RD}$ に対して一致する。
• 漸近分布： 推定量は、標準的な非パラメトリック収束率 $n^{-2/5}$（バンド幅 $h_n \sim n^{-1/5}$）を達成する。漸近分散は、$\gamma^{2t}$ で重み付けされたすべての時間期間にわたる不確実性を集約する。
• 分散推定： 著者は、軌道内の時間における任意の依存性を考慮して、漸近分散を一貫して推定する単位クラスター化サンドイッチ分散推定量を提案する。
• バンド幅選択： 残差化された結果と単位クラスター化分散推定量を使用することで、Imbens-Kalyanaraman (2012) 法を動的状況に拡張する、データ駆動型のバンド幅選択則が導出される。

実証的検証
著者は、2 つの数値実験を通じてアプローチを検証する：

1. 自己回帰シミュレーター： 状態が過去の処置に基づいて変化する様式化されたデータ生成過程。提案された手法は動的限界政策効果を正しく回復するのに対し、標準的な LLR（部分均衡効果を対象とする）および単純な長期 LLR（将来の閾値越えを無視する）は、有効な推論を提供できず、または著しいバイアスを示す。
2. UVa/Padova 1 型糖尿病シミュレーター： 連続血糖モニタリングのために FDA 承認されたシミュレーターを使用し、インスリン投与の動的閾値ルールを模倣する。提案された手法は、さまざまな割引因子にわたって信頼区間の名义カバレッジを維持するのに対し、競合する手法は、標準的な LLR が深刻なアンダーカバリングを示すか、または単純な長期 LLR が無意味で極めて広大な区間を生成する。

意義と主張
本論文は、標準的な横断的 RD 結果と同等の一般性を持つ、動的閾値設計に対する最初の非パラメトリック因果推論結果を提供すると主張する。

• 政策関連性： 推定量を限界政策効果として枠組みづけることで、リソース配分（例：健康スクリーニングの閾値を低下させるかどうかの決定）の費用対効果分析を直接可能にする。
• 頑健性： この手法は、以前の動的 RD 手法（例：Cellini et al., 2010）が要求する制限的なパラメトリック仮定や、他の手法（例：Hsu and Shen, 2024）が要求する強い条件付き独立性仮定を回避する。
• 理論的架け橋： この研究は、回帰不連続デザインに関する文献と強化学習および政策勾配定理に関する文献を架け渡し、時間的干渉を伴う状況における観察的因果推論のために政策勾配の概念を適応可能であることを実証する。

著者は、彼らの特定の局所線形回帰推定量が一致する一方で、他のアルゴリズムの効率性や、Calonico et al. (2014) のようなバイアス意識型推論手続きの動的状況への適応については、依然として疑問が残ると指摘している。