技術要約：反事実的正確性を通じた、ML支援型意思決定の因果的影響の境界推定

問題提起

予測機械学習（ML）モデルは、人間の意思決定者を支援するために、高リスクな領域（例：ヘルスケア、刑事司法）でますます導入されている。ランダム化比較試験（RCT）は、特定のML介入に関する因果的影響について高品質なエビデンスを提供するが、重大なギャップが存在する。それは、モデルの更新や再学習のイテレーションごとに新しいRCTを実施することは、多くの場合、実行不可能であるという点である。したがって、初期のRCTの後に、より高い予測精度を持つ新しいモデルが開発されたとしても、そのモデルが下流の成果（例：患者の生存率、再犯率）に与える直接的な因果的エビデンスは存在しない。

先行研究では、部分識別フレームワークを通じてこの問題に対処しようと試みてきた。例えば、Nercessianら [2025] は、予測が一致するモデル間ではアウトカムが変化しないと仮定しており、ChenおよびOberst [2025] は、ユーザーの信頼性に着想を得て、グローバルな性能指標（例：適合率）に基づいた個別のレベルでのアウトカムの違いを許容することでこれを緩和している。しかし、これらのフレームワークは**個別のレベルでの予測の正確性（prediction correctness）**を組み込むことに失敗している。多くのシナリオにおいて、正しい予測は誤った予測と比較して、劣らない結果をもたらすと考えることは合理的であり、著者らはこれを「反事実的正確性（counterfactual correctness）」と呼んでいる。

手法

著者らは、既知の試行済みモデルの集合（$T$）を用いた以前のRCTのデータを用いて、未試行の新しいモデル（$\pi_e$）の因果効果の境界を構築するための部分識別アプローチを提案している。

因果フレームワーク

データ生成プロセスは、有向非巡回グラフ（DAG）で表される構造的因果モデル（SCM）としてモデル化される。主要な変数は以下の通りである：

• $D$: RCTのアーム（コントロール群 vs 治療群）。
• $\Pi$: 予測に使用されるモデル。
• $X$: 共変量／特徴量。
• $Z$: 「真のラベル」（グラウンドトゥルース）。RCT内のすべての個人に対して観測される。
• $\hat{Z}$: 予測ラベル。
• $M$: $X$ および $\Pi$ に条件付けられた性能指標（例：適合率）。
• $A$: 意思決定者の行動（未観測または潜在的）。
• $Y$: 下流のアウトカム。

目標は、$E[Y(\pi_e)]$、すなわち未試行のモデル $\pi_e$ が展開されていた場合の期待アウトカムを推定することである。

構造的仮定

境界を導出するために、著者らは4つの主要な仮定を導入している。

1. 反事実的正確性 (Assump. 3.1): 正しい予測は害を与えない。形式的には、固定された真のラベル $z$ に対して、モデルが $z$ を予測した場合（正解の場合）、他の要因が一定であれば、アウトカムは $z' \neq z$ と予測した場合（不正解の場合）と同等かそれ以上に良好である。

   • 反証可能性: 片方のモデルが正解であり、もう片方が不正解であるデータのサブセットにおいて、両方のアウトカムを比較することでテスト可能である。

2. 条件付き性能単調性 (Assump. 3.2): 正確性に条件付けられた、モデルの性能に対する潜在的アウトカムの単調性。

   • 予測が正しい場合（$\hat{z}=z$）、高い性能はより良い（または同等の）アウトカムにつながる。
   • 予測が誤っている場合（$\hat{z} \neq z$）、高い性能はより悪い（または同等の）アウトカムにつながる（これは、自信を持って間違ったモデルに対する信頼の増加を反映している）。
   • 反証可能性: 予測が正しいサブセットにおいて、異なる性能レベルを持つモデル同士を比較することでテスト可能である。

3. 中立的予測 (Assump. 3.3): モデルの性能がアウトカムに影響を与えない「中立的な」予測（例：人間への委譲）が存在する。これは、コントロール群と新しいモデルの評価を連結させる。

4. 有界なアウトカム (Assump. 3.4): アウトカム変数 $Y$ は既知の $[Y_{min}, Y_{max}]$ 内に限定される。

部分識別境界

著者らは、モデルと共変量の空間を、試行済みモデルが未試行のモデル $\pi_e$ と一致するかどうか、およびそれらの相対的な性能に基づいて分割する。そして、各 $(x, z)$ ペアを以下の4つの論理ブランチのいずれかに割り当てるブランチセレクター（$b_L, b_U$）を導入する：

• 中立 (Neutral): $\pi_e$ が中立的な予測を行う。
• 単調 (Monotonic): $\pi_e$ が試行済みモデルと一致し、性能の順序付けによって単調性を介した境界設定が可能である。
• 正確 (Correct): $\pi_e$ が正しい予測を行うが、試行済みモデルのいずれもそれと一致しない（あるいは、それらが下限の構築に寄与しないほど「優れている」）。ここで、境界は「正しい予測は、いかなる不正解の予測よりも悪くない」という仮定に依存する。
• デフォルト (Default): 保守的なフォールバックとして $Y_{min}$（下限）または $Y_{max}$（上限）を採用する。

結果として得られる境界 $L(\pi_e)$ および $U(\pi_e)$ は、$X$ と $Z$ の分布に対する点別境界の期待値を取ることによって構築される。

推定

論文では、これらの境界に対する一貫性のある漸近正規推定量を提供している。推定戦略は、以下の3つの課題に対処している：

1. 摂動モデル（nuisance models）を用いた条件付き期待値 $E[Y|X, Z, \Pi]$ の推定。
2. 非平滑な max/min オペレータ（例：集合内における最悪または最良の性能を持つモデルの選択）の処理。
3. モデルの性能指標（$M$）を、オラクル的な知識を仮定せず、有限のデータから推定すること。

著者らは、**増強逆確率重み付け（AIPW）**推定量を提案している。特定のマージン条件（モデルの性能とアウトカムの間の十分な分離を保証する条件）および摂動関数の収束率の下で、これらの推定量は一貫性と漸近正規性が証明されており、有効な信頼区間の構築を可能にしている。

主な貢献

1. 因果フレームワークの拡張: 本研究は、個別のレベルでの反事実的正確性を組み込むことにより、ChenおよびOberst [2025] のフレームワークを拡張している。これは、新しいモデルが正しく予測する場合、アウトカムは不正解の予測が行われた場合よりも悪くならないという仮定に基づいている。
2. サブグループ性能の統合: グローバルな性能指標に依存する先行研究とは異なり、本フレームワークは条件付きサブグループ予測性能を組み込んでおり、これは「意思決定者がモデルがどこで良く、どこで悪いかについてのヒューリスティックを発達させる」という直感を反映している。
3. データ駆動型の推定: 著者らは、モデルの性能尺度に関する事前知識を必要としない、一貫した境界の推定量を提供している。これらはデータから推定される。
4. よりタイトな境界: 理論的および経験的な結果は、反事実的正確性を組み込むことで、従来の部分識別手法と比較して、有意にタイトな（より情報量の多い）境界が得られることを示している。

実験結果

著者らは、Imaiら [2023] の保釈判決データセットに基づく半合成シミュレーションを用いて、提案手法を評価している。

• 設定: 彼らは、様々なアラートモデルの下での裁判官の行動と被告のアウトカム（不出廷）をシミュレートしている。
• 比較: 彼らは、提案手法の境界を Chen および Oberst [2025] から導出された境界と比較している。
• 知見:
  • すべての実験（アラート閾値の変更、モデルの再学習、およびRCTの不在）において、提案手法は一貫して狭い境界（例：ある実験では 0.12 対 0.36）を生成した。
  • 境界は一貫して真の期待アウトカムを含んでいた。
  • アブレーション研究は、改善の主な要因が単なる共変量による性能の層別化ではなく、反事実的正確性の仮定によって駆動されていることを示唆している。
  • 真のラベル（$Z$）が部分的に欠損している場合でも、特定の欠損メカニズムに関する仮定が保持される限り、手法は堅牢である（ただし境界は広くなる）。

意義と主張

本論文は、RCTの再実施が不可能な場合に、更新されたMLモデルの因果的影響を評価するための実用的な解決策を提示すると主張している。既知の真のラベルを利用することで、本手法は予測の正確性が提供する「方向性」の情報を用いて、因果的境界をタイトにする。

著者らは主張に対して謙虚であり、以下の限界を認めている：

• 反証テスト: これらは期待値ベースであり、個別のレベルでの仮定の違反は見逃される可能性がある。
• 欠損データ: 本手法は真のラベル（$Z$）が欠損している場合に制限があるが、それに対処するメカニズムについても議論している。
• 連続出力: 現在のフレームワークは離散的な予測を想定している。連続的な出力には、離散化または簡略化された適用が必要となる。
• 観測データ: 現在のフレームワークはRCTデータに依存している。観測データの組み込みについては、今後の方向性として述べられている。

最終的に、本研究は、予測精度を超えて、高リスクな意思決定環境におけるAIシステムのダウンストリームの因果的影響を推論するための、厳密かつ仮定に基づいたフレームワークを提供するものである。