🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

本論文は、潜在的な交絡と固有の確率性を区別する確率的非決定論的因果モデルを定式化することにより、隠れた交絡因子が存在する敗血症治療シミュレーションを通じて検証された、逐次的意思決定におけるロバストな反事実的方策最適化のための新しいフレームワークを提案するものである。

原著者： Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

公開日 2026-08-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに車の運転を教えようとしていると想像してください。ただし、手元にあるのは誰かが運転しているビデオだけです。あなたはこう問いかけたいと考えています。「もしロボットが別の方向に曲がっていたらどうなっていただろうか？」これが**反事実的推論（counterfactual reasoning）**の核心です。過去を振り返り、異なる選択に基づいた異なる結果を想像することです。人工知能の世界において、これは安全性、特に医療分野のように、何が起こるかを確認するために実際の患者に対して危険な実験を行うことができない領域において極めて重要です。

これを行うために、科学者たちは**マルコフ決定過程（MDP）**を使用します。これは、システム（例えば患者の健康状態）が行動（例えば薬の投与）に基づいてどのように状態を変化させるかを示す「ルールブック」のようなものです。従来、研究者たちは、もしすべての隠された秘密（潜在変数と呼ばれます）を知っていれば、これらのルールブックは完全に予測可能であると想定してきました。「もし患者の隠れた遺伝コードを知っていれば、未来を正確に予測できる」と考えていたのです。しかし、現実の世界は混沌としています。時には、コイン投げや機械の不具合のように、どれほど隠された知識があっても予測できない純粋なランダムな出来事が起こります。この論文は、隠された秘密と純粋なランダム性の両方が未来を形作るという、この厄介な中間領域に取り組んでいます。「隠された秘密を知らず、かつ世界が少し混沌としていることを知っているとき、どのようにして最善の意思決定を下せるか？」という問いです。

探偵のジレンマ：欠落した変数の謎を解く

あなたは「もしも」マシンを使って謎を解こうとしている探偵だと想像してください。あなたは患者が悪化していくビデオを見て、「もし別の治療を行っていたら、その人は生存していただろうか？」と知りたいと考えています。

かつて、探偵たちは「もしも」マシンが完璧なゼンマイ仕掛けのおもちゃのように機能すると想定していました。すべての隠れた歯車（例えば、診断されていない糖尿病など）を知っていれば、時間を巻き戻して、正確に何が起こったのかを見ることができると信じていたのです。しかし、この論文の著者であるジェシカ・ラリーとそのチームは、現実の世界はゼンマイ仕掛けのおもちゃではないことに気づきました。時には、歯車がランダムに詰まったり、突風がドミノを倒したりすることがあります。これが固有のランダム性です。

この論文は、情報の欠落があるからといって、世界が完全に予測可能であるかのように振る舞うことはできないと主張しています。その代わりに、私たちは「隠れた歯車については分からず、たとえ分かったとしても、未来は依然として少し驚きに満ちたものかもしれない」という事実を認める、新しい種類の探偵作業を必要としているのです。

新しいツール：「ワーストケース」のセーフティネット

チームは、**ロバスト反事実的方策最適化（Robust Counterfactual Policy Optimisation）**と呼ばれる新しい手法を導入しています。これは、意思決定におけるセーフティネットのようなものです。

通常、何が起こったかを推測しようとする際、隠れた要因（コンファウンダー、例えば患者の糖尿病の状態）を知らないために予測を誤ることがあります。著者らは、単に一つの結果を推測するのではなく、データと矛盾しない起こりうる最悪の結果に備えるフレームワークを提案しています。

彼らは**感度分析（sensitivity analysis）**という概念を用いています。天気を予想している場面を想像してください。確信があるなら「雨が降る」と言います。確信がないなら「雨が降るかもしれないし、降らないかもしれない」と言います。著者らは、隠れた秘密が予測をどの程度狂わせているかを制御する「ダイヤル」（ $\Delta$ と呼ばれます）を追加しました。

ダイヤルを 1 に設定すると、予測を狂わせる隠れた秘密はないと仮定します。
ダイヤルを高く上げると、隠れた秘密があらゆる事態を引き起こす可能性があると仮定します。

目標は、隠れた秘密がどれほど厄介であってもうまく機能する方策（何をすべきかという一連のルール）を見つけることです。彼らはこれを**ロバスト（強靭）**な方策を見つけることと呼んでいます。それは、ハイキングのためにバックパックを準備するようなものです。晴天のためだけに荷物を詰めるのではなく、念のため、雨や泥、突然の嵐にも備えておくのです。

実験：敗血症シミュレーター

彼らのアイデアをテストするために、チームは敗血症治療のコンピュータシミュレーションを使用しました。このゲームでは、患者には4つのバイタルサイン（心拍数、血圧、酸素、グルコース）があり、それらは「低い」「正常」「高い」のいずれかの状態になります。医師（またはAI）は、3つの異なる治療のオン・オフを決定しなければなりません。

ここでの注意点は、シミュレーションには隠れた変数があることです。一部の患者は糖尿病であり、一部はそうではありません。この糖尿病の状態が「隠れたコンファウンダー」です。これは患者の治療への反応に影響を与えますが、AIが見るのはバイタルサインだけであり、糖尿病の状態は見えません。このシミュレーションでは、20%の患者が糖尿病です。

研究者たちは、このシミュレーションに対して新しい「セーフティネット」手法を実行しました。彼らはこう問いかけました。「誰が糖尿病であるかを知らなくても、既存のデータよりも優れた治療計画を見つけられるだろうか？」

得られた結果

結果は有望でしたが、いくつかの留意事項もありました。

推測よりも優れている： 彼らが新しい方策を、シミュレーションの完全で完璧なバージョン（誰が糖尿病であるかを知っている状態）でテストしたところ、彼らが見つけた方策は、元の不完全な方策よりもはるかに優れていることが分かりました。糖尿病の患者において、新しい方策は、結果を平均で 7.4ポイント 改善しました（死を -10、退院を 10 とするスケールにおいて）。
「プロキシ（代理指標）」は少し慎重すぎる： チームは、目に見えるバイタルサインのみを使用して、隠れたトラブルのレベル（ $\Delta$ ダイヤル）を推測する必要がありました。糖尿病の患者については、この推測は正確でした。しかし、非糖尿病の患者については、この手法は少し慎重すぎました。実際よりも隠れたトラブルが強いと想定してしまったのです。これは、晴れているのに天気予報士が「雨が降るかもしれません」と言うようなものです。これにより、シミュレーション上のスコアはわずかに低くなりますが、その決定は安全であることを保証します。
「オラクル（神託）」テスト： 著者らは、自分たちの手法を、真の隠れたトラブルのレベルを知っている完璧なバージョンである「オラクル」と比較しました。その結果、真実を知らなくても、彼らの手法はオラクルの最善の選択に非常に近い方策を見つけ出せることが分かりました。

結論

この論文は、隠れた変数の謎を永遠に解明したと主張しているわけではありません。その代わりに、神秘的かつランダムな世界において、「もしも」を問うための、より安全な方法を提示しています。

「隠れた秘密（糖尿病など）」と「純粋なランダム性（ランダムな不具合など）」を切り離し、最悪のシナリオに備えることで、著者らは、たとえ隠れた要因が見えない状態であっても、スマートでロバストな意思決定ができることを示しました。彼らの手法は、たとえ隠れた要因に関して盲目であっても、既存の不完全なデータに従うよりも、大幅に優れた治療計画を見つけられる可能性があることを示唆しています。これは、自分が知らないことを認める謙虚さと、予期せぬ事態に備える賢さを兼ね備えたAIへの一歩なのです。

技術要約：非決定論的因果モデルによるロバストな反事実的方策最適化

1. 問題設定

逐次的な意思決定における反事実的推論（Counterfactual inference）とは、観測された状態、行動、および結果の軌跡が与えられたとき、もし異なる方策が実行されていたならばどのような結果が生じていたかを判断することを目的とする。これは、実験をやり直すことが倫理的に許されない、あるいは不可能なヘルスケアのような安全性が極めて重要な領域において不可欠である。

マルコフ決定過程（MDP）における反事実的推論への既存のアプローチは、通常、環境を**決定論的な構造的因果モデル（Deterministic Structural Causal Model: SCM）**としてモデル化する。この枠組みでは、すべてのランダム性は観測不可能な潜在変数（ $U$ ）に帰せられる。しかし、現実世界のMDPは本質的に確率的であり、ランダム性は以下の2つの異なるソースから生じることが多い：

潜在的な交絡（Latent Confounding）: 遷移に影響を与える観測不可能な要因（例：患者の遺伝学やデモグラフィックス）。
不可避な確率性（Irreducible Stochasticity）: システムに内在する根本的なランダム性（例：乱数生成器や集計ノイズ）であり、潜在変数によって削減できないもの。

本論文は、これら両者が共存する場合のギャップに対処する。標準的なSCMはこれらを区別できず、不可避なノイズを潜在的な交絡と誤って帰属させる可能性がある。著者らは、固有の確率性を許容しつつ、感度分析を通じて潜在的な交絡の影響を明示的に制限する**確率的非決定論的因果モデル（Probabilistic Nondeterministic Causal Models: PNSCMs）**の下での反事実的方策最適化を定式化することを提案する。

2. 手法

2.1 確率的非決定論的因果モデル (PNSCMs)

著者らは、決定論的な構造方程式を条件付き確率分布に置き換えたPNSCMとして環境をモデル化する。PNSCMの重要な特徴は、**実際の精緻化（actualised refinement）**である。観測された設定 $(u, v)$ が与えられたとき、条件付き分布 $P_X$ は、観測された親変数に対しては観測された結果 $x$ を決定論的に返すように精緻化されるが、他の入力に対してはその確率的な性質を保持する。これは、我々が学習するのは実際の設定から得られる因果メカニズムであり、反事実的な可能性からではない、というセマンティクスを捉えている。

2.2 感度分析フレームワーク

軌跡全体を通じて固定されている観測不可能なグローバルな交絡因子（ $U$ ）を扱うため、著者らは Kausik et al. [2024] に類似した感度分析手法を採用している。

感度パラメータ ( $\Delta$ ): 潜在変数 $U$ $U$ の影響は、パラメータ $\Delta \ge 1$ $Δ \geq 1$ によって制限される。これは、条件付き遷移確率 $P(S' = s' | S = s, A = a, U = u)$ $P (S^{'} = s^{'} ∣ S = s, A = a, U = u)$ と周辺的な遷移確率 $P(S' = s' | S = s, A = a)$ $P (S^{'} = s^{'} ∣ S = s, A = a)$ の間のオッズ比を以下のように制約する：
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ ：交絡なし（完全に特定されたPNSCM）。
- $\Delta \to \infty$ ：最大級の交絡。

2.3 感度の較正 ( $\Delta$ )

ドメイン知識なしに $\Delta$ を選択することは大きな課題である。本論文では、観測された状態変数から $\Delta(s, a)$ の上限を導出するための原理的な方法を提案している：

変数の隠蔽（Hiding Variables）: 各観測された状態変数 $i$ について、 $i$ を周辺化することで遷移分布 $P(s' | s_{-i}, a)$ を計算する。
オッズ比の計算: 完全な遷移と、周辺化された遷移との間の最大オッズ比を各変数について計算する。
プロキシの選択: 感度 $\Delta(s, a)$ は、これらすべての変数における比の最大値として設定される。境界の厳密さを調整するためにスケーリング係数 $\Gamma$ を適用することができる。

2.4 最適化手順

目標は、 $U$ の不確実性下で、最悪ケースの反事実的価値 $V^{CF}$ を最大化する方策 $\pi$ を見つけることである。

反事実における実際の精緻化: 観測された遷移 $(s_t, a_t, s_{t+1})$ に対して、反事実的遷移確率 $P^{CF}_t$ は混合物となる。すなわち、確率 $P(U=u|\tau)$ で、遷移は決定論的（ $s_{t+1}$ に留まる）であり、それ以外の場合は最適化された遷移確率 $\tilde{P}$ に従う。
分離された最適化: 問題を扱いやすくするため、著者らは時間ステップと状態・行動ペア間で最適化を分離し、各 $(t, s, a)$ トリプルを独立に扱う。これにより、真の悲観的な価値に対する保守的な下限が得られる。
敵対的定式化: 最適化には、感度制約に従いつつ、事後分布 $P(U|\tau)$ と遷移確率 $\tilde{P}$ を共同で選択して価値を最小化するアドバーサリ（敵対者）が含まれる。この非凸問題は Gurobi を用いて解かれる。
時間一様性（Time-Homogeneity）: 論文では、時間一様性（一貫した遷移を要求すること）を組み込むと、勾配降下法で解ける三線形結合が生じるが、これは局所最適解を保証するにとどまることを注記している。

3. 実験的評価

本手法は、敗血症治療シミュレータ（Oberst and Sontag, 2019）を用いて検証された。

設定: 状態空間にはバイタルサイン（心拍数、血圧など）が含まれる。行動空間は治療のオン・オフを含む。
交絡因子: 糖尿病の状態（ $U \in \{0, 1\}$ ）が、グローバルな潜在的交絡因子として機能し、人口の20%に影響を与える。評価のために真の遷移行列 $P(S' | S, A, U)$ は既知であるが、方策の導出時には隠されている。
データ: 本手法は、周辺化された遷移行列（糖尿病が隠されている状態）における劣な方策（0.5の確率で最適、それ以外はランダム）によって生成された軌跡を使用する。

主な結果

ロバストな改善: 導出された反事実的方策（ $\pi^*_\Delta$ ）は、完全に観測されたMDP（糖尿病が既知の状態）で評価された際、一貫して観測された劣な方策を上回った。
プロキシの精度:
- 糖尿病患者の軌跡に対して: スケーリングされていないプロキシ（ $\Gamma=1$ ）は、「オーラクル（神託）」の性能（真の糖尿病感度 $\Delta^*$ が既知であった場合の最善の結果）に密接に一致した。
- 非糖尿病患者の軌跡に対して: プロキシは保守的（交絡を過大評価）であり、価値の推定値はオーラクルの値よりも低くなった。しかし、結果として得られた方策はオーラクルの性能に近かった。これは、価値の推定が保守的であっても、本手法がロバストな方策を回収できることを示している。
$\Gamma$ に対する感度: スケーリング係数 $\Gamma$ を調整することで、価値推定の精度と方策のロバスト性の間のトレードオフを調整することが可能となった。

4. 主な貢献

定式化: PNSCMの下での感度分析フレームワークを用いた、反事実的方策最適化を形式化した。これにより、潜在的な交絡と不可避な確率性を明示的に分離した。
感度フレームワーク: 潜在変数の影響を制限する感度分析フレームワークを用いて、ロバストな反事実的方策を特定するための実用的な最適化問題を提案した。
較正方法: 観測された状態変数を用いて感度パラメータ $\Delta$ を較正するデータ駆動型の手法を導入し、専門的なドメイン知識への依存を軽減した。
実証的検証: 隠れたグローバルな交絡因子が存在する現実的なヘルスケアシミュレータ上で、ロバストな反事実的方策が導出可能であることを示した。

5. 意義と主張

著者らは、本研究がPNSCM内での感度分析フレームワークの下で、ロバストな反事実的方策を特定するための最初の実用的な最適化問題を提供すると主張している。その意義は、既存の決定論的SCMアプローチが、固有の確率性を適切にモデル化できないという限界に対処している点にある。

論文は、導出された方策が、感度パラメータが観測データから推定された場合であっても、真の、完全に指定された環境で評価された際にロバストであることを結論づけている。著者らは、分離された最適化が有効な下限を提供するものの、より正確な価値推定を得るためには、時間一様性の制約や異なる種類の潜在変数（メモリレスな交絡因子など）を探索する今後の研究が必要であると謙虚に述べている。