Learning Under Treatment-Induced Label Indeterminacy with Expert Annotations of Counterfactual Outcomes: A Case Study in Neurological Prognostication

技術的要約：治療誘発によるラベルの不確定性下における学習

問題の定式化
本論文は、臨床予測モデリングにおける根本的な限界である、**治療誘発によるラベルの不確定性（treatment-induced label indeterminacy）**を取り扱う。標準的な教師あり学習では、すべての患者に対してターゲットとなるアウトカムが明確に観察されていることが前提となっている。しかし、心停止後の神経学的予後判定のような高リスクな設定では、治療決定（具体的には、生命維持治療の撤退または制限：WLST）や競合する終末事象（例：多臓器不全）によって、臨床的に重要なアウトカム（神経学的回復）が恒久的に隠されてしまうことがある。

これにより、データセットは以下の2つの異なるサブセットに分割される：

1. 確定的症例（Certain Cases）： アウトカムが直接観察された患者（例：意識の回復、または事前の治療制限を伴わない死亡）。これらは有効な教師ありラベルを提供する。
2. 不確定症例（Uncertain Cases）： 治療決定によってアウトカムが不確定となった患者。これらの患者にとって、「真の」反事実的アウトカム（もし治療を継続していたらどうなっていたか）は観察不可能である。

核心となる課題は、確定的症例のみを用いて計算された標準的な評価指標（AUROCなど）では、不確定症例におけるモデルの挙動を捉えきれない点にある。そして、この不確定症例こそが、予後支援において最も重要な集団である。さらに、不確定症例に対して観察された不良なアウトカム（死亡など）と同じラベルを割り当てる戦略は、モデルに「真の回復の可能性」ではなく、「医師の意思決定のパターン（いつWLSTが行われるか）」を学習させてしまう原因となる。

手法
著者らは、確定的症例と不確定症例を学習および評価の両段階で明示的に区別し、不確定症例に対する学習を導くために専門家の評価を活用するフレームワークを提案している。

• データと専門家による評価： 本研究では、2,497名の心停止後患者（確定的症例1,068名、不確定症例1,429名）のレトロスペクティブ・コホートを使用している。不確定症例については、独立した臨床専門家（1症例につき3〜5名）による構造化された反事実的評価を活用している。これらの専門家は、もし生命維持治療が継続されていた場合の回復確率を推定する。これらの評価は、グラウンドトゥルース（真値）ではなく、不完全な疑似ラベル（専門家に基づいた参照値）として扱われる。
• モデルアーキテクチャ： 主要なモデルは、良好な神経学的回復の確率を予測するように設計されたシングルヘッドのニューラルネットワークである。
• 学習目的関数： 著者らは、観察されたデータへの適合と専門家の信念への整合性のトレードオフを制御するために、2つのパラメータを持つ目的関数を導入している。
  • $L_{certain}$：確定的症例に対する重み付きバイナリクロスエントロピー。低確率領域の影響を制御するために、観察された不良アウトカムに対して重み $\omega_{bad} \ge 1$ が適用される。
  • $L_{align}$：不確定症例に対する平均二乗誤差（MSE）項。これは、モデルの予測と集計された専門家由来の確率（$\tilde{p}_j$）との差異を測定する。ハイパーパラメータ $\lambda_{align} \ge 0$ が、この整合性の強さを制御する。
  • 全体損失：$L(\theta) = L_{certain}(\theta) + \lambda_{align} L_{align}(\theta)$。
• 評価フレームワーク： 著者らは、**分割評価（split evaluation）**戦略を提案している。
  • 確定的症例： 観察されたバイナリアウトカムに対して、標準的な指標（AUROCおよびBrierスコア）を用いて評価する。
  • 不確定症例： 集計された専門家の参照確率に対して、平均絶対誤差（MAE）を用いて評価する。
  • トレードオフ分析： モデルは単一のスカラー指標に基づいて選択されるのではなく、確定的症例の確率精度（Brierスコア）と不確定症例の整合性（MAE）の間のフロンティアに沿って分析される。

主な貢献

1. ラベルの不確定性の定式化： 本論文は、ターゲットとなるラベルが集団内のサブセット間で質的に異なる（観察されたアウトカム vs 専門家の反事実的推測）予測モデリングを定式化した。
2. 分割評価フレームワーク： 標準的な決定境界/精度（確定的症例における）と、専門家の信念への整合性（不確定症例における）という2つの軸でモデルを評価するフレームワークを導入した。これにより、集計指標では隠されてしまう失敗モードが明らかになる。
3. トレードオフの経験的特性化： 表形式のベースライン（XGBoost、ランダムフォレスト）とニューラルネットワークを用いた実験を通じて、確定的症例において同様のAUROCを示すモデルであっても、不確定症例においては全く異なる挙動を示すことを実証した。
4. 明示的なトレードオフ制御： 提案された2パラメータのニューラル目的関数（$\omega_{bad}$ および $\lambda_{align}$）により、実務者は観察された結果への適合と、専門家の反事実的信念への整合性の間のトレードオフを明示的にナビゲートすることが可能となる。

結果

• 隠れたギャップ： 確定的症例のAUROCがほぼ同一（例：0.882 対 0.884）であっても、確定的症例のBrierスコア（0.116 対 0.407）および不確定症例のMAE（0.410 対 0.053）には劇的な差があることが示された。これは、ランキング性能（AUROC）が、確率推定における重大な較正不全（miscalibration）を覆い隠していることを示唆している。
• トレードオフのフロンティア： 不確定症例における専門家の推測への整合性を高めること（不確定症例のMAEを下げること）は、一般に、確定的症例における確率精度が悪化する（Brierスコアが高くなる）というコストを伴う。
• 確率の配置： 標準的な「観察のみ」のモデルは、不確定症例に対して比較的高い回復確率を割り当て、"良好な確定的症例"と大きく重複していた。専門家による整合性を組み込むことで、不確定症例の予測値は下方へとシフトし、良好なアウトカムからの分離は改善されたが、確率スケールは圧縮された。
• ベースライン比較： 表形式のベースライン（XGBoost）もニューラルネットワークと同様のトレードオフパターンを示した。このことは、この現象が特定のモデルアーキテクチャによるものではなく、ラベルの構造に起因することを示唆している。

意義と主張
本論文は、新しいアルゴリズムの貢献というよりも、主に問題の定式化および評価フレームワークとしての位置付けである。その主要な意義は、以下の点を実証したことにある：

• 治療誘発によるラベルの不確定性が存在する設定では、確定的症例のみに焦点を当てた従来の評価指標は不十分である。
• このような設定における「失敗モード」は、多くの場合、最も重要なサブ集団（不確定症例）における**確率の配置ミス（misplacement/miscalibration）**であり、これはAUROCでは検知できない。
• 「唯一の最良のモデル」は存在しない。代わりに、観察されたアウトカムと専門家の反事実的信念のどちらにどれだけの重みを置くかという、明示的な設計上の選択が存在する。
• 専門家の反事実的アウトカムの推測は、不完全ではあるものの、不確定症例におけるモデルの挙動を研究し改善するための必要な教師信号として機能する。

著者らは、真のグラウンドトゥルースとしての反事実的確率を復元したり、ラベルの不確定性を一般的に解決したりすることを主張しているのではない。そうではなく、注意深く引き出された専門家の評価を用いることで、観察されたパフォーマンスと反事実的整合性の間のトレードオフを、実務者が明示的に管理可能にするための手法を提供しているのである。