テクニカル・サマリー：人間の意思決定者を念頭に置いた予測に基づく介入の評価

問題提起

自動意思決定システム（ADS）は、刑事司法、医療、教育といった重大な局面において、人間の意思決定を支援するためにますます導入されている。機械学習の研究は、多くの場合、ベンチマークデータセットに対する予測モデルの精度評価に焦点を当てているが、これらの評価は人間とアルゴリズムの間の複雑な相互作用を捉えきれていない。具体的には、予測に基づく介入を評価するための既存の実験デザインは、因果推論の推定値を導き出すために、人間の意思決定に関する単純化された仮定に依存している。

特定された核心的な問題は、特定の実験デザインの選択が、人間の意思決定者に認知バイアスを誘発し、観察される効果量を著しく変化させる可能性があることである。既存のパラダイムは、一つの決定対象の処置ステータスが他の対象に影響を与えない「ケース独立」モデル（安定単位処置値仮定、すなわちSUTVAへの準拠）を想定していることが多い。しかし、本論文は、人間の意思決定者（例：裁判官）は、アルゴリズムの推奨事項への曝露に基づいて進化する内部状態を有しており、それが決定対象間に依存関係を生み出し、SUTVAを破綻させ、処置効果の推定にバイアスをもたらすと主張している。

メソドロジー

理論的枠組み

著者らは、意思決定者の内部状態を明示的に考慮した、アルゴリズム支援型人間意思決定の新しい因果モデルを提案している。標準的なケース独立モデルとは異なり、このフレームワークは決定を決定対象（$i$）と意思決定者（$k$）の両方によってインデックス付けする。

このモデルは、2つの潜在変数を導入する：

1. $J_{i,k}$: 決定対象 $i$ に対する裁判官 $k$ の応答性。これは、裁判官がアルゴリズムの推奨に従う確率を表す。
2. $\epsilon_{i,k}$: パラメータ $J_{i,k}$ を持つベルヌーイ分布から抽出された乱数であり、裁判官が推奨に従うかどうかを表す。

決定関数 $D_{i,k}$ は、裁判官のデフォルトの決定 $\lambda_k(X_i)$ と、応答性 $J_{i,k}$ によって調整されたアルゴリズムの推奨 $\bar{D}(\hat{Y}_i)$ の関数として定義される。

認知バイアスモデル

本論文は、裁判官の応答性（$J_{i,k}$）を動的かつ実験デザインの選択に依存させる、3つの具体的な認知バイアスモデルを定式化している：

1. 処置曝露モデル（Treatment Exposure Model）: 予測補助への平均的な曝露が増えるにつれて、応答性が高まる。裁判官は各ケースごとにプロトコルを調整するのではなく、一貫した情報に依存する傾向があり、頻繁な曝露の後にコンプライアンスが高まる。
2. キャパシティ制約モデル（Capacity Constraint Model）: 正の予測（高リスク予測）の発生率が増加するにつれて、応答性が低下する。高リスクな環境において、意思決定者はさらなる「高リスク」アラートに対して反応しなくなる閾値に達することがある。
3. 低信頼モデル（Low Trust Model）: アルゴリズムの観測エラー率が増加するにつれて、応答性が低下する。裁判官が実現した結果を観察し、予測エラー（例：偽陽性）を検知した場合、信頼とそれに伴うコンプライアンスが減少する。

実験分析

著者らは、これらのモデルの下で、決定 $D_{i,k}$ が現在の処置 $Z_{i,k}$ を与えても、先行する処置割り当て $(Z_{1,k}, \dots, Z_{i-1,k})$ に対して条件付き独立ではないことを数学的に証明している。これはSUTVAの違反を意味する。

実用的な影響を示すために、本論文では2つのランダム化スキームを比較している：

• 一様ランダム化（Uniform Randomization）: ケースが個体レベルでランダム化される（シングルレベル）。これにより、各裁判官に対して混合された処置曝露が生じる。
• 二段階ランダム化（Two-Level Randomization）: 裁判官が処置クラスターにランダム化される（例：ある裁判官は100%処置を受けたケースのみを見、別の裁判官は0%を見る）。これにより、明確に異なる曝露プロファイルが作成される。

半合成実験

著者らは、ウィスコンシン州デーン郡における公共安全評価（PSA）リスクスコアに関するImaiら [2020] による実際のランダム化比較試験（RCT）のデータを用いて、理論的知見を検証している。複数の裁判官をシミュレートし、これら3つのバイアスモデルを適用して代替的な決定シーケンスを生成する。そして、実験デザインの選択（処置割り当て、モデルの閾値、および正確性）が、推定される平均処置効果（ATE）をどのように変化させるかを観察している。

主な貢献

1. 動的な応答性の定式化: 本論文は、裁判官の応答性を静的で固有の属性とする想定を超え、応答性が処置割り当て（$Z$）、モデルの正の予測率（$P(\hat{Y}=1)$）、およびモデルの正確性（$P(\hat{Y}=Y)$）といった実験デザインの選択の動的な関数であることを定式化した。
2. SUTVA違反の証明: 提案された行動モデルが、決定対象間に干渉を引き起こし、因果推論で一般的に使用されるSUTVAの仮定を破ることを、数学的証明を通じて示した。これにより、独立性を前提とする標準的な推定法が無効であることを示した。
3. 推定バイアスの実証: 標準的なランダム化スキーム（シングルレベル）が、活性化している特定のバイアスモデルに応じて、平均処置効果（ATE）を大幅に過小評価または過大評価する可能性があることを示した。例えば、処置曝露モデルの下では、一様ランダム化はATEを過小評価するが、キャパシティ制約モデルの下では過大評価する場合がある。
4. 実証シミュレーション: Imai et al. [2020] に基づく半合成実験を用い、実験デザインの選択（裁判官あたりの処置ケースの割合やモデルの閾値など）を変更することで、因果効果の推定値が特定のデモグラフィック・サブグループにおいて最大10倍変化することを示した。

結果

• SUTVA違反: 理論的分析により、裁判官の応答性が過去の曝露に依存する場合、あるケースの処置ステータスが同じ裁判官が扱う後続のケースの決定に影響を与えることが確認された。Imai et al. (2020) 等の先行研究で使用されている標準的な置換テストは、平均的な処置割合を維持するため、この干渉を検出できない。
• バイアスの方向性:
  • 処置曝露: 一様ランダム化は、二段階ランダム化と比較して、処置効果を過小評価する。裁判官が過去の曝露に対して敏感になるにつれ、またデフォルトの決定と推奨される決定の乖離が大きくなるにつれ、その差は拡大する。
  • キャパシティ制約: 一様ランダム化は、処置効果を過大評価する。この差は、正の予測率が高くなるにつれて増大する。
  • 低信頼: アルゴリズムの正確性が低下すると、応答性が低下し、特に決定の正確性の指標において処置効果の過小評価を招く。
• シミュレーションの知見: 半合成実験において、処置曝露レジーム（例：ある裁判官に100%のケースを割り当てるか、50%を割り当てるか）を変更することは、ATEの測定値に大幅な偏差をもたらした。具体的には、非白人女性のサブグループにおいて、推定される決定への因果効果は、曝露レジームによって10倍の開きが生じた。

意義と主張

本論文は、予測に基づく介入の評価スキームの科学的妥当性が、人間の意思決定の動的な性質を無視していることにより、現在損なわれていると主張している。予測に基づく介入を、単なる予測問題ではなく「政策介入」として扱うことで、研究者は誤った結論を導くリスクがある。

著者らは、将来の実験デザインは、人間を「実験自体によって形作られる動的なエージェント」として考慮しなければならないと主張している。彼らは以下を提案している：

• 単純なシングルレベルのランダム化は、予測システムがフルスケールの政策として展開される際の因果的影響を推定するには不十分である。
• 裁判官のバイアスの存在下で処置効果を正確に推定するためには、二段階ランダム化デザイン（意思決定者レベルでのランダム化）や多因子デザインが必要である。
• これらの知見は、刑事司法だけでなく、同様の認知バイアスや干渉効果が存在する可能性が高い医療や教育などの他の領域にも及ぶものである。

本研究は、研究コミュニティに対し、実験パラダイムをより人間のアルゴリズムとの相互作用の実態を反映したものへと洗練させるよう、行動喚起を行うものである。これにより、因果推論の推定値が、ダウンストリームの結果に対する予測的介入の真の影響を確実に反映するようにすることを目的としている。