Triage Score: A Counterfactual Risk Assessment Instrument

技術要約：トリアージ・スコア：反事実的リスク評価手法

問題提起
リスク評価指標（リスクスコア）は、刑事司法や医療などの高リスク領域において、介入なしというベースラインの決定下での望ましくない結果（例：再逮捕や発症）の可能性を予測するために広く導入されている。しかし、高スコアが通常、介入（例：保釈金の設定や集中治療）を促すという現在のアプローチは、厚生最大化（welfare maximization）という観点からは根本的な不整合を抱えている。リスクスコアは単一のベースライン（介入なし）の下でのみ結果を予測するため、代替的な決定下における反事実的な結果を考慮できていない。その結果、介入が結果を意味のある形で変化させる個人と、そうでない個人を区別することができない。この限界は、例えば、解放されていれば再犯しなかったであろう人物を不必要に拘束することに伴う「後悔（regret）」のような、倫理的および実務的なトレードオフを不明瞭にしている。既存のフレームワークは、「選択的ラベル（特定の決定を受けた者に対してのみ観察される結果）」に依存することが多く、代替的な政策の評価を困難にしている。

手法
著者らは、意思決定を期待効用最大化の目的に適合させるために設計された、反事実的リスク評価指標の一種であるトリアージ・スコアに基づくフレームワークを提案している。標準的なリスクスコアがベースラインの潜在的結果 $Y(d_0)$ のみに依存するのに対し、トリアージ・スコアは、代替的な決定下における潜在的結果の結合分布に依存する加法的な反事実的効用から構築される。

1. 反事実的効用フレームワーク:

   • 本フレームワークは、主層化（principal stratification; Frangakis and Rubin, 2002）を利用し、潜在的結果の結合分布 $(Y(0), Y(1), \dots, Y(K_D-1))$ に基づいて層を定義する。バイナリ設定では、これらの層には、セーフ（Safe）（あらゆる決定下で結果が発生しない）、バックラッシュ（Backlash）（介入下でのみ結果が発生する）、予防可能（Preventable）（介入なしの下でのみ結果が発生する）、ホープレス（Hopeless）（いかなる決定の下でも結果が発生する）が含まれる。
   • 効用は加法的に定義される：$u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$。第一項は実現した結果の標準的な効用を表し、第二項は代替的な決定 $d'$ の下で発生したであろう結果に関連する反事実的効用（または「後悔」）を捉える。
   • この加法的な構造により、本フレームワークは、介入が真に予防的なものであるケースと、介入が不要なケース（例：セーフな被告人に保釈金を課すこと）を区別することが可能となる。

2. 識別と推定:

   • 無混同性（unconfoundedness）（観察された共変量を与えた条件付きでの潜在的結果と決定の独立性）の仮定の下で、著者らは、潜在的結果の完全な結合分布が観察されなくても、期待反事実的効用が点識別可能であることを確立している。
   • 著者らは、期待効用を推定するために**拡張逆確率重み付け（AIPW）**推定量を用いている。この手法は二重に頑健（doubly robust）であり、決定モデル（裁判官の決定の傾向）と結果モデルの両方の整合的な推定を必要とする。
   • 司法判断の混同要因となる高次元で非構造的なテキストデータ（具体的には、理由付宣誓供述書）を扱うため、著者らは**生成AIによる推論（GPI）**を統合している。大規模言語モデル（Llama3など）とDragonNetのようなアーキテクチャを使用し、テキストから低次元のデコンファウンダー（脱混同因子）を抽出することで、構造化された共変量のみを用いるよりも、無混同性の仮定をより妥当に満たすように調整を行っている。

3. ポリシー学習:

   • 本フレームワークは、経験的効用最大化問題を解くことで、最適な意思決定ルールの学習を可能にする。バイナリ決定の場合、これは重み付き分類問題として再定式化され、マルチクラス決定の場合は、各共変量プロファイルに対して推定された期待効用が最大となる決定を選択することを含む。

実証的適用と結果
本手法は、公衆安全評価（PSA）の有効性を評価するユタ州のランダム化比較試験（RCT）に適用されている。この研究では、裁判官がPSAの推奨を受けるか受けないかをランダムに割り当てられている。データセットには、9,855件の初犯ケースが含まれ、結果は「新規犯罪活動（NCA）」、「新規暴力犯罪活動（NVCA）」、および「出廷失敗（FTA）」として測定されている。

• 効用仕様: 著者らは、決定のコスト（例：保釈金のコスト）、望ましくない結果のコスト、および反事実的結果に対する後悔パラメータを組み込んだ効用パラメータを定義している。
• 比較分析: 本研究では、人間のみ、人間＋PSA、およびトリアージ・スコア・フレームワークから導出された最適決定木ポリシーの3つのシステムを比較している。
• 主な知見:
  • 効用パラメータへの感度: 好ましい決定ルール（人間のみか、人間＋PSAか）は、効用パラメータの指定、特に保釈金のコストと不必要な拘束に伴う後悔の指定に対して非常に敏感である。
  • リスクスコアからの乖離: 標準的なリスクスコアの枠組み（ベースラインのリスクに基づいて層を統合するもの）の下では、最適なポリシーはトリアージ・スコアの枠組みから導出されたものと大きく異なることが多い。トリアージ・スコアの枠組みは、保釈金が「セーフ」な被告人（どのような状況でも再犯しない人々）にとって逆効果になり得ることを特定しており、これは標準的なリスクスコアリングでは失われるニュアンスである。
  • 政策的含意: 本分析は、アルゴリズムによる推奨の価値に関する結論が絶対的なものではなく、反事実的な結果に対してどの程度の倫理的重みを置くかに依存することを実証している。例えば、不必要な拘束に対する後悔が高い場合、トリアージ・フレームワークは、標準的なリスクベースのアプローチと比較して、保釈金の利用を減らす政策を好む傾向がある。

貢献と意義
本論文の主な貢献は以下の3点である。

1. 理論的一般化: 標準的なリスクスコアを、単一のベースラインの結果の予測から、潜在的結果の結合分布に基づく意思決定の評価へとシフトさせた、トリアージ・スコアという一般化された概念を導入した。これにより、後悔のような倫理的考慮事項を明示的に組み込むことが可能となった。
2. 方法論的進展: 反事実的効用の下で最適なポリシーを評価し、学習するための統計的決定論的フレームワークを提供し、無混同性の下での識別結果を確立するとともに、GPIを用いて高次元のテキスト混同因子に対応する半パラメトリック推定量（AIPW）を開発した。
3. 実証的デモンストレーション: ユタ州のRCTを通じて、従来のリスクスコアの評価が、トリアージベースのアプローチと比較して、実質的に異なり、潜在的に最適ではない政策推奨を生み出す可能性があることを示した。また、「最善」の決定ルールは、選択された効用構造（倫理的および実務的なトレードオフ）に依存することを強調している。

主張と限界
著者らは、トリアージ・スコアを特定の状況のための単一のツールではなく、一般的な意思決定支援フレームワークとして位置づけている。彼らは、ユタ州の事例に対して特定のトリアージ・スコアを開発したのではなく、むしろ、豊かな効用構造を捉えるための「フレームワーク」の能力を実証したのだと明言している。論文では、結果の妥当性が無混同性の仮定に依存していることを認めており、司法情報の完全な入手可能性（理由付宣誓供述書を含む）と、テキストベースの混同因子を調整するためのGPIの使用によって、その仮定が妥当なものとなっているとしている。著者らは、今後の研究として、政策立案者との間での効用パラメータの現実的な抽出や、動的で逐次的な意思決定設定へのフレームワークの拡張に焦点を当てるべきであると示唆している。