Triage Score: A Counterfactual Risk Assessment Instrument

기술 요약: 트리아지 스코어(Triage Score): 반사실적 위험 평가 도구

문제 정의
위험 평가 도구(위험 점수)는 형사 사법 및 의료와 같이 고위험 영역에서 아무런 개입이 없는 기저 상태(baseline)에서의 바람직하지 않은 결과(예: 재체포 또는 질병)의 가능성을 예측하기 위해 널리 배치됩니다. 일반적으로 높은 점수는 개입(예: 현금 보석 또는 집중 치료)을 유발하지만, 이러한 접근 방식은 복지 극대화(welfare maximization)와 근본적인 불일치를 겪습니다. 위험 점수는 단일 기저 상태(개입 없음) 하에서의 결과만을 예측하며, 대안적인 결정 하에서의 반사실적 결과는 고려하지 못합니다. 결과적으로, 이들은 개입이 결과를 의미 있게 변화시킬 수 있는 개인과 그렇지 않은 개인을 구분하지 못합니다. 이러한 한계는 불필요하게 구금된 개인이 만약 석방되었다면 범죄를 저지르지 않았을 경우 발생하는 후회(regret)와 같은 윤리적 및 실무적 상충 관계를 모호하게 만듭니다. 기존 프레임워크는 특정 결정(특정 결정의 수혜자에게만 관찰되는 결과)을 받은 이들에게서만 관찰되는 "선택적 라벨(selective labels)"에 의존하는 경우가 많아, 대안적인 정책을 평가하는 것을 복잡하게 만듭니다.

방법론
저자들은 기대 효용을 극대화하려는 목적에 부합하도록 설계된 반사실적 위험 평가 도구의 일종인 트리아지 스코어(triage scores) 기반의 프레임워크를 제안합니다. 표준 위험 점수가 오로기 기저 잠재 결과 $Y(d_0)$에만 의존하는 것과 달리, 트리아지 스코어는 대안적인 결정 하에서의 잠재 결과의 결합 분포에 의존하는 **가산적 반사실적 효용(additive counterfactual utilities)**으로부터 구축됩니다.

1. 반사실적 효용 프레임워크:

   • 이 프레임워크는 주 성층화(principal stratification, Frangakis and Rubin, 2002)를 활용하여, 결합 잠재 결과 $(Y(0), Y(1), \dots, Y(K_D-1))$에 기반한 층(strata)을 정의합니다. 이진 설정에서 이 층들은 다음과 같습니다: 안전(Safe) (어떤 결정 하에서도 결과가 발생하지 않음), 역효과(Backlash) (개입 시에만 결과가 발생함), 예방 가능(Preventable) (개입이 없을 때만 결과가 발생함), 절망적(Hopeless) (어떤 결정 하에서도 결과가 발생함).
   • 효용은 가산적으로 정의됩니다: $u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$. 첫 번째 항은 실현된 결과의 표준 효용을 나타내며, 두 번째 항은 대안적 결정 $d'$ 하에서 발생했을 결과와 관련된 반사실적 효용(또는 "후회")을 포착합니다.
   • 이러한 가산적 구조를 통해 프레임워크는 개입이 진정으로 예방적인 경우와 개입이 불필요한 경우(예: "안전한" 피고인에게 현금 보석을 부과하는 경우)를 구분할 수 있게 합니다.

2. 식별 및 추정:

   • 무조건성(unconfoundedness)(관측된 공변량에 따른 잠재 결과와 결정의 조건부 독립성) 가정 하에, 저자들은 잠재 결과의 전체 결합 분포를 관찰하지 못하더라도 기대 반사실적 효용이 점 식별(point-identified)됨을 입증합니다.
   • 본 논문은 기대 효용을 추정하기 위해 증강 역확률 가중치(Augmented Inverse Probability Weighting, AIPW) 추정량을 사용합니다. 이 접근 방식은 이중 강건성(doubly robust)을 가지며, 결정 모델(판사의 결정 확률)과 결과 모델 모두의 일관된 추정을 요구합니다.
   • 사법적 결정을 혼란시키는 고차원의 비정형 텍스트 데이터(특히 범죄 혐의 진술서)를 처리하기 위해, 저자들은 **생성형 AI 기반 추론(GenAI-powered inference, GPI)**을 통합합니다. 대규모 언어 모델(예: Llama3)과 DragonNet 같은 아키텍처를 사용하여, 관측되지 않은 이질성을 조정하기 위한 저차원 디컨파운더(deconfounder)를 텍스트에서 추출함으로써, 구조화된 공변량만 사용하는 것보다 무조건성 가정을 더 타당하게 충족시킵니다.

3. 정책 학습:

   • 이 프레임워크는 경험적 효용 극대화 문제를 해결함으로써 최적의 결정 규칙을 학습할 수 있게 합니다. 이진 결정의 경우 이는 가중 분류 문제로 재구성되며, 다중 클래스 결정의 경우 각 공변량 프로필에 대해 추정된 기대 효용이 가장 높은 결정을 선택하는 과정을 포함합니다.

경험적 적용 및 결과
이 방법론은 유타(Utah)에서 실시된, **공공 안전 평가(Public Safety Assessment, PSA)**를 평가하는 무작위 대조 시험(RCT)에 적용되었습니다. 이 연구에서 판사들은 PSA 권고를 받거나 받지 않도록 무작위로 배정되었습니다. 데이터셋에는 신규 범죄 활동(NCA), 신규 폭력 범죄 활동(NVCA), 출두 불이행(FTA)으로 측정된 결과가 포함된 9,855건의 초범 사례가 포함되어 있습니다.

• 효용 명세: 저자들은 결정 비용(예: 현금 보석 비용), 바람직하지 않은 결과의 비용, 그리고 반사실적 결과에 대한 후회 매개변수를 포함하는 효용 매개변수를 정의합니다.
• 비교 분석: 연구는 세 가지 시스템을 비교합니다: 인간 단독, 인간+PSA, 그리고 트리아지 스코어 프레임워크로부터 도출된 최적 결정 트리 정책.
• 주요 결과:
  • 효용 매개변수에 대한 민감도: 선호되는 결정 규칙(인간 vs. 인간+PSA)은 효용 매개변수의 명세, 특히 현금 보석 비용과 불필요한 구금에 대한 후회에 매우 민감합니다.
  • 위험 점수와의 차이: 표준 위험 점수 프레임워크(기저 위험에 따라 층을 축소하는 방식) 하에서는 최적의 정책이 트리아지 스코어 프레임워크에서 도출된 정책과 크게 다를 수 있습니다. 트리아지 스코어 프레임워크는 현금 보석이 "안전한" 피고인(어떠한 상황에서도 범죄를 저지르지 않을 피고인)에게는 역효과를 낼 수 있음을 식별해 내는데, 이는 표준 위험 점수 산출 방식에서는 놓치는 미묘한 차이입니다.
  • 정책적 시사점: 분석은 알고리즘 권고의 가치에 대한 결론이 절대적인 것이 아니라, 선택된 반사실적 결과에 부여된 윤리적 가중에 따라 달라짐을 보여줍니다. 예를 들어, 불필요한 구금에 대한 후회가 높을 때, 트리아지 프레임워크는 표준 위험 기반 접근 방식에 비해 현금 보석 사용을 줄이는 정책을 선호하는 경향이 있습니다.

기여 및 의의
본 논문은 세 가지 주요 기여를 합니다:

1. 이론적 일반화: 표준 위험 점수를 넘어, 단일 기저 결과를 예측하는 것에서 잠재 결과의 결합 분포를 바탕으로 결정을 평가하는 것으로 초점을 전환한 트리아지 스코어를 도입했습니다. 이를 통해 후회와 같은 윤리적 고려 사항을 명시적으로 포함할 수 있습니다.
2. 방법론적 발전: 반사실적 효용 하에서 최적의 정책을 평가하고 학습하기 위한 통계적 의사결정 이론 프레임워크를 제공하며, 무조건성 하에서의 식별 결과를 확립하고, GPI를 통해 고차원 텍스트 혼란 변수를 수용하는 준모수적(semiparametric) 추정량(AIPW)을 개발했습니다.
3. 경험적 입증: 유타 RCT를 통해, 기존의 위험 점수 평가가 트리아지 기반 접근 방식과 비교했을 때 실질적으로 구별되며 잠재적으로 하위 최적인 정책 권고를 낼 수 있음을 보여줍니다. 이는 "최선의" 결정 규칙이 선택된 효용 구조(윤리적 및 실무적 상충 관계)에 따라 달라짐을 강조합니다.

주장 및 한 한계
저자들은 트리아지 스코어를 특정 설정만을 위한 도구가 아니라 일반적인 의사결정 지원 프레임워크로 규정합니다. 그들은 유타 사례를 위해 특정 트리아지 스코어를 개발한 것이 아니라, 풍부한 효용 구조를 포착하는 프레임워크의 능력을 입증하고자 했음을 명시합니다. 저자들은 결과의 타당성이 무조건성 가정에 의존하며, 이 가정은 전체 사법 정보(범죄 혐의 진술서 포함)의 가용성과 텍스트 기반 혼란 변수를 조정하기 위한 GPI 사용을 통해 이 연구에서 타당하게 만들어졌음을 인정합니다. 저자들은 향후 연구가 정책 입안자와의 실제 효용 매개변수 도출 및 동적이고 순차적인 의사결정 환경으로의 프레임워크 확장에 집중해야 한다고 제안합니다.