Confronting Label Indeterminacy in Automated Bail Decisions

기술적 요약: 자동화된 보석 결정에서의 라벨 불확정성 대면

문제 제기
보석을 위한 자동화된 의사결정 지원 시스템은 라벨 불확정성으로 알려진 근본적인 데이터 한계에 직면해 있습니다. 재판 전 상황에서, 보석이 거부되어 피고인이 구금되었을 때 피고인이 석방되었더라면 법정에 출석했을 것인지에 대한 반사실적 결과는 관찰되지 않습니다. 따라서 역사적 데이터셋에는 구조적 불확정성이 내재되어 있습니다. 관찰된 결과 (법정 출석) 는 피고인의 본질적인 출석 성향이 아니라 구금 결정의 직접적인 결과입니다. 이러한 불확정성을 해결하지 않은 채 이러한 데이터로 기계 학습 모델을 훈련시킬 경우, 구조적 편향을 내재화하고 피드백 루프를 강화할 위험이 있습니다. 이는 모델이 예측하려는 결정 자체에 의해 부분적으로 결정된 결과로부터 학습하기 때문입니다.

방법론
저자들은 펜실베이니아주 통합 사법 시스템 (2016~2020 년) 의 90,732 건의 익명화된 법원 사건을 사례 연구로 수행했습니다. 종속 변수는 불출석 (FTA) 입니다. 본 연구는 개입 (재판 전 구금) 이 관찰된 결과를 변경하여 피고인의 진정한 성향을 관찰 불가능하게 만드는 경우를 '불확정' 라벨로 정의합니다. 여기에는 보석이 거부된 경우, 설정되었으나 지급되지 않은 경우, 부분적으로 지급된 경우, 또는 불출석 이외의 이유로 보증금이 종료된 경우가 포함됩니다.

이러한 라벨 처리의 영향을 조사하기 위해 저자들은 다음을 수행했습니다:

1. 다섯 가지 대체 전략 정의:

   • 정확한 라벨 ($corr$): 석방되었더라면 출석했을 것이라고 가정하고, 구금된 피고인에 대해 원래 라벨 (출석) 을 유지합니다.
   • 구금=실패 ($daf$): 구금된 모든 피고인에게 FTA 라벨을 부여하며, 구금이 불출석에 대한 정확한 예측을 반영한다고 가정합니다.
   • 관찰된 데이터만 ($obs$): 보석이 허가된 경우에만 훈련하는 등 모든 불확정 사례를 제외합니다.
   • 관찰된 데이터 + 역확률 가중치 ($obs\_ip$): 관찰된 사례로 훈련하되, 보석 결정에 영향을 미치는 모든 요인이 데이터에 포착되었다고 가정하여 표본 편향을 교정하기 위해 역확률 가중치를 적용합니다.
   • **최단 이웃 ($nn$):** 보석이 허가된 가장 유사한 사례들 ($k=52$) 의 결과를 기반으로 구금된 피고인의 라벨을 대체합니다.

2. 실험 설정:

   • 로지스틱 회귀, 랜덤 포레스트, XGBoost 의 세 가지 기계 학습 모델을 훈련시켰습니다.
   • 데이터셋은 테스트 세트 (20%) 와 25 개의 균형 잡힌 훈련 하위 집합 (소수 클래스인 FTA 의 언더샘플링을 통해) 으로 분할되었습니다.
   • 민감한 속성 (인종, 성별) 은 실제 세계 데이터 분포를 반영하기 위해 유지되었고, 결정 후 특성 (보석 금액, 상태) 은 제외되었습니다.
   • 총 348 개의 모델이 훈련되었습니다 (3 개 모델 × 5 개 방법 × 25 개 하위 집합).

3. 평가:

   • 예측 성능은 결정적 및 불확정 테스트 사례 모두에서 매튜스 상관 계수 (MCC) 를 사용하여 측정되었습니다.
   • 예측 행동은 예측 분포 (바이올린 플롯) 와 와세르슈타인 거리를 통해 분석되었습니다.
   • 내부 의사결정 과정은 설명 가능한 AI(XAI) 기법, 특히 XGBoost 모델의 특징 중요도 점수 (이득 지표) 를 사용하여 검토되었습니다.

주요 결과

• 대체 전략 대 모델 선택의 영향: 기계 학습 알고리즘의 선택보다 라벨 대체 방법의 선택이 모델 행동과 예측 분포에 더 큰 영향을 미쳤습니다. 와세르슈타인 거리, 콜모고로프 - 스미르노프 검정 등 통계적 검정은 $corr$, $daf$, $nn$방법이$obs$및$obs_ip$와 비교하여 의미 있게 다른 분포를 생성했음을 확인했습니다.
• 성능 변동:
  • $obs$, $obs\_ip$, $nn$ 방법은 결정적 테스트 사례에서는 더 잘 수행되었으나 불확정 사례에서는 더 나빴습니다.
  • $corr$ 방법은 결정적 사례에서는 가장 나쁘게 수행되었으나 불확정 사례에서는 가장 잘 수행되었습니다. 이는 구금된 피고인에 대해 원래 라벨을 유지하는 유일한 방법이기 때문입니다.
• 내부 의사결정: XAI 분석은 서로 다른 대체 방법이 내부 특징 중요도 순위 변경을 초래했음을 밝혔습니다. 핵심 특징 (예: 주요 범죄, 변호사 유형) 은 방법 간에 유의미하게 유지되었지만, 다른 특징들의 상대적 중요도는 대체 전략에 따라 변화하여 라벨 처리가 모델이 사건 정보를 활용하는 방식을 근본적으로 변화시킴을 나타냈습니다.
• 분포 변화: $obs$및$obs_ip$ 방법은 유사한 예측 분포를 산출하여, 이 특정 맥락에서 역확률 가중치가 단순 배제와 비교하여 모델 출력에 유의미한 변화를 주지 않았음을 시사합니다.

의의 및 주장
본 논문은 라벨 불확정성이 단순한 기술적 데이터 문제가 아니라 규범적 문제라고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 기술적 선택은 규범적이다: 각 대체 방법은 정의와 위험 거버넌스에 대한 특정 개념을 인코딩합니다. 예를 들어, $corr$은 개별화된 위험 평가를 대체하는 예방적 구금을 암묵적으로 정당화하는 반면,$daf$은 과거 구금 결정을 위험에 대한 신뢰할 수 있는 증거로 취급하여 잠재적으로 자기 충족적 예언을 생성할 수 있습니다.
2. 검증 불가능한 가정: 모든 방법은 반사실적 결과에 대한 검증 불가능한 가정에 의존합니다. 단일 접근법을 definitively 로 옳다고 증명할 수는 없으나, 각 방법은 예측 행동과 공정성에 중대한 영향을 미칩니다.
3. 책임성 위험: 통계적 조정 (예: $obs\_ip$ 및 $nn$) 은 누락된 법적 관찰을 확률적 추론으로 대체하는 '기술관료적 자신감'을 조성할 수 있으며, 이는 피고인이 반사실적 라벨에 기반한 결정을 이의 제기할 능력을 훼손할 수 있습니다.
4. 설계 시사점: 본 연구는 라벨 처리에 관한 방법론적 선택이 모델 선택보다 더 중요할 수 있음을 보여줍니다. 따라서 보석 의사결정 지원 시스템 개발자는 이를 순수한 알고리즘적 문제로 취급하기보다, 불확정 라벨을 처리하는 방식의 법적 및 철학적 함의를 명시적으로 인정해야 합니다.

저자들은 라벨 불확정성을 적절히 다루는 것이 자동화된 보석 시스템의 정당성, 공정성, 책임성에 필수적이라고 결론지으며, 이를 기술적 격차로 보는 시각에서 법적 및 도덕적 담론의 장으로 인식하는 전환을 촉구합니다.