기술 요약: 인간 의사결정자를 고려한 예측 기반 개입의 평가

문제 정의

자동화된 의사결정 시스템(ADS)은 형사 사법, 의료, 교육과 같이 중대한 영향을 미치는 환경에서 인간의 의사결정을 지원하기 위해 점점 더 많이 배치되고 있습니다. 머신러닝 연구는 흔ert히 벤치마크 데이터셋에 대한 예측 모델의 정확도 평가에 집중하지만, 이러한 평가는 인간과 알고리즘 사이의 복잡한 상호작용을 포착하지 못합니다. 구체적으로, 예측 기반 개입을 평가하기 위한 기존의 실험 설계는 인과적 추정치를 도출하기 위해 인간의 의사결정에 대한 단순화된 가정을 활용합니다.

식별된 핵심 문제는 특정 실험 설계 선택이 인간 의사결정자에게 인지적 편향을 유발하여 관찰된 효과 크기를 크게 변화시킬 수 있다는 점입니다. 기존 패러다임은 한 결정 대상의 처치 상태가 다른 대상에게 영향을 미치지 않는다는 "사례 독립적(case-independent)" 모델(SUTVA, 안정적 단위 처치 가치 가정 준수)을 가정하는 경우가 많습니다. 그러나 본 논문은 인간 의사결정자(예: 판사)가 알고리즘 권고에 노출됨에 따라 진화하는 내부 상태를 가지고 있으며, 이로 인해 결정 대상 간의 의존성이 발생하여 SUTVA를 위반하고 처치 효과 추정에 편향을 초래한다고 주장합니다.

방법론

이론적 프레 framework

저자들은 의사결정자의 내부 상태를 명시적으로 고려하는 알고리즘 보조 인간 의사결정에 관한 새로운 인과 모델을 제안합니다. 사례 독립적 모델과 달리, 이 프레임워크는 의사결정을 결정 대상($i$)과 의사결정자($k$) 모두에 의해 인덱싱합니다.

모델은 두 가지 잠재 변수를 도입합니다:

1. $J_{i,k}$: 처치 단위 $i$에 대한 판사 $k$의 반응성으로, 판사가 알고리즘 권고를 따를 확률을 나타냅니다.
2. $\epsilon_{i,k}$: $J_{i,k}$를 파라미터로 하는 베르누이 분포에서 추출된 확률 변수로, 판사가 권고를 준수하는지 여부를 나타냅니다.

의사결정 함수 $D_{i,k}$는 판사의 기본 결정 $\lambda_k(X_i)$와 반응성 $J_{i,k}$에 의해 조절되는 알고리즘 권고 $\bar{D}(\hat{Y}_i)$의 함수로 정의됩니다.

인지 편향 모델

본 논문은 판사의 반응성($J_{i,k}$)을 동적으로 만들고 실험 설계 선택에 의존하게 만드는 세 가지 구체적인 인지 편향 모델을 정식화합니다:

1. 처치 노출 모델 (Treatment Exposure Model): 평균적인 예측 보조 도구에 대한 노출이 증가함에 따라 반응성이 증가합니다. 판사들은 각 사례마다 프로토콜을 조정하기보다 일관된 정보에 의존할 수 있으며, 이는 빈번한 노출 후 더 높은 준수율로 이어질 수 있습니다.
2. 용량 제약 모델 (Capacity Constraint Model): 긍정적(고위험) 예측의 비율이 증가함에 따라 반응성이 감소합니다. 고위험 환경에서 의사결정자는 추가적인 "고위험" 경고에 대해 반응성이 낮아지는 임계점에 도달할 수 있습니다.
3. 낮은 신뢰 모델 (Low Trust Model): 알고리즘의 관찰된 오류율이 증가함에 따라 반응성이 감소합니다. 판사가 실제 결과를 관찰하고 예측 오류(예: 거짓 양성)를 감지하면, 신뢰도와 그에 따른 준수도가 낮아집니다.

실험 분석

저자들은 이러한 모델 하에서 결정 $D_{i,k}$가 현재의 처치 $Z_{i,k}$가 주어졌을 때 이전의 처치 할당 $(Z_{1,k}, \dots, Z_{i-1,k})$와 조건부 독립이 아님을 수학적으로 증명합니다. 이는 SUTVA의 위반을 의미합니다.

실제적인 영향을 입증하기 위해, 본 논문은 두 가지 무작위화 기법을 비교합니다:

• 균등 무작위화 (Uniform Randomization): 사례를 개별 수준에서 무작위화하며(단일 수준), 각 판사에게 혼합된 처치 노출을 제공합니다.
• 2단계 무작위화 (Two-Level Randomization): 판사를 처치 클러스터에 무작위화합니다(예: 한 판사는 100% 처치된 사례를 보고, 다른 판사는 0%를 봄). 이를 통해 뚜렷한 노출 프로필을 생성합니다.

준합성 실험 (Semi-Synthetic Experiments)

저자들은 위스콘신주 데인 카운티의 공공 안전 평가(PSA) 위험 점수에 관한 Imai et al. [2020]의 실제 무작위 대조 시험(RCT) 데이터를 사용하여 이론적 발견을 검증합니다. 여러 명의 판사를 시뮬레이션하고 세 가지 편향 모델을 적용하여 대안적인 의사결정 시퀀스를 생성합니다. 이를 통해 실험 설계 선택(처치 할당, 모델 임계값, 정확도)이 평균 처치 효과(ATE) 추정을 어떻게 변화시키는지 관찰합니다.

주요 기여

1. 동적 반응성의 정식화: 본 논문은 판사의 반응성을 정적인 고유 속성으로 보는 것을 넘어, 이를 실험 설계 선택(특히 처치 할당 $Z$, 모델의 양성 예측률 $P(\hat{Y}=1)$, 모델의 정확도 $P(\hat{Y}=Y)$)의 동적인 함수로 정식화합니다.
2. SUTVA 위반 증명: 저자들은 제안된 행동 모델이 결정 대상 간의 간섭을 유발하여, 일반적으로 인과 추론에서 사용되는 SUTVA 가정을 위반한다는 수학적 증명을 제공합니다. 이는 표준 추정량들이 독립성을 가정하는 것을 무효화합니다.
3. 추정 편향의 입증: 본 논문은 표준 무작위화 기법(단일 수준)이 활성화된 특정 편향 모델에 따라 평균 처치 효과(ATE)를 심각하게 과소 또는 과대 평가할 수 있음을 보여줍니다. 예를 들어, 처치 노출 모델 하에서는 균등 무작위화가 ATE를 과소평가하는 반면, 용량 제약 모델 하에서는 과대평가할 수 있습니다.
4. 경험적 시뮬레이션: Imai et al. [2020]에 기반한 준합성 실험을 통해, 설계 선택(예: 판사당 처치 사례의 비율 또는 알고리즘 임계값)을 변경하는 것이 특정 인구 통계적 하위 그룹에 대한 인과 효과 추정을 최대 10배까지 변화시킬 수 있음을 보여줍니다.

결과

• SUTVA 위반: 이론적 분석은 판사의 반응성이 과거 노출에 의존할 때, 한 사례의 처치 상태가 동일한 판사가 처리하는 후속 사례의 결정에 영향을 미친다는 것을 확인합니다. 이전 연구(Imai et al., 2020)에서 사용된 표준 순열 검정은 평균 처치 비율을 보존하기 때문에 이러한 간섭를 감지하지 못하며, 이는 사례의 순서가 검정 통계량에 무의미하게 만듭니다.
• 편향의 방향성:
  • 처치 노출: 균등 무작위화는 2단계 무작위화에 비해 처치 효과를 과소평가합니다. 판사가 과거 노출에 민감해지고 기본 결정과 권고 결정 사이의 차이가 커질수록 그 격차는 벌어집니다.
  • 용량 제약: 균등 무작위화는 처치 효과를 과대평가합니다. 이 격차는 양성 예측률이 높을수록 증가합니다.
  • 낮은 신뢰: 낮은 알고리즘 정확도는 반응성 감소를 초래하며, 이는 특히 결정의 정확성 측정치에 영향을 미쳐 처치 효과를 과소평가하게 만듭니다.
• 시뮬레이션 결과: 준합성 실험에서 처치 노출 체제(예: 한 판사에게 100% 할당 vs 50% 할당)를 변경하는 것은 측정된 ATE에서 상당한 편차를 초래했습니다. 구적으로, 비백인 여성 대상자에 대한 결정에 미치는 추정된 인과 효과는 노출 체제에 따라 10배까지 차이가 났습니다.

의의 및 주장

본 논문은 인간의 동적인 특성을 무시함으로써 ADS 배포를 위한 개입 기반 평가 방식의 과학적 타당성이 현재 위협받고 있다고 주장합니다. 예측 기반 개입을 단순한 예측 문제로 취급하고 정책 개입으로 다루지 않는다면, 연구자들은 시스템의 효능에 대해 잘못된 결론을 내릴 위험이 있습니다.

저자들은 미래의 실험 설계가 인간-알고리즘 상호작용의 실체를 반영하도록 설계되어야 한다고 주장합니다. 이들은 다음과 같은 사항을 제안합니다:

• 표준 단일 수준 무작위화는 예측 시스템이 전면적인 정책으로서 배포될 때의 인과적 영향을 추정하기에 불충분합니다.
• 판사 편향이 존재하는 상황에서 처치 효과를 정확하게 추정하기 위해서는 2단계 무작위화 설계(의사결정자 수준에서의 무작위화) 또는 다요인 설계가 필요합니다.
• 이러한 발견은 유사한 인지 편향과 간섭 효과가 존재할 가능성이 높은 의료 및 교육과 같은 다른 영역으로도 확장됩니다.

이 연구는 연구 커뮤니티가 예측 기반 개입이 다운스트림 결과에 미치는 진정한 영향을 반영할 수 있도록 실험 패러다임을 개선해야 한다는 촉구의 메시지를 담고 있습니다.