Bounding the Causal Impact of ML-assisted Decision-Making via Counterfactual Correctness

기술 요약: 반사실적 정확성(Counterfactual Correctness)을 통한 ML 지원 의사결정의 인과적 영향 경계 설정

문제 정의

예측 머신러닝(ML) 모델은 인간 의사결정자를 돕기 위해 고위험 영역(예: 의료, 형사 사법)에 점점 더 많이 배치되고 있습니다. 무작위 대조 시험(RCT)은 특정 ML 개입에 대한 고품질의 증거를 제공하지만, 결정적인 격차가 존재합니다: 모든 모델 업데이트나 재학습 반복마다 새로운 RCT를 수행하는 것은 불가능한 경우가 많습니다. 결과적으로, 초기 RCT 이후에 더 높은 예측 정확도를 가진 새로운 모델이 개발되더라도, 해당 모델의 하류 결과(예: 환자 생존율, 재범률)에 미치는 직접적인 인과적 증거는 존재하지 않습니다.

선행 연구들은 부분 식별(partial identification) 프레임워크를 통해 이를 해결하려고 시도했습니다. 예를 들어, Nercessian 등 [2025]은 예측이 일치하는 모델 간에는 결과가 다르지 않다고 가정하며, Chen과 Oberst [2025]는 사용자 신뢰를 바탕으로 전역적 성능 지표(예: 정밀도)에 근거하여 개별 수준의 결과 차이를 허용함으로써 이를 완화합니다. 그러나 이러한 프레임워크는 개별 수준의 예측 정확성을 통합하지 못합니다. 많은 시나리오에서, 올바른 예측은 잘못된 예측보다 결과 측면에서 열등하지 않을 것이라는 기대는 합리적이며, 저자들은 이를 "반사실적 정확성"이라고 명명합니다.

방법론

저자들은 이미 시험된 모델들의 집합($T$)을 포함하는 이전 RCT 데이터를 사용하여, 시험되지 않은 새로운 모델($\pi_e$)의 인과적 효과에 대한 경계(bounds)를 구축하기 위한 부분 식별 접근법을 제안합니다.

인과적 프레임워크

데이터 생성 과정은 유향 비순환 그래프(DAG)로 표현되는 구조적 인과 모델(SCM)로 모델링됩니다. 주요 변수는 다음과 같습니다:

• $D$: RCT 암(arm) (대조군 vs 처치군).
• $\Pi$: 예측에 사용된 모델.
• $X$: 공변량/특징.
• $Z$: "실제 라벨" (RCT의 모든 개인에 대해 관찰됨, Ground Truth).
• $\hat{Z}$: 예측된 라벨.
• $M$: $X$와 $\Pi$에 조건화된 성능 지표 (예: 정밀도).
• $A$: 의사결정자의 행동 (관찰되지 않음/잠재적).
• $Y$: 하류 결과.

목표는 $\pi_e$가 배포되었을 경우의 기대 결과인 $E[Y(\pi_e)]$를 추정하는 것입니다.

구조적 가정

경계를 도출하기 위해 저자들은 네 가지 핵심 가정을 도입합니다:

1. 반사실적 정확성 (가정 3.1): 올바른 예측은 해를 끼치지 않습니다. 형식적으로, 고정된 실제 라벨 $z$에 대해, 모델이 $z$를 예측하면(올바르게 예측하면), 다른 요인이 동일할 때 결과는 모델이 $z' \neq z$를 예측했을 때(잘못 예측했을 때)보다 최소한 같거나 좋습니다.

   • 반증(Falsification): 한 모델은 맞고 다른 모델은 틀린 데이터의 부분 집합에서 두 모델의 결과를 비교함으로써 테스트할 수 있습니다.

2. 조건부 성능 단조성 (가정 3.2): 잠재적 결과는 정확성에 조건화되어 모델 성능에 대해 단조적입니다.

   • 예측이 올바르면($\hat{z}=z$), 높은 성능은 더 나은(또는 동일한) 결과로 이어집니다.
   • 예측이 틀리면($\hat{z} \neq z$), 높은 성능은 더 나쁜(또는 동일한) 결과로 이어집니다 (이는 확신에 찬 오답에 대한 신뢰 증가를 반영합니다).
   • 반증: 예측이 올바른 부분 집합에서 서로 다른 성능 수준을 가진 모델들을 비교함으로써 테스트합니다.

3. 중립적 예측 (가정 3.3): 모델 성능이 결과에 영향을 미치지 않는 "중립적" 예측(예: 인간에게 위임함)이 존재합니다. 이는 대조군을 새로운 모델의 평가와 연결합니다.

4. 유계 결과 (가정 3.4): 결과 변수 $Y$는 알려진 $[Y_{min}, Y_{max}]$ 범위 내에 있습니다.

부분 식별 경계

저자들은 모델과 공변량 공간을 $\pi_e$가 시험된 모델들과 일치하는지 여부와 상대적 성능에 따라 구분합니다. 또한 각 $(x, z)$ 쌍을 네 가지 논리적 분기로 할당하는 브랜치 선택기(branch selector) ($b_L, b_U$)를 도입합니다:

• 중립(Neutral): $\pi_e$가 중립적 예측을 수행함.
• 단조(Monotonic): $\pi_e$가 시험된 모델들과 일치하며, 성능 순서가 단조성을 통한 경계 설정을 허용함.
• 정확(Correct): $\pi_e$가 올바른 예측을 하지만, 시험된 모델 중 어느 것도 이에 동의하지 않거나 (또는 그들이 하한을 설정하는 데 도움이 되지 않는 방식으로 모두 "더 우수"함). 여기서 경계는 올바른 예측이 어떤 잘못된 예측보다 나쁘지 않다는 가정에 의존합니다.
• 기본(Default): $Y_{min}$(하한) 또는 $Y_{max}$(상한)로의 보수적인 회귀.

결과적인 경계 $L(\pi_e)$와 $U(\pi_e)$는 $X$와 $Z$의 분포에 대한 점별(pointwise) 경계의 기댓값을 취함으로써 구축됩니다.

추정

논문은 이 경계들에 대한 일치(consistent) 및 점근적 정규성(asymptotically normal)을 갖는 추정량을 제공합니다. 추정 전략은 세 가지 과제를 해결합니다:

1. 잡음 모델(nuisance models)을 통한 조건부 기댓값 $E[Y|X, Z, \Pi]$ 추정.
2. 비매끄러운 max/min 연산자(예: 집합 내에서 가장 성능이 좋거나 나쁜 모델을 선택하는 것) 처리.
3. 오라클 지식(oracle knowledge)을 가정하는 대신 데이터로부터 성능 지표($M$)를 추정하는 것.

저자들은 증강 역확률 가중(Augmented Inverse Propensity Weighted, AIPW) 추정량을 제안합니다. 특정 마진 조건(모델 성능과 결과 사이의 충분한 분리를 보장)과 잡음 함수(nuisance functions)의 수렴 속도 하에서, 이 추정량들은 일치성과 점근적 정규성이 있음이 증명되어 유효한 신뢰 구간을 구축할 수 있습니다.

주요 기여

1. 인과적 프레임워크의 확장: 본 연구는 개별 수준의 반사실적 정확성을 통합함으로써 Chen과 Oberst [2025]의 프레임워크를 확장합니다. 이는 새로운 모델이 올바르게 예측한다면, 그 결과가 잘못된 예측을 했을 때보다 나쁘지 않을 것이라고 가정합니다.
2. 서브그룹 성능 통합: 전역적 성능 지표에 의존하는 선행 연구와 달리, 본 프레임워크는 조건부 서브그룹 예측 성능을 통합하여, 의사결정자가 모델이 어디서 잘 작동하고 어디서 잘 작동하지 않는지에 대한 휴리스틱을 개발한다는 직관을 반영합니다.
3. 데이터 기반 추정: 저자들은 모델 성능 측정에 대한 사전 지식 없이도 데이터로부터 경계를 도출할 수 있는 일치 추정량을 제공합니다.
4. 더 좁은 경계: 이론적 및 경험적 결과는 반사실적 정확성을 통합하는 것이 이전의 부분 식별 방법들에 비해 훨씬 더 좁고(더 정보가 많은) 유익한 경계를 생성함을 보여줍니다.

실험 결과

저자들은 Imai 등 [2023]의 보석 결정(bail sentencing) 데이터셋을 기반으로 한 준합성(semi-synthetic) 시뮬레이션을 사용하여 방법을 평가합니다.

• 설정: 다양한 알림 모델 하에서 판사의 행동과 피고인의 결과(불출석 여부)를 시뮬레이션합니다.
• 비교: 제안된 방법의 경계를 Chen과 Oberst [2025]에서 도출된 경계와 비교합니다.
• 결과:
  • 모든 실험(알림 임계값 변경, 모델 재학습, RCT 부재 상황)에서 제안된 방법은 일관되게 더 좁은 경계를 생성했습니다 (예: 한 실험에서 폭이 0.12 대 0.36).
  • 경계는 항상 실제 기대 결과값을 포함했습니다.
  • 절제 연구(Ablation studies)는 이러한 개선이 단순히 공변량에 따라 성능을 층화한 것이 아니라, 주로 반사실적 정확성 가정에 의해 주도된다는 것을 시사합니다.
  • 방법론은 실제 라벨($Z$)이 부분적으로 누락된 경우에도 특정 결측 메커니즘에 관한 가정이 충족된다면 견고하게 유지됩니다(다만 경계는 넓어질 수 있음).

의의 및 주장

본 논문은 새로운 ML 모델의 인과적 영향을 평가할 때 RCT를 다시 실행하는 것이 불가능한 경우에 대한 실질적인 해결책을 제공한다고 주장합니다. 실제 라벨($Z$)의 존재를 활용함으로써, 이 방법은 예측의 정확성이 제공하는 "방향성" 정보를 이용하여 인과적 경계를 좁힙니다.

저자들은 다음과 같은 한계를 인정하며 주장이 겸손합니다:

• 반증 테스트: 이 테스트들은 기댓값 관점에서의 테스트입니다. 개별 수준의 가정 위반은 감지되지 않을 수 있습니다.
• 결측 데이터: 방법론은 실제 라벨($Z$)이 누락된 경우에 한계가 있으나, 이를 처리하기 위한 메커니즘을 논의합니다.
• 연속적 출력: 현재 프레임워크는 이산적 예측을 가정합니다. 연속적 출력의 경우 이산화하거나 단순화된 적용이 필요합니다.
• 관측 데이터: 현재 프레임워크는 RCT 데이터에 의존합니다. 관측 데이터를 통합하는 것은 향후 연구 과제로 언급되었습니다.

궁극적으로, 이 연구는 고위험 의사결정 환경에서 AI 시스템의 하류 인과적 영향을 추론하기 위해 예측 정확성을 넘어 엄격한 가정 기반의 프레임워크를 제공합니다.