기술적 요약: 실제 vs. 반시뮬레이션: 치료 효과 추정을 위한 평가 재고

문제 제기

인과적 머신러닝 (Causal ML) 분야는 연구 평가 관행과 실제 배포 요구 사항 사이의 심각한 불일치에 직면해 있습니다. 학술 연구는 주로 반시뮬레이션 벤치마크와 반사실적 지표(예: $\sqrt{PEHE}$) 에 의존하는 반면, 산업 응용은 관측 가능한 결과만 존재하는 조건 하에서 운영됩니다. 실제 환경에서는 반사실적 결과 (다른 치료를 받았을 때 발생했을 결과) 가 정의상 관측되지 않기 때문입니다. 따라서 실무자는 순위 성능 (예: 업리프트 곡선) 이나 사실적 테스트 결과와 같은 관측 가능한 지표에 의존해야 합니다.

이 논문이 다루는 핵심 문제는 방법론적 논문에서 사용된 평가 체제가 배포 시나리오에서의 모델 성능을 신뢰할 수 있게 예측하는지 여부입니다. 구체적으로, 저자들은 반시뮬레이션 데이터에서 반사실적 지표에 의해 "최고"로 선정된 모델들이 관측 가능한 지표를 사용하여 평가될 때 실제 데이터셋으로 효과적으로 이전되는지 조사합니다.

방법론

저자들은 112 개의 반시뮬레이션 데이터셋과 5 개의 실제 데이터셋으로 구성된 117 개의 벤치마크 인스턴스를 포함하는 대규모 실증 연구를 수행했습니다. 샘플 크기는 수백에서 거의 1400 만 (Criteo-ITE) 에 이릅니다.

평가된 추정량

이 연구는 다음과 같은 포괄적인 추정량 풀을 평가합니다:

• 메타러너: S-, T-, X-, R-, 그리고 더블리 로버스트 (DR) 러너 [Künzel et al., 2019; Nie and Wager, 2021].
• 베이스 러너: 선형/로지스틱 회귀 (LR), XGBoost (XGB), 그리고 2 층 멀티레이어 퍼셉트론 (NN).
• 전문 아키텍처: TARNet, CFR, DragonNet, 그리고 인과적 숲 (Causal Forests).

평가 지표

저자들은 세 가지 지표 계열을 비교합니다:

1. 반사실적 기반 (오라클): $\sqrt{PEHE}$, 정책 가치 (Policy Value), 그리고 $\Delta$ATE(Sim). 이러한 지표는 잠재 결과에 대한 접근이 필요하며 반시뮬레이션 설정으로 제한됩니다.
2. 관측 결과 기반: 사실적 손실 (Factual loss) 과 $\Delta$ATE (예측된 평균 치료 효과와 경험적 평균 치료 효과 간의 차이 측정).
3. 관측 순위 기반: Up@20, Qini 점수, 그리고 RATE AUTOC. 이러한 지표는 관측 데이터를 기반으로 치료를 위한 단위 우선순위를 지정하는 모델의 능력을 평가합니다.

실험 설계

이 연구는 두 가지 주요 질문에 답합니다:

• Q1 (지표 이전): 반시뮬레이션 데이터의 반사실적 지표가 관측 가능한 지표와 동일한 모델 순위를 유도하는가?
• Q2 (데이터셋 이전): 반시뮬레이션 벤치마크에서 얻은 순위가 실제 데이터셋으로 이전되는가?

저자들은 지표 유도 순위 간의 일치를 정량화하기 위해 켄달의 $\tau$와 윌콕슨 부호 순위 검정을 활용합니다. 또한, 공변량 차이를 배제하고 평가 체제의 효과를 분리하기 위해 Criteo 데이터셋 (실제) 과 동일한 소스에서 파생된 Criteo-ITE (반시뮬레이션 변형) 를 사용한 매칭 사례 연구를 수행합니다.

주요 결과

1. 지표 불일치 (Q1)

이 연구는 반사실적 지표가 동일한 반시뮬레이션 벤치마크에서도 관측 가능한 지표가 선호하는 추정량을 신뢰할 수 있게 복원하지 못한다는 사실을 발견했습니다.

• 순위 분기: $\sqrt{PEHE}$에 의해 "최고"로 선정된 모델들은 Up@20 또는 Qini 와 같은 순위 지표로 평가될 때 상당한 후회를 초래하는 경우가 많습니다. 예를 들어, $\sqrt{PEHE}$에 의해 선정된 추정량은 Up@20 하에서 평균적으로 13 위를 기록했습니다.
• 통계적 유의성: 순위 지표 간의 일치 (평균 $\tau = 0.355$) 는 순위와 반사실적 지표 간의 일치 (평균 $\tau = 0.256$) 보다 현저히 높습니다.
• 함의: 반사실적 지표를 모델 선택의 금표준으로 간주하는 것은 배포 지향적 목표에 대해 하위 최적인 추정량을 선택하게 할 수 있습니다.

2. 데이터셋 비이전성 (Q2)

반시뮬레이션 벤치마크에서 얻은 순위는 동일한 관측 가능한 지표를 사용하더라도 실제 데이터셋으로 이전되지 않습니다.

• 일관성 없는 승리자: 반시뮬레이션 벤치마크를 지배하는 방법들 (예: IHDP 의 DragonNet, DR-LR) 은 종종 실제 데이터셋의 상위 순위에는 나타나지 않습니다.
• 순위 이동: 반시뮬레이션과 실제 데이터 간의 순위 이동 ($\Delta$Rank) 에 상당한 분산이 있습니다. 예를 들어, R- 및 DR 기반 추정량은 실제 데이터 순위에서 종종 개선되는 반면, T- 및 X-러너는 악화될 수 있습니다.
• 매칭 사례 연구: 동일한 공변량과 치료 할당을 가지지만 결과 생성이 다른 Criteo 매칭 연구에서도 추정량의 전체 순서가 반사실적 (Criteo-ITE) 과 관측 가능한 (Criteo) 설정 사이에서 변경되었습니다.

3. 실용적 관찰

• 베이스 러너 우세: 강력한 예측 백본 (특히 XGBoost) 과 결합된 단순 메타러너는 체제 전반에 걸쳐 일관되게 경쟁력을 유지합니다. T(XGB), X(XGB), 그리고 S(XGB) 가 전체 순위를 지배합니다.
• 전문 모델: 전문 신경 아키텍처 (예: DragonNet, CFR) 는 일반적으로 반사실적 반시뮬레이션 지표 하에서 구체적으로 평가되지 않는 한, 표형 백본을 갖춘 단순 메타러너보다 성적이 낮습니다.

중요성과 주장

이 논문은 치료 효과 추정 분야가 지표 문제와 데이터셋 문제 모두에 직면해 있다고 주장합니다.

1. 평가 프로토콜 재평가: 저자들은 인과적 머신러닝의 진전이 오라클 스타일의 반사실적 지표와 반시뮬레이션 벤치마크를 통해서만 평가되어서는 안 된다고 주장합니다. 이러한 체제는 실제 세계의 치료 할당이나 결과 노이즈가 아닌 시뮬레이션 메커니즘과 정렬된 귀납적 편향을 가진 방법들을 보상할 수 있습니다.
2. 실제 데이터 검증의 필요성: 이 연구는 연구와 배포 간의 격차를 해소하기 위해 관측 가능한 지표와 실제 데이터 검증을 포함할 것을 옹호합니다.
3. 벤치마킹 표준: 저자들은 방법론적 논문이 전문 인과 모델이 종종 관측 가능한 배포 지향적 설정에서 이를 능가하지 못하기 때문에 강력한 예측 백본 (예: XGBoost) 을 갖춘 단순 메타러너를 베이스라인으로 포함해야 한다고 제안합니다.

이 논문은 반시뮬레이션 벤치마크가 스트레스 테스트와 통제된 분석에 유용하지만, 실용적 응용을 위한 독립적인 가이드로는 불충분하다고 결론지었습니다. 향후 연구는 오라클 스타일의 반사실적 평가와 관측 가능한 배포 지향적 기준을 더 잘 연결하는 평가 프로토콜 개발에 초점을 맞춰야 합니다.