When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

데이터 과학의 세계에서 연구자들은 종종 하나의 퍼즐에 직면합니다. 통제된 실험을 수행할 수 없을 때, 어떻게 한 가지가 다른 것의 원인이 되는지 판별할 것인가 하는 문제입니다. 예를 들어, 사람들이 스스로 약을 복용하기로 결정한 기록과 그렇지 않은 기록이 섞여 있는 상황에서 새로운 약이 효과가 있는지 이해하려고 노력하는 상황을 상상해 보십시오. 이를 풀기 위해 과학자들은 인과 추론(causal inference)이라는 방법을 사용합니다. 이 접근 방식은 약을 복용하기로 한 결정과 건강 결과 모두에 영향을 미치는 배경 요인들(예: 연령, 소득, 또는 병력)을 설명하기 위한 수학적 모델을 구축하는 것에 의존합니다. 이러한 배경 모델은 "너스먼스 함수(nuisance functions)"로 알려져 있습니다. 이들이 '너스먼스(성가신/불필요한)'라고 불리는 이유는 그들이 짜증스럽기 때문이 아니라, 연구자가 치료의 진정한 효과를 분리해 내기 위해 반드시 정확하게 추정해야 하는 방해 요소이기 때문입니다. 오랫동안 이 배경 모델이 얼마나 좋은지를 확인하는 표준적인 방법은, 마치 기상 예보관이 자신의 기온 예측이 실제 날씨와 얼마나 일치하는지 확인하는 것처럼, 모델이 배경 데이터를 얼마나 잘 예측하는지 보는 것이었습니다. 가정은 간단했습니다. 만약 모델이 배경 데이터를 잘 예측한다면, 그것 또한 올바른 인과 관계를 찾는 데 도움이 될 것이라는 것이었습니다.

예일 대학교의 콩 카오(Cong Cao)가 진행한 최근 연구는 이러한 오랜 가설에 도전합니다. 연구자는 배경 데이터를 예측하는 데 탁월한 모델이 반드시 진정한 원인을 찾아내는 데도 탁월한지를 테스트하고자 했습니다. 이를 위해 카오는 실제 의료 기록을 보는 대신 컴퓨터로 생성된 수천 개의 시뮬레이션 세계를 만들었습니다. 이러한 시뮬레이션에서는 설계 단계부터 진정한 인과 관계가 알려져 있었기에, 연구자는 서로 다른 컴퓨터 프로그램들이 얼마나 잘 수행되는지 정확히 확인할 수 있었습니다. 이 연구는 전통적인 통계 도구부터 현대의 유연한 머신러닝 알고리즘에 이르기까지, 배경 모델을 구축하는 데 사용되는 여러 인기 있는 방법들을 비교했습니다. 목표는 배경 데이터를 예측하는 데서 얻은 점수가 인과 관계를 찾는 데서 얻는 점수와 일치하는지 확인하는 것이었습니다.

결과는 놀라운 괴리를 드러냈습니다. 연구는 배경 데이터를 가장 잘 예측하는 방법이 반드시 인과 효과를 추정하는 데 가장 좋은 방법은 아니라는 것을 발견했습니다. 시뮬레이션에서 XGBoost라는 머신러닝 도구는 배경 변수를 예측하는 데 가장 정확했으며, 자신의 추측에서 가장 작은 오차를 만들어냈습니다. 그러나 최종 목표인 인과 효과를 추정하는 데 있어서는, 특정 통계적 프레임워크 내에서 XGBoost를 활용한 '더블 머신 러닝(Double Machine Learning)'이라 불리는 또 다른 방법이 더 중요한 작업, 즉 신뢰할 수 있는 신뢰 구간(confidence intervals)을 제공하는 측면에서 더 나은 성능을 보였습니다. 신뢰 구간이란 연구자들이 자신의 답에 대해 얼마나 확신하는지를 표현하기 위해 사용하는 값의 범위입니다. 이 시뮬레이션에서 예측 정확도가 가장 높았던 방법은 너무 좁은 범위를 제시했는데, 이는 과도하게 확신하여 실제 정답을 놓치는 경우가 많았음을 의미합니다. 예측 정확도는 약간 더 낮았지만, 더 넓고 정직한 범위를 만들어내어 진정한 답을 약 93퍼센트의 확률로 포착해 낸 방법이 오히려 더 나았습니다. 이는 이상적인 수치인 95퍼센트에 매우 근접한 결과입니다.

이는 훌륭한 예측가가 되는 것과 훌륭한 인과 관계 탐정이 되는 것은 같지 않다는 점을 시사합니다. 이 연구는 모델이 배경 수치를 맞추는 데 매우 정밀할 수는 있지만, 최종 답변에 대한 신뢰할 수 있는 범위를 제공하는 데는 실패할 수 있음을 보여주었습니다. 연구자들은 또한 새로운 아이디어를 테스트했습니다. 즉, 두 가지 서로 다른 배경 모델의 결합된 오차를 살펴보는 것이 최종 결과를 예측할 수 있는지 확인한 것입니다. 그들은 이 결합된 척도가 약하다는 것을 발견했으며, 어떤 방법이 가장 잘 작동할지를 신뢰성 있게 알려주지 못한다는 것을 알아냈습니다. 이 결과는 모델이 데이터를 얼마나 잘 예측하는지 확인하는 것이 유용하기는 하지만, 그것만으로는 좋은 인과적 결론을 보장하기에 충분하지 않다는 것을 나타냅니다. 연구자들은 단순히 예측 오차가 가장 낮은 모델을 선택하고 인과적 답변이 옳을 것이라고 가정해서는 안 됩니다. 대신, 최종 결론이 견고한지 확인하기 위해 불확실성을 어떻게 다루는지와 같은 인과적 방법 자체의 구체적인 특성을 살펴봐야 합니다.

또한 연구는 환자들이 동일한 병원이나 가족 단위로 묶여 있어 데이터 포인트들이 독립적이지 않은 경우(즉, 이들 사이에 숨겨진 연결 고리가 있는 경우)에 어떤 일이 발생하는지 탐구했습니다. 이러한 더 복잡한 클러스터링 상황에서도 동일한 패턴이 유지되었습니다. 배경 데이터를 가장 잘 예측했던 방법이 여전히 가장 신뢰할 수 있는 신뢰 구간을 제공하지는 못했습니다. 연구자들은 자신들의 작업이 특정 조건 하의 컴퓨터 시뮬레이션에 기반하고 있으므로, 결과가 다른 유형의 데이터를 가진 다른 실제 시나리오에서는 다르게 보일 수 있다고 언급했습니다. 그러나 핵심 메시지는 명확합니다. 인과 관계를 찾는 과정에서, 모델의 과거를 예측하는 능력이 자동으로 미래를 설명하는 능력으로 이어지지는 않는다는 것입니다. 배경 소음을 제거하는 데 사용되는 도구들은 단지 소음 자체를 얼마나 잘 추측하느냐가 아니라, 최종 답변을 얼마나 잘 보호하느냐에 따라 평가되어야 합니다.