Bias-robust causal inference for panel data

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오: "이 새로운 정책이 실제로 사람들의 삶을 변화시켰는가?" 현실 세계에서는 어떤 스위치를 켜고 사람들을 무작위로 나누어 일부에게는 정책을 적용하고 다른 이들에게는 적용하지 않는 완벽한 실험을 수행하기가 매우 어렵습니다. 대신, 우리는 이미 가지고 있는 무질서한 관측 데이터를 살펴봐야 합니다. '반사실(counterfactual)' 즉, 정책이 없었을 때 어떤 일이 일어났을지를 알아내기 위해 통계학자들은 모델을 구축합니다. 이는 마치 과거를 바탕으로 미래를 예측하는 '디지털 타임머신'과 같습니다. 그들은 종종 모든 사람에게 영향을 미치는 공통된 '추세'나 '요인' 같은 숨겨진 패턴을 찾기 위해 정교한 수학을 사용하며, 이를 통해 처치 집단(treated group)이 처치를 받지 않았더라면 어떠했을지를 추측합니다. 문제는 이 타임머신이 완벽하지 않다는 점입니다. 만약 모델이 숨겨진 패턴을 놓치거나 잘못된 추세를 예측한다면, 그 예측은 틀린 것이 됩니다. 기존 방식들은 자신의 예측이 100% 확실하다고 가정하는 경향이 있는데, 이는 자신들의 '타임머신'이 약간 고장 났을 수도 있다는 사실, 즉 결론은 확신에 차 보이지만 실제로는 흔들릴 수 있다는 사실을 무시하는 것입니다.

이 논문은 이러한 탐정 업무를 수행하는 데 있어 더 신중하고 새로운 방식을 소개합니다. 특히 많은 사람이나 장소를 시간에 따라 추적하는 데이터(패널 데이터)를 대상으로 합니다. 저자인 안젤로스 알렉소풀로스(Angelos Alexopoulos)는 우리의 예측이 완벽하다고 가장하는 대신, 예측이 틀릴 수 있음을 인정하고 그 불확실성을 최종 결과에 직접 반영해야 한다고 주장합니다. 이것은 마치 일기 예보와 같습니다. 단순히 "오후 2시에 비가 올 것입니다"라고 말하는 대신, 편향에 강건한(bias-robust) 방법은 "오후 2시에 비가 오겠지만, 우리 모델이 틀릴 경우 비가 1시 30분이나 2시 30분에 시작될 수도 있습니다"라고 말합니다. 이 논문은 데이터의 '남겨진' 오차를 살펴봄으로써 예측을 조정하고, 모델이 완벽하지 않더라도 진실이 그 안에 포함되도록 보장하는 '안전망(신뢰 구간)'을 만드는 방법을 개발했습니다.

타임머신과 안전망

이 논문은 통제된 실험을 할 수 없을 때 정책의 효과를 측정하는 경제학 및 사회과학의 특정한 난제를 다룹니다. '일반화된 합성 통제(Generalized Synthetic Control, GSC)'와 같은 표준적인 접근 방식은 일반인들의 옷 조각들을 엮어서 유명 인사의 의상을 만들어내는 것과 비슷합니다. 만약 유명 인사와 일반인들이 근본적인 스타일(요인) 면에서 매우 유사하다면 이 방식은 잘 작동합니다. 하지만 모델이 스타일을 잘못 파악한다면, 예를 들어 유명인만이 따르는 미묘한 추세를 놓친다면, '엮어 만든' 의상은 어색해질 것이고 정책의 추정 효과는 왜곡될 것입니다. 더 심각한 것은, 기존 방식들이 엮는 과정이 완벽하다고 가정하여 '신뢰도'를 계산함으로써, 패턴 자체가 틀렸을 가능성을 무시한다는 점입니다.

저자는 '편향에 강건한(bias-robust)' 방법을 제안합니다. 당신이 미스테리 박스의 무게를 추측하려고 한다고 상상해 보십시오. 당신에게는 약간의 오차가 있을 수 있는 저울이 있습니다. 단순히 숫자를 읽고 "10파운드입니다"라고 말하는 대신, "10파운드이지만 저울이 최대 2파운드 정도 틀릴 수 있으므로, 실제 무게는 8에서 12파운드 사이 어딘가에 있습니다"라고 말하는 것입니다. 이 새로운 방법은 정책 효과에 대해 정확히 이와 같이 수행합니다. 표준 예측을 가져온 뒤, 모델이 얼마나 틀릴 수 있는지(반사실적 오차)를 확인하고, 최종 결과에 '안전 마진'을 추가합니다. 이는 '미니맥스(minimax)' 최적화라는 수학적 기법을 사용하는데, 이는 모델이 얼마나 틀릴 수 있는지에 대한 '최악의 시나리오'에서도 작동하는 최선의 추측을 찾는 게임과 같습니다.

시뮬레이션 결과

이 아이디어를 테스트하기 위해 저자는 컴퓨터 시뮬레이션을 실행했습니다. 즉, 진실(정책이 아무런 효과가 없다는 사실)이 0임을 알고 있는 가상의 세계를 만든 것입니다. 이 시뮬레이션에서 새로운 방법은 신뢰할 수 있는 탐정임이 증명되었습니다. 표준적인 '일반화된 합성 통제(GSC)' 방법이 효과를 추측할 때는 종종 매우 확신에 차 있었지만 완전히 틀렸으며, 특히 모델이 데이터를 설명할 '요인'이 충분하지 않을 때 진실(0)을 거의 매번 놓쳤습니다. 모델이 핵심적인 추세를 놓친 한 시나리오에서, 표준 방법의 신뢰 구간은 너무 좁아서 100%의 확률로 진실을 놓쳤습니다.

반면, 새로운 방법의 구간은 더 넓었지만, 항상 진실을 잡아냈습니다. 그것은 마치 더 크고 무거운 그물 같았지만, 물고기를 놓치는 법이 없었습니다. 논문은 이것이 대가를 수반한다고 언급합니다. 즉, 구간이 더 넓어지므로 추정치의 정밀도는 떨어집니다. 그러나 저자는 약간 덜 정밀하더라도 실제로 옳은 것이, 매우 정밀하지만 틀린 것보다 훨씬 낫다고 주장합니다. 시뮬레이션에서 새로운 방법은 진실을 포착하는 데 100%의 성공률을 유지한 반면, 표준 방법의 성공률은 모델이 약간만 불완전해져도 거의 0으로 떨어졌습니다.

실제 사례 테스트: 사전 투표 등록(EDR)

저자는 이 방법을 실제 사례에 적용했습니다: 사전 투표 등록(Election Day Registration, EDR)이 투표율에 미치는 영향입니다. 기존 연구들은 EDR이 투표율을 약 4.9%포인트 높였다고 추정했습니다. 저자가 새로운 편향 강건 방법을 적용했을 때, 추정치는 매우 유사하게 유지되었지만(약 4.99%포인트), '안전망'은 훨씬 넓었습니다.

이 실제 테스트에서 가장 흥-미로운 부분은 모델의 예측 오차가 결론을 바꾸기 전까지 얼마나 견딜 수 있는지 확인하는 것이었습니다. 저자는 모델의 예측 오차가 '플라세보(placebo)' 테스트(정책 효과가 나타나지 않아야 하는 가짜 실험)에서 보이는 일반적인 오차보다 거의 두 배 가까이 커지더라도, 결론(EDR이 투표율을 높인다)이 여전히 유효하다는 것을 발견했습니다. 그러나 오차가 너무 커지면, 구체적으로 모델이 엄청나게 틀리게 되면 결론은 뒤집힐 수 있습니다. 논문은 표준 방법이 인상적으로 보일 만큼 좁은 범위를 제공하지만, 새로운 방법은 "우리는 효과가 양(+)의 방향이라고 꽤 확신하지만, 우리 모델이 약간 틀릴 가능성도 고려해야 한다"라고 인정한다고 강조합니다.

결론

이 논문은 모든 모델을 완벽하게 만드는 마법의 탄환을 찾았다고 주장하는 것이 아닙니다. 대신, 결과를 보고하는 더 정직한 방법을 제시합니다. 우리가 무엇이 일어났을지를 추측하기 위해 복잡한 모델을 사용할 때, 우리의 추측이 틀릴 가능성을 명시적으로 고려해야 한다고 제안합니다. 이 새로운 방법은 정밀함을 약간 희생하는 대신 신뢰성을 얻습니다. 이는 우리가 반사실적 오차를 정확히 알 수는 없지만, 그 오차가 얼마나 클 수 있는지 한계를 설정함으로써 결론을 신뢰할 수 있다는 것을 알려줍니다. 결국, 이 논문은 우리의 타임머신이 결함이 없다고 가장하기보다는, 불확실성을 투명하게 드러내는 것이 정책이 제대로 작동했는지 진정으로 아는 유일한 방법이라고 주장합니다.