Sharp variance estimator and causal bootstrap in stratified randomized experiments

당신이 새로운 약 (Treatment) 이 당약 (Control) 보다 효과가 있는지 파악하려는 형사라고 상상해 보세요. 당신은 일단의 사람들을 가지고 있지만, 그들은 모두 같지 않습니다. 어떤 이는 젊고 어떤 이는 늙었으며, 어떤 이는 도시에 살고 어떤 이는 마을에 삽니다. 공평하게 하기 위해, 약을 배정하기 전에 이러한 유사성을 바탕으로 그들을 "이웃" (층) 으로 그룹화하기로 결정합니다. 이것이 바로 층화 무작위 실험입니다.

당신의 목표는 "평균 치료 효과 (ATE)"를 측정하는 것입니다. 즉, 약이 평균적으로 사람들을 얼마나 더 좋게 느끼게 하는지입니다.

문제는 현실 세계에서는 데이터가 엉망이라는 점입니다. 때로는 표본 크기가 작거나 결과가 기이하게 치우쳐 있습니다 (대부분은 평균적인 결과를 얻는 반면 소수만이 극단적으로 좋은 결과를 얻는 경우 등). 형사들이 사용하는 전통적인 통계 도구는 이러한 상황에서 지나치게 조심스러워지는 경향이 있습니다. 그들은 쓸모 없을 정도로 넓은 "안전망" (신뢰구간) 을 만들거나, 실제로는 날카로운 산처럼 생겼음에도 불구하고 데이터가 완벽한 종 모양 곡선을 따른다고 가정합니다.

이 논문은 안전망을 잃지 않으면서 형사들이 더 날카롭고 정확한 그림을 얻을 수 있도록 돕는 세 가지 새로운 도구를 소개합니다.

1. "날카로운" 자 (Sharp Variance Estimator)

옛 방법: 사과 한 봉지의 무게를 추측한다고 상상해 보세요. 옛 방법은 "안전起见, 가장 무거운 사과가 그 봉지에 들어있다고 가정합시다"라고 말합니다. 이로 인해 총 무게에 대한 추정치가 매우 높아지고 "오차 범위"도 거대해집니다. 결국 당신은 "이 봉지는 10 파운드에서 50 파운드 사이입니다"라고 말하게 됩니다. 이는 안전하지만 매우 도움이 되지 않습니다.

새 방법: 저자들은 "Sharp Variance Estimator"를 제안합니다. 모든 사과에 대해 최악의 시나리오를 추측하는 대신, 사과들이 어떻게 순위가 매겨졌는지에 기반한 교묘한 수학적 트릭을 사용하여 가능한 가장 엄밀한 안전한 상한선을 찾습니다.

• 비유: 사과들이 어떻게 쌓여 있는지 정확히 알고 있는 자를 사용하는 것과 같습니다. 여전히 안전망을 유지하지만, "10 에서 50 파운드"라는 범위를 "12 에서 18 파운드" 정도로 줄여줍니다. 여전히 안전하지만, 이제 당신이 무엇을 다루고 있는지 실제로 알게 됩니다.

2. "순위 유지" 시간 여행자 (Causal Bootstrap for Groups)

문제: 날카로운 자를 사용하더라도 표본이 작거나 데이터가 기이하다면 "종 모양 곡선" 수학 (정규 근사) 이 실패할 수 있습니다. 이는 맑은 날에만 작동하는 공식으로 날씨를 예측하려 하지만, 현재는 폭풍우 속에 있는 것과 같습니다.

해결책: 저자들은 "Causal Bootstrap"을 소개합니다.

• 비유: 당신의 실험을 나타내는 카드 덱이 있다고 상상해 보세요. 옛 방법은 덱이 무한하고 완벽하게 섞여 있다고 가정하며 다음 카드를 추측하려 합니다. 새로운 방법은 "우리가 가진 정확히 같은 카드로 게임을 다시 여러 번 하되, 단지 섞는 방식만 다르게 해봅시다"라고 말합니다.
• 작동 원리: 그들은 **순위 유지 보정 (Rank-Preserving Imputation)**이라는 기법을 사용합니다. 퍼즐의 빈 조각을 채우는 것이라고 생각하세요. A 씨는 약을 먹고 기분이 좋았고, B 씨는 당약을 먹고 괜찮았다고 가정해 봅시다. 이 방법은 다음과 같이 묻습니다: "만약 B 씨가 약을 먹었다면 어땠을까? B 씨는 순위 면에서 A 씨와 유사하므로, 시작점에 비례하여 A 씨와 정말 똑같이 기분이 좋았을 것이라고 상상해 봅시다."
• 결과: 실제 데이터를 사용하여 이러한 "만약" 시나리오를 수천 번 시뮬레이션함으로써, 그들은 오래된 종 모양 곡선 추측보다 훨씬 더 정확한 불확실성 지도를 구축합니다. 이는 "2 차 정제"로, 옛 방법이 놓치는 작은 오류들을 수정합니다.

3. 쌍을 위한 "일정 효과" 단축키 (Causal Bootstrap for Pairs)

문제: 때로는 실험이 너무 작아 사람들이 쌍 (쌍둥이와 같은) 으로 매칭됩니다. 이러한 "쌍 실험"에서는 위의 "순위 유지" 방법이 작동하지 않습니다. 카드가 두 장뿐인 덱을 섞으려 하는 것과 같습니다; 새로운 시나리오를 만들기 위해 카드를 움직일 공간이 없습니다.

해결책: 저자들은 **일정 치료 효과 보정 (Constant-Treatment-Effect Imputation)**에 기반한 쌍을 위한 두 번째 유형의 부트스트랩을 제안합니다.

• 비유: 쌍둥이 두 명이 있다고 상상해 보세요. 한 명은 비타민을 먹고 한 명은 먹지 않습니다. 새로운 방법은 간단한 규칙을 가정합니다: "비타민은 복용하는 누구에게나 정확히 5 점의 건강 점수를 더합니다." 그들이 누구든 관계없이 그 보상은 일정합니다.
• 왜 교묘한가: 비타민이 실제로 모든 사람에게 정확히 5 점을 더하지 않더라도, 이 가정은 수학이 작동하도록 합니다. 저자들은 이 "일정 보상" 아이디어를 사용하여 퍼즐의 빈 조각을 채우면, 결과적인 안전망이 여전히 유효하며 종종 옛 방법들보다 훨씬 더 엄밀하다고 증명합니다.

현실 세계 테스트

저자들은 이 도구들을 두 가지 방법으로 테스트했습니다:

1. 시뮬레이션: 그들은 모든 종류의 기이한 모양 (치우침, 두꺼운 꼬리) 을 가진 가짜 데이터를 생성하여, 그들의 새로운 도구가 옛 도구들보다 진실을 더 자주 찾고 더 엄밀한 범위를 제공함을 보여주었습니다.
2. 실제 데이터:
   • 대마초 중단 시험: 그들은 마리화나 중단을 연구한 데이터를 분석했습니다. 데이터는 치우쳐 있었습니다. 그들의 새로운 방법은 표준 방법보다 훨씬 더 엄밀한 신뢰구간을 제공하여 결과를 더 정밀하게 만들었습니다.
   • 멕시코 건강 보험: 그들은 마을이 쌍으로 짝지어진 연구를 살펴보았습니다. 데이터에는 이상치 (매우 높은 비용) 가 있었습니다. 다시 한번, 그들의 "일정 효과" 부트스트랩 방법은 표준 접근법보다 더 효율적 (더 좁은) 인 신뢰구간을 제공했습니다.

결론

이 논문은 질병을 치료하거나 빈곤을 해결한다고 주장하지 않습니다. 대신, 실험을 분석하기 위한 더 나은 수학 도구를 제공합니다.

• 그룹이 있다면 날카로운 자와 순위 유지 시간 여행자를 사용하세요.
• 쌍이 있다면 일정 효과 단축키를 사용하세요.

이 도구들은 연구자들이 "우리는 95% 확신으로 효과가 X 와 Y 사이입니다"라고 말할 수 있게 하며, 결론의 안전성을 희생하지 않으면서도 이전보다 훨씬 더 엄밀하고 유용한 범위 (X 와 Y 가 서로 더 가깝습니다) 를 제공합니다. 그들은 다른 형사들이 이러한 새로운 도구를 사용할 수 있도록 무료 소프트웨어 패키지 (R 패키지 CausalBootstrap) 도 만들었습니다.