📈 economics

Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

이 논문은 실험 연구에서의 탈락 (attrition) 문제를 해결하기 위해 기존 통계 기법과 최신 추론 방법을 결합하여, 탈락 여부와 관계없이 개별 치료 효과를 위한 강건하고 정밀한 예측 구간을 제공하는 새로운 방법을 제안하고 그 유효성을 실증했습니다.

원저자: Xiangyu Song

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiangyu Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 문제 상황: "요리 대회가 절반만 끝났다?"

상상해 보세요. 여러분이 새로운 요리 레시피 (처치, Treatment) 가 사람들의 기분을 좋게 만드는지 실험을 한다고 칩시다.

참여자: 100 명을 모집했습니다.
실험: 절반은 새로운 레시피를, 절반은 기존 레시피를 먹였습니다.
문제: 실험이 끝나고 결과를 물어보려는데, 30 명이 갑자기 연락이 두절되거나 (탈락), 중간에 나가버렸습니다.

이때 연구자들은 보통 이렇게 말합니다.

"나머지 70 명만 보면 되겠네. 그 70 명의 결과로 전체를 추측하자."

하지만 여기서 함정이 있습니다. 나간 30 명은 왜 나갔을까요?

아마도 새로운 레시피가 너무 매워서 나간 사람일 수도 있고,
혹은 기존 레시피가 너무 밍밍해서 나간 사람일 수도 있습니다.
즉, 나간 사람 (탈락자) 과 남은 사람 (관측자) 은 처음부터 성격이 다를 수 있습니다.

기존 방법들 (다중 대입법 등) 은 "나간 사람도 남은 사람과 똑같을 거야"라는 강력한 가설을 세우는데, 현실에서는 이 가설이 틀리는 경우가 많습니다. 그래서 결론이 왜곡될 수 있습니다.

🛡️ 새로운 해결책: "예측의 안전지대 (Conformal Inference)"

이 논문은 **"우리가 모르는 사람 (탈락자) 에 대해 확실한 결론을 내릴 수는 없지만, '이 정도 범위 안에 있을 확률이 높다'는 것을 수학적으로 보장하는 방법"**을 제안합니다.

이를 예측 게임으로 비유해 볼까요?

기존 방법의 한계:
- "나간 사람들도 다 똑같은 사람일 거야. 그래서 남은 사람의 평균 점수가 전체 평균이야." (가설이 틀리면 큰일 납니다.)
- "나간 사람 점수를 임의로 채워넣자." (그럼 채워넣은 숫자가 진짜일지 알 수 없습니다.)
이 논문의 방법 (동형적 추론 + 반모수적 효율 추정):
- 이 방법은 **"예측 구간 (Prediction Interval)"**을 만듭니다.
- 예: "새로운 레시피를 먹은 사람 중 나간 사람의 기분 변화는 -10 점부터 +20 점 사이일 확률이 95% 입니다."
- 여기서 핵심은 구간이 너무 넓지 않으면서도, 95% 라는 신뢰도를 수학적으로 100% 보장한다는 점입니다.

🧩 어떻게 작동할까요? (두 단계 전략)

이 방법은 두 가지 어려운 문제를 순서대로 해결합니다.

1 단계: "남은 사람들끼리의 차이도 고려하자"

실험에 남은 사람들조차도, 새로운 레시피를 먹은 사람과 기존 레시피를 먹은 사람의 특성이 다를 수 있습니다.
이 방법은 머신러닝을 이용해 **"남은 사람들 안에서도 서로 다른 그룹의 특성을 정확히 파악"**하고, 그 차이를 보정합니다. (이걸 '공변량 이동' 보정이라고 하는데, 쉽게 말해 **'그룹 간의 편견을 제거'**하는 것입니다.)

2 단계: "나간 사람들도 포함하자"

이제 남은 사람들의 데이터를 바탕으로, 나간 사람들 (탈락자) 에 대한 예측 구간을 만듭니다.
여기서 중요한 건, 나간 사람들은 남은 사람들과 특성 (연령, 성별, 관심사 등) 이 다를 수 있다는 점입니다.
이 논문은 **"나간 사람들도 특성이 다르더라도, 그 차이를 수학적으로 보정해서 예측 구간을 만들 수 있다"**는 새로운 공식을 개발했습니다.

📊 왜 이 방법이 더 좋을까요? (시뮬레이션과 실제 사례)

저자는 컴퓨터 시뮬레이션과 실제 정치학 실험 데이터 (투표 성향 실험 등) 를 재분석해서 이 방법을 검증했습니다.

기존 방법 (다중 대입법): 구간이 너무 짧아서 (정확해 보이지만) 실제로는 진짜 값을 포함하지 못하는 경우가 많았습니다. (위험함)
기존 방법 (가중치 방법): 구간이 너무 길어서 (안전하지만) "어디서부터 어디까지인지" 알 수 없을 정도로 넓었습니다. (쓸모없음)
이 논문의 방법: 적당한 너비로, 95% 라는 신뢰도를 확실히 지키는 가장 균형 잡힌 결과를 냈습니다.

실제 사례 예시:
어떤 실험에서 "탈락한 사람들"의 반응을 분석했을 때, 기존 방법으로는 "효과가 없다"고 결론 내렸지만, 이 방법을 쓰니 **"탈락한 사람들은 오히려 효과가 컸다"**는 새로운 사실이 발견되기도 했습니다. 즉, 나간 사람들을 무시하면 중요한 진실을 놓칠 수 있다는 것을 보여줍니다.

💡 한 줄 요약

"실험에서 중간에 나간 사람들을 무시하거나, 임의로 채워넣는 대신, '그들이 어떤 결과를 보일지'에 대해 수학적으로 보장된 '안전한 예측 범위'를 제공하여, 더 정확하고 신뢰할 수 있는 결론을 내리자!"

이 방법은 사회과학 연구자들이 데이터가 부족하거나 불완전할 때도, 가설을 세우지 않고도 확실한 근거를 바탕으로 결론을 내릴 수 있게 도와줍니다. 마치 비가 오는 날, 우산이 없더라도 "어디까지 젖을지" 정확히 예측해 주는 똑똑한 나침반 같은 역할을 합니다.

1. 연구 배경 및 문제 제기 (Problem)

배경: 정치학 및 사회과학 연구에서 설문 및 현장 실험은 인과 효과 추정의 핵심 도구이나, 실험 손실 (Experiment Attrition) 이 빈번하게 발생하여 추론의 유효성을 위협합니다.
기존 방법의 한계:
- 완전 사례 분석 (Complete Case Analysis): 손실된 데이터를 무시하면 선택 편향 (Selection Bias) 이 발생하여 일관성 없는 추정치를 야기합니다.
- 다중 대체 (Multiple Imputation) 및 가중치 방법 (IPW): 모델 사양에 대한 강한 가정 (예: 정규성, MAR 가정) 을 필요로 하거나, 관측되지 않은 손실 그룹의 정보를 활용하지 못해 편향될 수 있습니다.
- 부분 식별 (Partial Identification): 모수적 가정을 완화하지만 공변량 분포의 차이 (Covariate Shift) 를 해결하지 못하며, 구간 추정이 너무 넓어 실용성이 떨어질 수 있습니다.
핵심 문제: 실험 손실이 발생할 때, 관측된 그룹 (Source) 과 손실된 그룹 (Target) 간의 공변량 분포 차이 (Covariate Shift) 를 고려하면서도, 개별 처리 효과 (ITE) 와 반사실 결과에 대해 유효한 예측 구간 (Prediction Intervals) 을 제공하는 방법이 부재합니다.

2. 제안된 방법론 (Methodology)

저자는 컨포멀 추론 (Conformal Inference) 을 실험 손실 문제에 적용하여, 분포에 무관한 (distribution-free) 방식으로 불확실성을 정량화하는 새로운 프레임워크를 제시합니다.

A. 기본 가정

무교란성 (Unconfoundedness): 공변량 $X$ 조건 하에서 처치 $D$ 와 잠재적 결과 $Y(0), Y(1)$ 이 독립입니다.
손실의 무교란성 (MAR): 관측된 공변량 $X$ 와 처치 $D$ 조건 하에서 손실 지표 $R$ 이 잠재적 결과와 독립입니다.
중첩성 (Overlap): 처치 확률과 응답 확률이 0 과 1 사이에서 유계 (bounded) 입니다.

B. 핵심 접근법: 2 단계 컨포멀 추론

제안된 방법은 반사실 결과 (Counterfactuals) 와 개별 처리 효과 (ITE) 에 대한 예측 구간을 두 단계로 구축합니다.

1 단계: 관측된 그룹 내 반사실 및 ITE 예측 구간 구축
- 관측된 데이터 ( $R=1$ ) 내에서 처치 그룹과 통제 그룹 간의 공변량 차이를 보정하기 위해 가중치 컨포멀 추론 (Weighted Conformal Inference) 을 적용합니다.
- 준모수적 효율 추정기 (Semiparametric Efficient Estimator) 를 도입하여, 경험적 분포 기반의 임계값 대신 효율적 영향 함수 (Efficient Influence Function, EIF) 를 유도합니다. 이를 통해 예측 구간의 길이를 줄이면서도 점근적 유효성 (Asymptotic Validity) 을 보장합니다.
- 관측된 ITE 예측 구간 ( $\mathcal{C}_{ITE}$ ) 을 생성합니다.
2 단계: 손실된 그룹으로의 예측 구간 외삽 (Extrapolation)
- 1 단계에서 생성된 ITE 예측 구간을 '대리 변수 (Surrogate)'로 사용하여, 손실된 그룹 ( $R=0$ ) 에 대한 예측 구간 ( $\check{\mathcal{C}}_{ITE}$ ) 을 확장합니다.
- 관측 그룹과 손실 그룹 간의 공변량 분포 차이를 보정하기 위해 다시 EIF 기반의 추정기를 적용합니다.
- Bonferroni 보정을 통해 두 단계의 오류 확률을 합산하여 전체적인 커버리지 (Coverage) 를 보장합니다.

C. 알고리즘 흐름

데이터를 Pre-training, Training, Calibration 세 부분으로 분할 (Split) 합니다.
Step 1: 준모수적 효율 추정기를 사용하여 관측된 그룹의 반사실 결과 및 ITE 예측 구간을 계산합니다.
Step 2: 1 단계의 결과를 바탕으로 손실된 그룹의 ITE 예측 구간을 확장하며, 공변량 이동 (Covariate Shift) 을 보정합니다.

3. 주요 기여 (Key Contributions)

정치학 연구에 대한 컨포멀 추론의 도입: 분포 가정이 필요 없는 컨포멀 추론을 인과 추론 (특히 처리 효과와 반사실) 에 적용하여, 기존 통계적 가정이 성립하지 않는 상황에서도 신뢰할 수 있는 불확실성 측정을 제공합니다.
손실 데이터에 대한 새로운 프레임워크: Lei and Candès (2021) 및 Gao et al. (2025) 의 연구를 확장하여, 실험 손실로 인한 결측 데이터를 명시적으로 다루는 방법을 제시합니다. 특히 준모수적 효율 추정기를 결합하여 예측 구간의 폭을 줄이고 효율성을 높였습니다.
포괄적인 평가: 다양한 예측 모델 (Random Forest, BART, XGBoost 등) 에 대한 광범위한 모의 실험 (Monte Carlo Simulation) 을 수행하여 방법론의 강점과 한계를 실증했습니다.

4. 실험 결과 (Results)

A. 모의 실험 (Simulation Studies)

커버리지 (Coverage): 제안된 방법 (CISE) 은 표본 크기가 증가함에 따라 명목상 95% 커버리지를 달성하며, 관측된 그룹과 손실된 그룹 모두에서 안정적인 성능을 보입니다.
구간 길이 (Interval Length): 기존 방법인 다중 대체 (Amelia II) 나 가중치 CQR(Weighted CQR) 과 비교했을 때, 제안된 방법은 더 좁은 예측 구간을 생성하면서도 유효한 커버리지를 유지합니다.
- 다중 대체 (Amelia): 정규성 가정이 위배될 경우 커버리지가 낮아짐.
- 가중치 CQR (Unweighted Nested): 커버리지는 높으나 구간이 지나치게 넓어 비효율적임.
- 제안된 방법: 커버리지와 구간 길이의 최적 균형을 달성.

B. 실증 분석 (Empirical Applications)

Margalit and Shayo (2021) 재분석: 금융 시장 실험 데이터를 재분석한 결과, 손실된 그룹의 처리 효과가 관측된 그룹과 다르게 나타났으며, 이를 통합한 전체 ATE 추정치가 기존 연구와 다른 유의성을 보일 수 있음을 확인했습니다.
Finkel et al. (2024) 재분석: 튀니지의 시민 교육 실험 데이터 분석에서, 일부 변수 (M2, M3) 의 경우 관측된 그룹만 분석할 때와 손실된 그룹을 포함할 때의 통계적 유의성 (Significance) 이 달라지는 것을 발견했습니다. 이는 손실을 무시할 경우 잘못된 결론에 도달할 수 있음을 시사합니다.
구간 폭 비교: 실증 데이터에서도 제안된 방법 (CISE) 이 다중 대체나 기존 가중치 방법보다 더 좁은 예측 구간을 제공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

인과 추론의 견고성 강화: 실험 손실이 존재하는 상황에서, 강한 모수적 가정 없이도 개별 처리 효과 (ITE) 와 반사실 결과에 대해 유효하고 정밀한 예측 구간을 제공함으로써 인과 추론의 신뢰성을 높입니다.
실용적 가치: 연구자들이 관측된 표본뿐만 아니라 손실된 표본까지 포함하여 전체 표본의 평균 처리 효과 (ATE) 를 추정하고 비교할 수 있는 도구를 제공합니다. 이는 손실률이 높은 연구에서 편향을 줄이고 더 정확한 정책 시사점을 도출하는 데 기여합니다.
한계 및 향후 연구:
- 여전히 MAR (Missing At Random) 가정을 필요로 합니다 (MNAR 상황에는 적용 불가).
- 손실률이 매우 높을 경우 추정이 불안정해질 수 있습니다.
- 모델 훈련을 위한 데이터 분할로 인해 관측된 모든 표본에 대해 예측 구간을 생성하기 어렵습니다.
- 향후 MNAR 설정, 이중 기계 학습 (Double Machine Learning) 통합, 패널 데이터 적용 등이 연구 과제로 제시됩니다.

요약하자면, 이 논문은 실험 손실이라는 고전적인 문제를 컨포멀 추론과 준모수적 효율 추정을 결합하여 해결함으로써, 사회과학 연구에서 더 강력하고 정밀한 인과 추론을 가능하게 하는 방법론적 혁신을 제시합니다.