📊 statistics

Identification and estimation of the conditional average treatment effect with nonignorable missing covariates, treatment, and outcome

이 논문은 공변량, 처치, 결과 변수가 모두 비무작위 결측 (MNAR) 일 때 조건부 평균 처치 효과 (CATE) 의 비모수적 식립성을 확립하고, 이를 추정하는 방법론과 민감도 분석 체계를 제시합니다.

원저자: Shuozhi Zuo, Yixin Wang, Fan Yang

게시일 2026-02-24

📖 4 분 읽기☕ 가벼운 읽기

원저자: Shuozhi Zuo, Yixin Wang, Fan Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 이야기의 배경: 왜 이 연구가 필요한가요?

상상해 보세요. 새로운 약이나 교육 프로그램이 사람들에게 어떤 영향을 미치는지 조사한다고 칩시다. 우리는 "이 약이 A 군에게는 효과가 좋지만, B 군에게는 효과가 없을 수도 있다"는 것을 알고 싶어 합니다. 이를 **조건부 평균 치료 효과 (CATE)**라고 합니다.

하지만 현실은 완벽하지 않습니다.

어떤 사람들은 과거 소득이나 범죄 기록 같은 **개인 정보 (공변량)**를 말해주지 않습니다.
어떤 사람들은 프로그램에 참여했는지 (치료) 를 숨깁니다.
어떤 사람들은 마지막에 받은 **급여 (결과)**를 보고하지 않습니다.

여기서 가장 큰 문제는, 사람들이 자신의 숨기고 싶은 값 (예: 낮은 소득, 범죄 기록) 때문에 정보를 숨긴다는 점입니다. 통계학자들은 이를 **'비무작위 결측 (MNAR)'**이라고 부릅니다. 마치 시험에서 점수가 낮은 학생이만 시험지를 버리는 것과 같습니다.

기존의 방법들은 이런 '숨김'을 무시하거나, "누가 숨기든 무작위일 거야"라고 가정합니다. 하지만 실제로는 그렇지 않기 때문에, 기존 방법으로 계산하면 결과가 왜곡됩니다.

💡 이 논문이 제시한 해결책: "실종된 조각을 찾아내는 3 가지 열쇠"

저자들과 연구팀은 "완벽한 데이터가 없어도, 조건만 맞으면 치료 효과를 찾을 수 있다"는 것을 증명했습니다. 마치 퍼즐이 일부 빠져 있어도, 나머지 조각들의 관계를 통해 빈칸을 추론할 수 있는 것과 같습니다.

그들이 제시한 **3 가지 열쇠 (가정)**는 다음과 같습니다:

1. 열쇠 1: "결과 (급여) 는 자신의 유무에 영향을 주지 않는다"

비유: "내가 받은 급여가 많든 적든, 나는 그 사실을 숨기지 않는다."
의미: 결과 값이 결측에 영향을 주지 않는다면, 그냥 데이터를 다 모아 계산하면 됩니다. (가장 쉬운 경우)

2. 열쇠 2: "치료 (교육 이수 여부) 는 결과 결측에 영향을 주지 않는다"

비유: "교육을 받았는지 여부는, 내가 급여를 숨길지 말지 결정하지 않는다. 오직 급여 자체나 다른 요인들만 영향을 준다."
의미: 교육 이수 여부가 급여 보고 여부에 직접적인 영향을 미치지 않는다면, **특수한 수학적 도구 (완전성 조건)**를 써서 결측된 부분을 복원할 수 있습니다. 마치 "교육을 받은 사람들은 급여가 높은 경향이 있다"는 패턴을 이용해, 숨겨진 급여를 역추적하는 것입니다.

3. 열쇠 3: "특정 인구통계 (인종 등) 는 결과 결측에 영향을 주지 않는다"

비유: "내가 흑인이든 백인이든, 그것이 급여를 숨길지 말지 결정하지 않는다."
의미: 특정 변수 (예: 인종) 가 결측에 영향을 주지 않는다면, 그 변수를 이용해 숨겨진 데이터를 찾아낼 수 있습니다.

🛠️ 어떻게 계산할까요? (두 가지 도구)

연구팀은 이 이론을 실제로 적용하기 위해 두 가지 방법을 개발했습니다.

유연한 비모수 방법 (비밀스러운 추리):
- 데이터가 어떤 모양인지 미리 가정하지 않고, 데이터가 보여주는 패턴 그대로를 따라가며 계산합니다.
- 장점: 매우 정교합니다.
- 단점: 계산이 복잡하고, 작은 오차에도 결과가 흔들릴 수 있어 조심스러워야 합니다.
강력한 모수 방법 (구조화된 추리):
- 데이터가 일정한 규칙 (예: 정규분포) 을 따른다고 가정하고 계산합니다.
- 장점: 계산이 안정적이고, "만약 가정이 조금 틀렸다면?"이라는 민감도 분석을 하기 쉽습니다.
- 단점: 가정이 틀리면 결과가 틀릴 수 있습니다.

📊 실제 사례: 국가 직업 훈련 프로그램 (NJCS)

이론을 실제 데이터에 적용해 보았습니다.

상황: 1990 년대 미국의 'Job Corps' 프로그램이 참가자의 소득에 미치는 영향을 분석했습니다.
문제: 참가자들의 과거 소득, 범죄 기록, 프로그램 이수 여부, 최종 소득 등 중요한 데이터가 7~21% 정도 누락되어 있었습니다. 특히 범죄 기록이나 낮은 소득을 가진 사람들이 데이터를 숨길 가능성이 높았습니다.
결과:
- 기존의 방법 (누락된 데이터 삭제) 으로 분석하면 결과가 왜곡될 수 있었습니다.
- 하지만 이 논문의 **새로운 방법 (특히 열쇠 2 와 3)**을 적용하니, 교육을 이수한 사람들이 소득이 증가한다는 결론이 명확하게 나왔습니다.
- 심지어 "만약 가정이 조금만 틀려도 결과가 바뀔까?"라고 걱정하며 민감도 분석을 해봐도, 결과는 여전히 긍정적이었습니다.

🌟 핵심 요약

이 논문은 **"데이터가 불완전하고, 사람들이 숨기는 것이 있을지라도, 올바른 논리와 수학적 도구를 쓰면 치료 효과를 정확히 찾을 수 있다"**는 것을 보여줍니다.

기존의 생각: "데이터가 빠지면 분석을 포기하거나, 무작위라고 가정하고 넘어가자."
이 논문의 제안: "누락된 데이터가 왜 빠졌는지 그 '이유'를 구조화해서 분석하면, 숨겨진 진실도 찾아낼 수 있다."

이는 정책 입안자나 의사들이 **"누구에게 어떤 치료가 가장 효과적인지"**를 더 정확하게 판단할 수 있게 도와주는 중요한 연구입니다. 마치 퍼즐의 일부 조각이 없어져도, 남은 조각들의 관계를 통해 전체 그림을 완성하는 것과 같습니다.

1. 문제 제기 (Problem Statement)

배경: 정책 평가, 사회과학, 정밀의학 등 다양한 분야에서 치료 효과의 이질성 (heterogeneity) 을 이해하는 것이 중요합니다. 이는 공변량을 조건으로 한 치료 효과인 CATE 로 정의됩니다.
도전 과제: 실제 관측 연구에서는 데이터가 부분적으로만 관측되는 경우가 많습니다. 특히 결측 메커니즘이 관측되지 않은 값에 의존하는 MNAR 상황에서는 기존 방법론 (완전 사례 분석, 다중 대체, 역확률 가중치 등) 이 편향된 추정을 초래할 수 있습니다.
기존 연구의 한계:
- 기존 MNAR 연구는 주로 평균 치료 효과 (ATE) 에 집중하거나, 결측이 소수의 변수에만 발생하거나 특정 제한적인 메커니즘을 가정했습니다.
- 공변량, 치료, 결과 모두 MNAR 일 수 있는 다변량 (multivariate) MNAR 환경에서 CATE 를 식별하는 일반적인 방법은 부족했습니다.
- 특히 결과 변수가 자기 결측 (self-censoring, 결과 값 자체가 결측에 영향을 줌) 을 일으킬 수 있는 상황에서의 CATE 식별은 난제였습니다.
사례: National Job Corps Study (NJCS) 와 같은 실제 데이터에서는 소득, 범죄 이력 등 민감한 변수들의 결측률이 높으며, 결측이 값 자체에 의존할 가능성이 큽니다.

2. 방법론 (Methodology)

이 논문은 전향적 연구 (prospective studies, 공변량과 치료가 결과보다 먼저 측정됨) 를 가정하며, 시간적 순서에 따라 $(X, T)$ 가 $Y$ 의 결측에 영향을 미치지 않는다고 가정합니다.

2.1 식별 가능성 (Identification)

논문은 CATE 를 식별하기 위해 결과 결측 과정에 대한 세 가지 MNAR 가정을 제시합니다. DAG(Directed Acyclic Graph) 를 사용하여 각 가정이 결과 결측 지시자 ( $R_Y$ ) 로 향하는 화살표 중 하나를 제거하는 구조로 정의됩니다.

가정 1 (Assumption 1): 결과 ( $Y$ $Y$ ) 가 자신의 결측 ( $R_Y$ $R_{Y}$ ) 에 영향을 주지 않음 ( $Y \not\to R_Y$ $Y \neq \to R_{Y}$ ).
- 이 경우 완전 사례 (complete cases) 만으로도 $P(Y|T, X)$ 를 식별할 수 있습니다.
가정 2 (Assumption 2): 결과 ( $Y$ $Y$ ) 가 자신의 결측에 영향을 줄 수 있으나, 치료 ( $T$ $T$ ) 는 $R_Y$ $R_{Y}$ 에 직접 영향을 주지 않음 ( $T \not\to R_Y$ $T \neq \to R_{Y}$ ).
- 완전성 조건 (Completeness Condition): 치료 변수 $T$ 가 결과 $Y$ 와 관련되어 있어야 하며, $T$ 가 $Y$ 의 결측 메커니즘을 식별하는 '그림자 변수 (shadow variable)' 역할을 해야 합니다.
- 이 조건 하에서 $P(Y|T, X)$ 를 식별할 수 있습니다.
가정 3 (Assumption 3): 결과 ( $Y$ $Y$ ) 가 자신의 결측에 영향을 줄 수 있으나, 공변량 ( $X$ $X$ ) 은 $R_Y$ $R_{Y}$ 에 직접 영향을 주지 않음 ( $X \not\to R_Y$ $X \neq \to R_{Y}$ ).
- 완전성 조건: 공변량 $X$ 가 $Y$ 와 관련되어 있어야 하며, $X$ 가 $Y$ 의 결측 메커니즘을 식별하는 그림자 변수 역할을 해야 합니다.

핵심 통찰: ATE 를 식별하려면 $(X, T, Y)$ 의 결합 분포 전체를 복원해야 하지만, CATE 는 조건부 분포 $P(Y|T, X)$ 만 필요하므로 ATE 보다 더 약한 가정 하에서도 식별이 가능합니다.

2.2 추정 방법 (Estimation)

식별 결과를 바탕으로 두 가지 추정 방식을 개발했습니다.

비모수 추정 (Nonparametric Estimator):
- Fredholm 적분 방정식을 해결하기 위해 **시리즈 2 단계 최소제곱법 (Series 2SLS)**을 사용합니다.
- 스플라인 (sieve) 근사와 2 차 정규화를 통해 응답 오즈 함수 (response-odds function) 를 추정하고, 이를 가중치로 사용하여 선택 편향을 보정합니다.
- 유연성이 높지만, 적분 방정식의 ill-posed 성질로 인해 수치적 불안정성과 튜닝 파라미터에 민감할 수 있습니다.
모수 추정 (Parametric Estimator):
- **EM 알고리즘 (Expectation-Maximization)**을 기반으로 합니다.
- 결과 모델과 결측 확률 모델을 모수적으로 지정하고, 누락된 결과에 대한 Fractional Imputation (분수 대체) 을 사용하여 Q 함수를 최대화합니다.
- 모델이 적절히 지정되었을 때 더 안정적이고 부드러운 추정을 제공합니다.

2.3 민감도 분석 (Sensitivity Analysis)

각 기본 가정 (Assumption 1-3) 은 $R_Y$ 로 향하는 하나의 경로만 차단합니다.
이 차단된 경로 (예: $Y \to R_Y$ , $T \to R_Y$ , $X \to R_Y$ ) 를 단일 파라미터 $\delta$ 를 통해 재도입하여 가정 위반 정도를 정량화하고, 추정된 CATE 의 견고성을 평가하는 프레임워크를 제안합니다.

3. 주요 결과 (Key Results)

3.1 시뮬레이션 연구

다양한 데이터 유형 (이산형/연속형 $X, T, Y$ ) 과 MNAR 시나리오 (Assumption 1-3) 하에서 성능을 평가했습니다.
Assumption 1: 완전 사례 분석 (CCA) 이 편향 없이 작동합니다.
Assumption 2 & 3: 완전성 조건이 충족될 때 제안된 비모수 (NP) 및 모수 (Para) 추정량이 거의 편향 없이 작동합니다.
완전성 조건 실패 시: 비모수 추정량 (NP) 은 편향이 발생할 수 있지만, 모수 추정량 (Para) 은 모델 가정 하에서 완전성 조건이 만족되므로 편향 없이 작동합니다.
전체 결합 분포 모델링의 위험: 결측 메커니즘 하에서 식별 불가능한 $(X, T)$ 의 결합 분포까지 모델링하는 접근법 (Para full) 은 CATE 추정치에 편향을 초래할 수 있음을 보여주었습니다.

3.2 NJCS (National Job Corps Study) 적용

데이터: Job Corps 프로그램 참가자의 교육 자격 취득 ( $T$ ) 이 소득 ( $Y$ ) 에 미치는 효과를 분석. 공변량 ( $X$ ), 치료, 결과 모두 상당한 결측 존재.
적용: 두 부분 모델 (Two-part model) 을 사용하여 소득의 0 값 과부하 문제를 해결하고, 제안된 모수 및 비모수 방법을 적용했습니다.
결과: 모든 가정 (Assumption 1-3) 과 방법론 하에서, 자격 취득이 소득에 긍정적인 효과를 미친다는 결론이 일관되게 도출되었습니다 (95% 신뢰구간이 0 을 포함하지 않음).
민감도 분석: $\delta \in [-2, 2]$ 범위 내에서 가정 위반을 가정하더라도 추정된 치료 효과는 여전히 양의 값을 유지하여 결과가 매우 견고함을 확인했습니다.

4. 주요 기여 (Key Contributions)

다변량 MNAR 하의 CATE 식별: 공변량, 치료, 결과가 모두 MNAR 일 수 있는 복잡한 상황에서 CATE 를 식별할 수 있는 세 가지 새로운 조건 (Assumption 1-3) 을 제시했습니다.
ATE 와 CATE 의 식별성 차이 규명: ATE 는 식별되지 않더라도 CATE 는 식별될 수 있음을 이론적으로 증명하고, 이를 통해 더 약하고 현실적인 가정 하에서 인과 추론이 가능함을 보였습니다.
실용적 추정 및 민감도 분석 프레임워크: 비모수 및 모수 추정량을 개발하고, 가정 위반에 대한 민감도를 정량적으로 평가할 수 있는 단일 파라미터 확장 프레임워크를 제시했습니다.
실증 연구: 실제 데이터 (NJCS) 에 적용하여 민감한 변수들의 결측이 존재하는 상황에서도 신뢰할 수 있는 CATE 추정이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 관측 연구에서 결측 데이터 처리의 핵심적인 난제인 MNAR 상황, 특히 결과 변수의 자기 결측 (self-censoring) 이 포함된 경우를 해결하기 위한 이론적, 실증적 토대를 마련했습니다.

실무적 권장사항: 저자들은 유연성보다는 안정성을 위해 모수 추정량을 주 분석 도구로 사용하고, 비모수 추정량을 견고성 검증 (robustness check) 으로 활용하며, 반드시 민감도 분석을 수행할 것을 권장합니다.
학술적 기여: 결측 데이터 처리와 인과 추론의 교차점에서, 결합 분포 복원 없이도 조건부 치료 효과를 식별할 수 있음을 보여줌으로써, 기존 ATE 중심의 연구 패러다임을 CATE 중심의 더 정밀한 분석으로 확장하는 데 기여했습니다.

이 연구는 민감한 사회과학 및 의학 데이터 분석에서 결측 메커니즘에 대한 불확실성을 정량화하고, 편향되지 않은 정책 결정을 내리는 데 중요한 도구를 제공합니다.