📊 statistics

Weighting-Based Identification and Estimation in Graphical Models of Missing Data

이 논문은 결측 메커니즘이 조건부 유향 비순환 그래프(DAG)를 따른다고 가정할 때, 결측 지표에 대한 개입(intervention) 관점에서 선택 편향의 생성과 전파를 추적하는 트리 기반 알고리즘을 통해 완전 데이터 분포의 식별 가능성을 판별하고, 이를 바탕으로 재귀적 역확률 가중치(IPW) 추정법을 제안합니다.

원저자: Anna Guo, Razieh Nabi

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anna Guo, Razieh Nabi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 상황 설정: "설문조사의 함정" (비유)

여러분이 학교에서 학생들의 **'성적'**과 **'자존감'**에 대한 설문조사를 한다고 가정해 봅시다.

정상적인 경우 (MAR): 공부를 잘하는 학생들은 성실해서 설문에 다 응답합니다. 성적이 낮은 학생들은 좀 귀찮아서 안 할 수도 있지만, 이건 '성적'이라는 데이터로 어느 정도 예측이 가능하죠.
문제의 경우 (MNAR - 이 논문의 핵심): 자존감이 아주 낮은 학생들이 "내 자존감이 낮다는 걸 남들이 알면 어떡하지?"라는 걱정 때문에 설문지 자체를 아예 제출하지 않습니다.

자, 여기서 문제가 생깁니다. 우리가 가진 데이터(제출된 설문지)에는 자존감이 높은 학생들의 데이터만 가득합니다. 이 데이터만 가지고 "우리 학교 학생들의 평균 자존감은 높다!"라고 결론을 내리면, 실제와는 완전히 다른 '편향된(Biased)' 결과가 나오겠죠? 이게 바로 **'선택 편향(Selection Bias)'**입니다.

2. 이 논문의 핵심 아이디어: "데이터 탐정의 수사 기법"

기존의 방식들은 "음, 아마 이런 이유로 빠졌겠지?"라고 대충 짐작(가정)하거나, 빠진 데이터를 대충 채워 넣었습니다(Imputation). 하지만 이 논문은 훨씬 더 체계적인 **'탐정의 수사 방식'**을 제안합니다.

① "범인(누락 원인)의 관계도를 그려라!" (그래프 모델)

탐정은 사건이 터지기 전의 관계도를 그립니다. 이 논문은 **'그래프 모델'**이라는 도구를 써서, 어떤 변수가 어떤 변수 때문에 빠졌는지, 그 관계(화살표)를 지도처럼 그립니다. (예: 자존감 $\rightarrow$ 설문 미제출)

② "가상의 개입: 만약 이랬다면?" (인터벤션/개입)

이 논문의 가장 창의적인 부분입니다. 탐정은 **"만약 자존감이 낮은 학생들에게 강제로 설문지를 내게 했다면 결과가 어땠을까?"**라는 가상의 상황을 설정합니다.
논문에서는 이를 **'인터벤션(Intervention)'**이라고 부릅니다. 실제로는 불가능하지만, 수학적인 '가상의 조작'을 통해 빠진 데이터가 가진 원래의 성질을 찾아내는 것이죠.

③ "가지치기 알고리즘: 엉뚱한 단서 제거하기" (Tree-based Algorithm)

수사를 하다 보면 엉뚱한 단서 때문에 수사가 꼬일 때가 있습니다. (예: 성적이 낮아서 안 낸 건지, 자존감이 낮아서 안 낸 건지 헷갈리는 상황).
이 논문은 **'트리(Tree) 기반 알고리즘'**을 만들어, 수사를 방해하는 잘못된 단서(선택 편향)를 찾아내고, 이를 '가지치기(Pruning)' 하듯 제거합니다. 그러면 깨끗하고 정확한 데이터의 본모습이 드러납니다.

3. 요약하자면 (결론)

이 논문은 한 마디로 **"데이터가 왜 빠졌는지 그 '관계의 지도'를 그린 뒤, 수학적인 '가상 실험'을 통해 빠진 데이터의 빈자리를 가장 정확하게 메우는 방법"**을 만든 것입니다.

기존 방식: "데이터가 비었네? 대충 평균값으로 채우자." (위험함!)
이 논문의 방식: "데이터가 왜 비었는지 지도를 그려보니, 자존감이 낮은 애들이 숨었구나! 그럼 이 관계를 수학적으로 역추적해서 그들이 원래 어떤 상태였을지 정확히 계산해내자!" (정확함!)

결과적으로: 이 방법을 쓰면, 설문조사나 의료 데이터처럼 **'응답자가 의도적으로 숨기는 정보'**가 있는 아주 까다로운 상황에서도, 마치 모든 데이터를 다 가진 것처럼 정확한 통계치를 얻을 수 있게 됩니다.

[기술 요약] 결측 데이터의 그래픽 모델에서의 가중치 기반 식별 및 추정

1. 문제 정의 (Problem Statement)

데이터 분석에서 관측값이 체계적으로 누락되는 결측(Missingness) 문제는 매우 흔하며, 특히 결측 확률이 관측되지 않은 변수에 의존하는 MNAR(Missing Not At Random, 비무작위 결측) 상황에서는 심각한 편향(Bias)을 초래합니다.

기존의 한계: MNAR 상황에서는 완전 데이터 분포(Complete data distribution)를 관측 데이터로부터 직접 도출할 수 없습니다. 기존 방식들은 모수적 가정(Parametric assumptions)을 도입하거나, 민감도 분석(Sensitivity analysis)을 수행하거나, 혹은 부분 식별(Partial identification) 범위를 구하는 데 그쳤습니다.
그래픽 모델의 도전 과제: 결측 메커니즘을 방향성 비순환 그래프(DAG)로 모델링할 때, 결측 지표(Missingness indicators)에 대한 개입(Intervention)이 **선택 편향(Selection bias)**을 유발하고 전파(Propagation)시켜, 단순한 성향 점수(Propensity score)만으로는 식별(Identification)이 불가능해지는 복잡한 구조가 발생합니다.

2. 핵심 방법론 (Methodology)

본 논문은 결측 메커니즘을 조건부 DAG로 모델링하고, 결측 지표를 '개입 가능한 변수'로 취급하는 **개입주의적 관점(Interventionist perspective)**을 채택합니다.

① 트리 기반 식별 알고리즘 (Tree-based Identification Algorithm)

가장 핵심적인 기여로, 결측 지표에 대한 일련의 개입이 선택 편향을 어떻게 생성하고 전파하는지를 추적하는 알고리즘을 제안합니다.

선택 세트(Selection Sets) 정의:
- $S_k^x$ (Counterfactual-induced): 결측된 부모 변수로 인해 발생하는 선택 세트.
- $S_k^r$ (Indicator-induced): 타겟 분포 식별을 위해 결측 지표를 1로 고정해야 하는 세트.
- $S_k$ (Overall): 위 두 세트의 합집합.
알고리즘 작동 원리: 결측 지표를 역위상 정렬(Reversed topological order)에 따라 순차적으로 처리합니다. 각 지표에 대해 연관적 무관성(Associational irrelevancy) 또는 **인과적 무관성(Causal irrelevancy)**을 이용하여 식별 가능한 개입 전략을 찾습니다.
가지치기(Pruning): 특정 개입이 식별을 방해하는 선택 편향을 유발할 경우, 해당 가지를 제거하여 식별 가능한 최적의 개입 경로를 찾아냅니다.

② 재귀적 역확률 가중치 추정 (Recursive Inverse Probability Weighting, RIPW)

식별된 구조를 바탕으로 실제 추정을 수행합니다.

추정 방정식(Estimating Equations): 식별 알고리즘에서 도출된 개입 트리( $T_k$ )를 반영하여, 결측 지표에 대한 성향 점수를 재귀적으로 추정합니다.
타겟 함수 추정: 특정 통계량(평균, 회귀 계수, 인과 효과 등)을 추정할 때, 해당 함수를 계산하는 데 필요한 결측 지표들의 **폐쇄 집합(Closure set)**을 구성하고, 이를 바탕으로 가중치를 적용하여 편향되지 않은 추정치를 산출합니다.

3. 주요 기여 (Key Contributions)

구성적 식별 프레임워크 (Constructive Framework): 단순히 식별 가능 여부(Yes/No)만 알려주는 것이 아니라, 어떤 성향 점수를 어떤 조건(Evaluation set)에서 사용해야 하는지 구체적인 **식별 규칙(Identification rules)**을 제공합니다.
선택 편향의 전파 모델링: 개입이 새로운 선택 편향을 만들고, 이것이 다른 변수로 전파되는 과정을 수학적으로 엄밀하게 정의하고 알고리즘화했습니다.
범용적 추정 절차: 타겟 분포에 아무런 제약을 두지 않고도, 결측 메커니즘의 그래픽 구조만으로 MNAR 상황에서의 유효한 추정(Valid inference)이 가능함을 증명했습니다.
소프트웨어 구현: 제안된 모든 절차를 구현한 R 패키지 flexMissing을 공개하였습니다.

4. 연구 결과 (Results)

① 시뮬레이션 연구 (Simulation Studies)

세 가지 과업(평균 추정, 파라미터 회귀, 인과 효과 추정)을 통해 기존 방법론(Amelia, MICE, Complete-case)과 비교했습니다.

MAR(무작위 결측) 상황: 기존 방법론들도 양호한 성능을 보였습니다.
MNAR(비무작위 결측) 상황: 기존 방법론들은 표본 크기가 커져도 편향이 줄어들지 않거나(Amelia, MICE), 신뢰 구간이 부정확했습니다. 반면, 제안된 방법(Missing tree)은 모든 MNAR 시나리오에서 편향이 거의 없고 정확한 추론(Correct coverage)을 수행했습니다.

② 실제 데이터 적용 (Real-data Application)

핀란드 대학생 대상 설문 데이터를 활용하여 학업 자금 조달 방식(X1, X2)의 결측 문제를 분석했습니다. 제안된 방법론은 기존 문헌의 최대우도추정(MLE) 결과와 매우 유사한 정확한 추정치를 산출하며 실용성을 입증했습니다.

5. 의의 및 결론 (Significance)

본 논문은 MNAR 결측 문제를 다루는 데 있어 **"구조적 가정(Missingness structure)을 무시하는 것이 아니라, 오히려 이를 적극적으로 활용해야 한다"**는 패러다임을 제시합니다.

학술적 의의: 결측 데이터의 식별 문제를 인과 추론(Causal inference)의 개입 프레임워크와 결합하여 이론적 완성도를 높였습니다.
실무적 의의: 복잡한 결측 메커니즘을 가진 관측 데이터로부터 편향되지 않은 통계적 추론을 수행할 수 있는 강력하고 체계적인 도구를 제공합니다.