📊 statistics

Boosting prediction with data missing not at random

이 논문은 결측치가 있는 반응 변수를 가진 데이터에 대해 손실 함수를 조정하는 두 가지 전략을 제시하고, 함수적 경사 하강 알고리즘을 통해 구현된 부스팅 예측 방법의 수렴성과 일관성 등 이론적 성질을 엄밀하게 규명합니다.

원저자: Yuan Bian, Grace Y. Yi, Wenqing He

게시일 2026-02-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuan Bian, Grace Y. Yi, Wenqing He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 비유: 과수원의 사과 가격 예측

상상해 보세요. 여러분은 과수원에서 사과 가격을 예측하는 AI(인공지능) 를 만들고 있습니다.

목표: 나무의 크기, 햇빛 양 등을 보고 "이 사과가 얼마에 팔릴까?"를 맞추는 것.
문제: 조사원들이 모든 사과를 확인한 게 아닙니다. 어떤 사과는 기록이 남아있고, 어떤 사과는 기록이 아예 없습니다.

1. 왜 기존 방법은 실패할까요? (MNAR 의 함정)

보통의 AI 는 "기록이 있는 사과들만 보면 되겠지?"라고 생각합니다. 하지만 여기서 함정이 있습니다.

상황: 기록이 없는 사과들은 대부분 너무 작거나 못생겨서 조사원들이 아예 기록을 남기지 않았습니다. (이것이 MNAR: 데이터가 무작위가 아닌 이유로 빠진 경우)
결과: 기록만 보고 학습한 AI 는 "사과는 다 크고 비싸구나!"라고 착각하게 됩니다. 작고 싼 사과들을 무시했기 때문에, 실제 시장 가격을 과대평가하게 되는 **편향 (Bias)**이 생깁니다.

2. 이 논문이 제안하는 해결책: "보이지 않는 사과를 상상하라"

저자들은 "기록이 없는 사과들도 존재한다"는 사실을 인정하고, 그들을 예측에 포함시키는 두 가지 clever한 방법을 개발했습니다.

방법 A: "가중치 주기" (IPW - 역확률 가중치)

비유: "기록이 남지 않은 사과들은 사실 10 개나 있었을지도 몰라!"라고 가정합니다.
작동 원리: 만약 어떤 종류의 사과가 기록될 확률이 10% 라면, 기록된 그 사과 하나를 10 배의 무게를 가진 사과로 취급해서 계산합니다.
효과: 빠진 데이터가 얼마나 많았을지 추정해서, 기록된 데이터의 중요도를 높여 전체적인 균형을 맞춥니다.

방법 B: "상상력 채우기" (Buckley-James 방식)

비유: "기록이 없는 사과들의 가격은 정확히 모르지만, 비슷한 나무의 평균 가격으로 추정해 볼까?"
작동 원리: 기록이 없는 사과들에 대해, "아마도 이 정도 가격일 거야"라는 가상의 가격을 통계적으로 추측해서 채워 넣습니다.
효과: 빈칸을 비워두지 않고, 가장 그럴듯한 값으로 메꾸어 전체 데이터를 완성된 것처럼 다룹니다.

3. "부스팅 (Boosting)"이란 무엇인가요?

이 논문에서 사용하는 부스팅은 "약한 학생들을 모아 천재로 만드는 방법"입니다.

처음에는 예측이 엉망인 약한 AI(학생) 를 여러 명 뽑습니다.
그리고 "이번엔 이 부분만 잘 맞추렴"이라고 하나씩 가르치며 (반복 학습), 그들을 합쳐서 최고의 예측 전문가를 만듭니다.
이 논문은 이 '부스팅' 기술에 위의 A, B 두 가지 방법을 결합하여, 데이터가 빠져있을 때도 최고의 전문가가 될 수 있게 만들었습니다.

💡 핵심 요약

문제: 데이터가 '무작위'가 아니라 '특정 이유'로 빠지면, 기존 AI 는 엉뚱한 결론을 내립니다. (예: 가난한 사람의 소득을 과대평가)
해결: 빠진 데이터를 무시하지 않고, 가중치를 주거나 (A) 추정해서 채우는 (B) 방식으로 손실 함수 (오차 계산법) 를 수정했습니다.
결과: 컴퓨터 시뮬레이션과 실제 한국 노동 데이터 (KLIPS) 분석을 통해, 이 방법들이 기존 방법보다 훨씬 정확하고 편향 없는 예측을 한다는 것을 증명했습니다.

🎯 한 줄 결론

"빠진 데이터가 '실수'가 아니라 '의도'일 때, 그 숨겨진 패턴을 찾아내어 AI 가 더 똑똑하게 예측하게 만든 새로운 통계 기술입니다."

이 연구는 단순히 숫자를 맞추는 것을 넘어, 불완전한 현실 데이터를 어떻게 하면 공정하고 정확하게 해석할 수 있을지에 대한 중요한 통찰을 줍니다.

논문 요약: MNAR(무작위성이 아닌 결측) 데이터를 위한 부스팅 예측 방법론

1. 연구 배경 및 문제 제기 (Problem)

배경: 부스팅 (Boosting) 은 약한 학습기를 강한 학습기로 변환하는 강력한 머신러닝 기법으로, 회귀 및 분류 문제에 널리 사용됩니다.
문제점: 기존의 부스팅 알고리즘은 완전한 데이터 (Full Data) 를 가정합니다. 그러나 실제 데이터에서는 결측치가 빈번하게 발생합니다.
- MCAR/MAR: 결측이 완전히 무작위 (MCAR) 이거나 관측된 변수에 의존하는 경우 (MAR) 에는 기존 방법을 적용해도 무관합니다.
- MNAR (Missing Not at Random): 결측 여부가 결측된 값 자체 ( $Y$ ) 에 의존하는 경우, 기존 방법을 적용하면 심각한 편향 (Bias) 이 발생합니다.
핵심 난제: MNAR 데이터는 본질적으로 비식별성 (Non-identifiability) 문제를 내포합니다. 즉, 관측된 데이터만으로는 결측 메커니즘과 반응 변수의 분포를 동시에 식별하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 MNAR 상황에서 부스팅 예측의 타당성을 확보하기 위해 반모수적 추정 (Semiparametric Estimation) 접근법을 도입하고, 손실 함수 (Loss Function) 를 수정하는 두 가지 전략을 제안합니다.

가. 손실 함수 조정 전략 (Adjusted Loss Functions)
기존의 경험적 위험 (Empirical Risk) 최소화를 위해 관측되지 않은 데이터에 대한 정보를 보정하는 두 가지 손실 함수를 정의합니다.

역확률 가중치 (IPW, Inverse Propensity Weight):
- 관측된 데이터의 손실 함수에 역확률 가중치 ( $1/\pi(y, x)$ ) 를 곱합니다.
- $\pi(y, x) = Pr(R=1|Y=y, X=x)$ 는 반응 변수의 관측 확률 (Propensity) 입니다.
- 이 방법은 결측된 관측치를 제외하고 관측된 데이터의 가중치를 조정합니다.
버클리 - 제임스 유형 (Buckley-James-type, BJ):
- 관측된 데이터의 손실 함수와 결측된 데이터의 기대 손실 함수를 결합합니다.
- $L_{BJ} = R \cdot L + (1-R) \cdot \Psi_0(X)$ 형태로, 여기서 $\Psi_0(X)$ 는 $R=0$ 인 집단에서의 조건부 기대 손실입니다.
- 이 방법은 결측된 정보까지 활용하여 효율성을 높입니다.

나. 비식별성 해결 및 추정 (Identification & Estimation)

식별 조건: Morikawa and Kim (2021) 의 식별 조건을 적용하여 모델의 식별 가능성을 확보합니다.
반모수적 추정:
- Propensity Score ( $\pi$ ): 모수적 모델 (Parametric model) 로 추정합니다.
- 조건부 밀도 ( $f(y|X, R=1)$ ): 모수적 모델 또는 비모수적 커널 밀도 추정 (Kernel Density Estimation) 을 사용하여 추정합니다.
- 추정 알고리즘: Morikawa and Kim (2021) 이 제안한 방법을 변형하여, 결측된 $Y$ 가 없는 경우에도 일관된 (Consistent) 추정량 ( $\hat{\gamma}$ ) 을 얻을 수 있도록 합니다.

다. 부스팅 알고리즘 구현 (Algorithm)

함수 경사 하강법 (Functional Gradient Descent): 수정된 손실 함수 ( $L^*$ ) 를 기반으로 부스팅 알고리즘을 수행합니다.
반복 과정:
1. 현재 추정치에 대한 손실 함수의 기울기 (Gradient) 를 계산합니다.
2. 약한 학습기 (Weak Learner, 예: B-spline) 를 피팅하여 기울기를 근사합니다.
3. 학습률 (Learning rate) 을 결정하고 함수를 업데이트합니다.
4. 수렴 기준 (Stopping criterion) 을 만족할 때까지 반복합니다.
수렴성: 제안된 알고리즘은 함수 공간에서 최적의 해로 수렴함이 이론적으로 증명되었습니다.

3. 주요 기여 (Key Contributions)

MNAR 데이터용 부스팅 프레임워크 정립: 기존에 완전한 데이터에만 적용되던 부스팅을 MNAR 상황에 확장했습니다.
이론적 엄밀성: 제안된 추정량의 **일관성 (Consistency)**과 알고리즘의 **수렴성 (Convergence)**을 엄밀하게 증명했습니다.
유연한 손실 함수 조정: IPW 와 BJ 두 가지 전략을 통해 다양한 모델링 가정 하에서 MNAR 편향을 보정하는 방법을 제시했습니다.
실증적 검증: 시뮬레이션과 실제 데이터 분석을 통해 제안된 방법이 기존 방법 (Naive) 보다 우월한 예측 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 연구:
- MAR vs MNAR: MAR 상황에서는 모든 방법이 유사한 성능을 보였으나, MNAR 상황에서는 기존 방법 (Naive) 이 심각한 편향을 보였습니다.
- 제안 방법의 성능: 제안된 IPW, IPWN(비모수), BJ 방법은 완전한 데이터를 사용한 기준 방법 (Reference) 과 유사한 성능을 보이며, MNAR 편향을 효과적으로 제거했습니다.
- 손실 함수: $L_1$ , $L_2$ , Huber 손실 함수 모두에서 제안 방법이 잘 작동했습니다.
- 모델 오설정 (Misspecification): Propensity Score 모델이 잘못 설정된 경우 성능이 저하되었으나, 조건부 밀도 모델이 잘못 설정된 경우에도 IPW 추정량은 일관성을 유지하는 등 견고성 (Robustness) 을 보였습니다.
실제 데이터 분석 (KLIPS 데이터):
- 한국노동패널 (KLIPS) 의 소득 데이터 (약 30% 결측) 를 분석했습니다.
- 제안된 방법들은 Naive 방법과 달리 소득 예측값의 분포가 더 현실적이고 일관된 패턴을 보였습니다.

5. 의의 및 결론 (Significance)

실무적 기여: 사회과학, 의학, 경제학 등 결측치가 비무작위적으로 발생하는 분야에서 신뢰할 수 있는 예측 모델을 구축할 수 있는 도구를 제공합니다.
이론적 확장: 부스팅 알고리즘의 이론적 기반을 결측 데이터 처리 영역으로 확장하여, 머신러닝과 통계적 추론의 융합을 보여줍니다.
향후 연구: 제안된 손실 함수 조정 전략은 서포트 벡터 머신 (SVM), 트리 기반 방법, 신경망 등 다른 머신러닝 기법에도 적용 가능하여 확장성이 높습니다.

결론적으로, 이 논문은 MNAR 데이터의 비식별성 문제를 반모수적 접근법으로 해결하고, 이를 부스팅 알고리즘에 통합함으로써 편향 없는 강력한 예측 모델을 개발했다는 점에서 중요한 의의를 가집니다.