📊 statistics

Estimation beyond Missing (Completely) at Random

이 논문은 데이터가 무작위로 누락되지 않는 MNAR(Missing Not At Random) 상황을 Huber의 $\epsilon$ -오염 모델로 정식화하여, 기존의 MCAR(Missing Completely At Random) 가정보다 완화된 조건에서도 통계적 모수 추정의 최소최대 오차(minimax error)를 분석하고 개선된 추정 성능을 제시합니다.

원저자: Tianyi Ma, Kabir A. Verchand, Thomas B. Berrett, Tengyao Wang, Richard J. Samworth

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianyi Ma, Kabir A. Verchand, Thomas B. Berrett, Tengyao Wang, Richard J. Samworth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제의 배경: "완벽한 설문조사는 없다"

우리가 세상의 평균(예: 한국인의 평균 소득)을 알고 싶어서 설문조사를 한다고 가정해 봅시다. 그런데 데이터가 항상 완벽하게 수집되지는 않습니다. 여기서 두 가지 상황이 발생합니다.

상황 A (MCAR - 완전 무작위 결측): 그냥 운이 나빠서 설문지가 바람에 날아가거나, 실수로 체크를 안 한 경우입니다. 데이터가 빠진 이유가 데이터 내용(소득)과 아무 상관이 없습니다. 이건 통계학자들에게 '그나마 다행인' 상황입니다.
상황 B (MNAR - 비무작위 결측): 이게 진짜 문제입니다. "돈을 아주 많이 버는 사람은 소득을 밝히기 싫어서 답변을 안 하고, 아주 적게 버는 사람은 귀찮아서 안 하는" 경우입니다. 즉, 데이터가 빠진 이유가 데이터 그 자체와 깊은 관련이 있는 상황이죠.

기존의 통계 방식들은 상황 A라고 가정하고 계산하거나, 상황 B를 해결하려고 해도 너무 엄격한 가정을 세워야 해서 실제 현실(상황 B)에서는 잘 맞지 않는 경우가 많았습니다.

2. 이 논문의 핵심 아이디어: "오염된 음식과 진짜 음식"

이 논문은 이 문제를 **'음식(데이터)'**에 비유해서 해결합니다.

우리가 먹는 음식이 **'순수한 요리(MCAR)'**라고 해봅시다. 그런데 어떤 이유로 인해 **'오염된 음식(MNAR)'**이 섞여 들어왔습니다.

기존 방식 (Arbitrary Contamination): "오염된 음식이 무엇인지 전혀 모른다! 독약일 수도 있고, 돌덩이일 수도 있다!"라고 가정합니다. 이렇게 하면 너무 위험해서(오차가 너무 커서) 음식을 먹기가 매우 조심스럽고, 계산 결과도 매우 불안정합니다.
이 논문의 방식 (Realisable Contamination): "오염된 음식도 결국 우리가 원래 먹으려던 요리 재료에서 변형된 것이다!"라고 가정합니다. 예를 들어, 원래 '비빔밥'을 먹으려 했는데, 어떤 건 '고추장이 빠진 비빔밥'이고, 어떤 건 '나물이 너무 많은 비빔밥'인 식이죠. 즉, 오염의 형태가 우리가 다루는 데이터의 범주 안에서 일어난다고 보는 것입니다.

이것을 논문에서는 **'Realisable(실현 가능한) 모델'**이라고 부릅니다. 오염의 범위를 '완전한 무작위'와 '완전한 혼돈' 사이의 적절한 중간 지점으로 좁혀준 것이죠.

3. 무엇을 발견했나? (결과)

이 논문은 이 '현실적인 오염 모델'을 사용했을 때 놀라운 결과가 나온다는 것을 수학적으로 증명했습니다.

"데이터가 거의 다 빠져 있어도 계산할 수 있다!"
기존 방식에서는 데이터의 아주 일부분만 남으면 평균을 구하는 게 불가능(무한대의 오차)하다고 결론 내렸습니다. 하지만 이 논문의 모델을 쓰면, 데이터의 대부분이 빠져 있고(오염도가 매우 높고) 남은 데이터도 아주 적더라도, 여전히 정확한 평균을 찾아낼 수 있는 방법이 있다는 것을 보여주었습니다.
"똑똑한 계산법(Algorithm)을 만들었다!"
데이터가 어떻게 오염되었는지(어떤 값이 빠졌는지) 정확히 몰라도, 데이터를 반복적으로 채워 넣고(Imputation) 다듬는 과정을 통해 아주 효율적으로 평균을 찾아내는 알고리즘을 제안했습니다.
"회귀 분석(예측)에도 적용 가능하다!"
단순히 평균을 구하는 것을 넘어, "A가 B에 미치는 영향"을 계산하는 복잡한 예측 모델(회귀 분석)에서도 데이터가 빠져 있는 상황을 아주 잘 견뎌낸다는 것을 증명했습니다.

4. 요약하자면

이 논문은 **"세상의 데이터는 항상 불완전하고 편향되어 있다"**는 사실을 인정하고, 그 편향(오염)이 **"우리가 다루는 데이터의 성질을 벗어나지 않는 범위 내에서 일어난다"**는 현실적인 가정을 세웠습니다.

덕분에 우리는 데이터가 아주 많이 빠져 있거나, 특정 집단이 의도적으로 답변을 피하는 아주 까다로운 상황에서도, 훨씬 더 정확하고 안정적으로 세상의 진실(평균)을 찾아낼 수 있는 수학적 도구를 갖게 된 것입니다.

[기술 요약] Missing Completely at Random (MCAR)을 넘어선 추정법

1. 연구 배경 및 문제 정의 (Problem Statement)

통계적 추론의 핵심 과제 중 하나는 모집단(target population)의 파라미터를 추정하는 것이지만, 실제 데이터는 결측치(missing data)로 인해 모집단을 온전히 반영하지 못하는 경우가 많습니다.

기존 가정의 한계: 기존 연구들은 데이터 생성 메커니즘과 결측 메커니즘이 독립이라는 MCAR(Missing Completely at Random) 가정을 주로 사용해 왔습니다. 그러나 현실(예: 소득 조사에서의 저소득층 응답률 저하, 질병 조사에서의 우울증 환자 응답률 저하 등)에서는 결측이 데이터 값 자체와 연관된 MNAR(Missing Not at Random) 상황이 빈번합니다.
MAR의 한계: MAR(Missing at Random) 가정은 결측이 관측된 변수에만 의존한다고 가정하지만, 이 역시 여전히 제약적이며, 특정 파라미터 모델에서는 식별 불가능성(unidentifiability) 문제를 야기할 수 있습니다.
핵심 질문: 결측 메커니즘이 MCAR에서 벗어나는 정도(departure)가 파라미터 추정의 정확도(minimax risk)에 구체적으로 어떤 영향을 미치는가?

2. 방법론 (Methodology)

본 논문은 Huber의 $\epsilon$ -contamination 모델을 결측 데이터 상황으로 확장하여, MCAR과 MNAR 사이의 연속적인 스펙트럼을 분석하는 프레임워크를 제안합니다.

A. 두 가지 $\epsilon$ -contamination 모델

Arbitrary $\epsilon$ -contamination model ( $P_{arb}$ ): MCAR 분포에 임의의 분포 $Q$ 를 $\epsilon$ 의 비율로 혼합합니다. 이는 매우 일반적이지만, 결측률 $\epsilon$ 이 일정 수준을 넘으면 추정이 불가능해지는 등 매우 보수적인 모델입니다.
Realisable $\epsilon$ -contamination model ( $\mathcal{R}$ ): 혼합되는 성분이 단순히 임의의 분포가 아니라, 동일한 기저 분포(base distribution) $P$ 에서 발생한 MNAR 버전이라고 가정합니다. 이는 현실적인 데이터 생성 과정을 훨씬 더 잘 반영하며, 수학적으로 훨씬 더 강력한 추정 성능을 보장합니다.

B. 분석 도구: Minimax Quantile Framework

결측 데이터 상황에서는 데이터가 아예 관측되지 않을 확률이 존재하므로, 전통적인 기대 오차(expected error)인 minimax risk는 무한대가 되어 비교가 불가능합니다. 따라서 저자들은 최근 개발된 minimax quantile framework를 사용하여, 특정 신뢰 수준( $1-\delta$ ) 내에서 오차가 특정 임계값 이하일 확률을 기준으로 성능을 측정합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 평균 추정 (Mean Estimation)

Arbitrary 모델: 평균 추정 오차는 [MCAR 하에서의 오차] + [MCAR 이탈로 인한 오차 항]으로 분해됩니다. 이 오차 항은 $\epsilon$ 에 비례하며, $\epsilon$ 이 특정 임계값( $\frac{q}{1+q}$ )을 넘으면 오차가 무한대가 됩니다.
Realisable 모델 (핵심 성과): 기저 분포가 가우시안(Gaussian)인 경우, 결측률 $\epsilon$ 과 관측률 $q$ 가 모두 1에 수렴하더라도(즉, 데이터가 거의 다 누락되더라도) 일관된(consistent) 평균 추정이 가능함을 수학적으로 증명했습니다. 이는 임의의 오염 모델에서는 불가능한 놀라운 결과입니다.

B. 알고리즘 제안

ITERATIVE_ROBUST_MEAN: 반복적인 임퓨테이션(imputation) 기법을 사용하여, 완전한 데이터(complete data)를 위한 강건한 추정기(robust estimator)를 결측 데이터 상황에서도 작동하도록 변환하는 알고리즘을 제안했습니다.
Minimum Kolmogorov Distance Estimator: 가우시안 realisable 모델에서 최적의 성능을 내는 새로운 추정법을 제안하였으며, 이를 선형 계획법(Linear Programming)으로 효율적으로 계산할 수 있음을 보였습니다.

C. 회귀 분석으로의 확장 (Regression Extension)

반응 변수(response variable)가 결측된 선형 회귀 모델에서도 realisable 모델 하에서는 일관된 계수(coefficient) 추정이 가능함을 보였습니다.

4. 연구의 의의 (Significance)

이론적 정교함: MCAR과 MNAR 사이의 간극을 수학적으로 정밀하게 모델링하여, 결측의 '정도'가 추정 성능에 미치는 영향을 정량화했습니다.
실무적 통찰: 데이터가 매우 많이 누락된 상황(high missingness)에서도, 데이터의 근본적인 분포(base distribution)가 동일하다는 가정(realisability)만 있다면 매우 정교한 추론이 가능하다는 것을 보여줌으로써 실무자들에게 강력한 이론적 근거를 제공합니다.
강건성(Robustness)의 재정의: 기존의 강건 통계학이 '이상치(outlier)'에 집중했다면, 본 논문은 '결측 메커니즘의 편향(bias in missingness)'에 대한 강건성을 체계적으로 다루었습니다.