Dirichlet kernel density estimation on the simplex with missing data

Each language version is independently generated for its own context, not a direct translation.

🍕 1. 문제 상황: 피자 조각과 사라진 손님

우리가 분석하려는 데이터는 **'비율 (Composition)'**입니다. 예를 들어, 한 사람의 혈액 속 백혈구 비율 (중성구 60%, 림프구 30%, 기타 10%) 이나, 한 가족의 하루 시간 사용 비율 (수면 8 시간, 업무 8 시간, 여가 8 시간) 같은 것들입니다.

이런 데이터는 피자 한 판과 비슷합니다.

조각들이 합쳐져야 항상 100%(하나의 피자) 가 되어야 합니다.
한 조각이 커지면 다른 조각은 작아져야 합니다. (서로 의존적임)

하지만 여기서 문제가 생깁니다.
연구실이나 설문조사에서 모든 사람의 데이터를 다 받을 수 없는 경우가 많습니다. 피자가 잘려서 일부 조각이 사라진 것처럼, **데이터가 '누락 (Missing)'**되는 것입니다.

기존의 잘못된 방법: 사라진 조각을 임의로 채워 넣거나 (Imputation), 아예 그 사람을 분석에서 제외하는 것.
- 비유: 사라진 피자를 임의로 만들어서 전체를 분석하면, 실제 맛 (데이터의 분포) 과 달라질 수 있습니다.
이 논문의 방법: 사라진 조각을 채우지 않고, "남아 있는 조각들이 얼마나 중요한지"에 가중치 (Weight) 를 주어 분석합니다.

⚖️ 2. 해결책: 저울과 가중치 (Inverse Probability Weighting)

논문에서 제안한 핵심 아이디어는 **'역확률 가중치 (IPW)'**입니다.

상황: 어떤 사람들은 피자가 잘려서 (데이터가 누락되어) 사라졌고, 어떤 사람들은 온전히 남아있습니다.
원인: 사라진 이유는 무작위가 아닙니다. 예를 들어, "설문조사에 답하기 귀찮은 사람"이나 "기술적 오류가 난 샘플"처럼 특정 조건 (covariate) 때문에 사라진 것입니다.
해법:
1. 누가 왜 사라졌는지 파악: "이런 조건을 가진 사람은 80% 확률로 데이터가 사라진다"는 것을 추정합니다.
2. 가중치 부여: 만약 어떤 사람의 데이터가 80% 확률로 사라질 위험이 있었다면, 그 사람의 남은 데이터는 1/0.2 = 5 배의 힘을 갖도록 가중치를 줍니다.
3. 결과: 사라진 데이터가 원래 전체를 대표할 수 있도록, 남은 데이터를 '확대 재생'하는 효과를 냅니다.

🧭 3. 나침반과 지도: 디리클레 커널 (Dirichlet Kernel)

데이터가 비율 (피자 조각) 이라는 점은 분석을 어렵게 만듭니다. 일반적인 통계 방법은 피자가 100% 가 되어야 한다는 규칙을 무시하고, 마치 평평한 땅 (유클리드 공간) 에서 분석하려다 보니 **가장자리 (피자 테두리)**에서 엉뚱한 결과가 나옵니다.

기존 방법의 문제: 피자의 가장자리에서 데이터를 분석하면, 피자가 밖으로 튀어나가거나 (음수 비율), 모양이 뭉개지는 오류가 생깁니다.
이 논문의 도구 (디리클레 커널):
- 이 도구는 피자 모양에 딱 맞는 나침반입니다.
- 피자의 테두리에 닿아도 절대 밖으로 나가지 않고, 피자의 모양을 그대로 따라가며 부드럽게 분석합니다.
- 이를 통해 데이터가 모여 있는 '가장 흔한 패턴 (모드)'을 정확하게 찾아냅니다.

📊 4. 실험 결과: 왜 이 방법이 더 좋은가?

저자들은 컴퓨터 시뮬레이션과 실제 데이터 (NHANES 건강 조사 데이터) 로 이 방법을 테스트했습니다.

시뮬레이션: 데이터를 일부러 지워가며 (누락률 5%~40%) 분석해 보았습니다.
- 결과: 사라진 데이터가 많을수록 기존 방법 (로그 변환 등) 은 엉망이 되었지만, 이 논문에서 제안한 가중치 + 나침반 방법은 여전히 정확한 지도를 그려냈습니다.
실제 적용 (NHANES):
- 미국 국민 건강 조사 데이터에서 백혈구 비율을 분석했습니다.
- 일부 사람의 혈액 데이터가 누락되었지만, 이 방법을 통해 **"건강한 성인의 가장 일반적인 백혈구 구성 (중성구 약 57%, 림프구 약 32% 등)"**을 찾아냈습니다.
- 이는 의학적 기준과도 잘 맞아떨어졌습니다.

💡 5. 한 줄 요약

이 논문은 **"데이터가 일부 사라졌을 때, 임의로 채우지 말고 사라진 이유를 분석하여 남은 데이터의 중요도를 조정하고, 비율 데이터의 특수한 모양 (피자) 에 맞는 나침반을 사용하면, 훨씬 더 정확한 지도를 그릴 수 있다"**는 것을 증명했습니다.

이는 의학, 환경, 경제 등 다양한 분야에서 불완전한 데이터를 다룰 때 매우 유용한 새로운 나침반이 될 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

구성 데이터 (Compositional Data): 지질학, 미생물군집, 식이 섭취, 포트폴리오 등 다양한 분야에서 나타나는 데이터로, 모든 성분이 0 이상이며 합이 1 이라는 제약 (closure constraint) 을 가집니다. 이러한 데이터의 지지집합 (support) 은 유클리드 공간이 아닌 단순형 (Simplex, $S_d$ ) 위에 존재합니다.
기존 방법의 한계:
- 표준적인 다변량 밀도 추정 기법은 단순형의 기하학적 구조와 성분 간의 종속성을 고려하지 못해 경계 (boundary) 에서 편향이 발생하거나 음수 값을 가질 수 있습니다.
- 결측치 (Missing Data): 실제 연구 (예: 미생물군집 연구, NHANES 등) 에서는 관측되지 않는 데이터가 자주 발생합니다. 특히 무작위 결측 (Missing At Random, MAR) 메커니즘이 지배적인데, 이는 결측 확률이 관측된 공변량 (covariates) 에 의존하지만 관측되지 않은 반응 변수에는 의존하지 않는 경우입니다.
- 기존 결측치 처리 방법인 대체 (Imputation) 방식은 결측값을 먼저 추정한 후 밀도를 추정하는 2 단계 과정을 거치며, 이는 추정의 복잡성을 증가시키고 목표 분포에 대한 간접적인 접근을 강요합니다.
연구 목표: 단순형 위에서 정의된 구성 데이터가 MAR 메커니즘 하에서 결측될 때, 대체 방식을 사용하지 않고 **역확률 가중치 (Inverse Probability Weighting, IPW)**를 기반으로 한 비모수적 밀도 추정기를 개발하고 그 점근적 성질을 규명하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 **IPW 기반의 Dirichlet 커널 밀도 추정기 (IPW Dirichlet KDE)**를 제안합니다.

A. 기본 설정

데이터: $(X_i, Y_i)$ 쌍이 $n$ 개 관측되며, $Y_i \in S_d$ 는 반응 변수 (구성 데이터), $X_i \in \mathbb{R}^p$ 는 완전히 관측된 공변량입니다.
결측 지표: $\delta_i = 1$ (관측됨), $0$ (결측).
MAR 가정: $P(\delta_i=1 | Y_i, X_i) = P(\delta_i=1 | X_i) = \pi(X_i)$ . 여기서 $\pi(X_i)$ 는 **선도 점수 (propensity score)**입니다.

B. 추정기 구성

가상 추정기 (Pseudo Estimator, $\tilde{f}_{n,b}$ ):
- 만약 $\pi(X_i)$ 를 알고 있다면, Horvitz-Thompson 추정기 아이디어를 적용하여 가중치를 부여합니다.
- $\tilde{f}_{n,b}(s) = \frac{1}{n} \sum_{i=1}^n \frac{\delta_i}{\pi(X_i)} \kappa_{s,b}(Y_i)$ .
- 여기서 $\kappa_{s,b}(\cdot)$ 는 적응형 Dirichlet 커널로, 단순형 내부에서 비음수성을 보장하고 경계 근처에서 우수한 거동을 보입니다.
실현 가능 추정기 (Feasible Estimator, $\hat{f}_{n,b}$ ):
- 실제 상황에서는 $\pi(X_i)$ 를 알 수 없으므로, Nadaraya-Watson 회귀 추정기를 사용하여 $\hat{\pi}_i(X_{1:n})$ 를 추정합니다.
- $\hat{f}_{n,b}(s) = \frac{1}{n} \sum_{i=1}^n \frac{\delta_i}{\hat{\pi}_i(X_{1:n})} \kappa_{s,b}(Y_i)$ .
- 이 방식은 결측치를 채우지 않고 관측된 데이터의 분포를 직접 재구성합니다.

C. 대역폭 선택

최소제곱 교차검증 (Least-Squares Cross-Validation, LSCV) 기준을 IPW 환경에 맞게 수정하여 대역폭 $b$ 를 선택합니다. 이는 누락된 관측치를 보정하기 위해 가중치가 포함된 적분 제곱 오차 (ISE) 를 최소화하는 방향으로 설계되었습니다.

3. 주요 이론적 기여 (Key Contributions)

논문은 제안된 추정기에 대한 완전한 점근적 이론을 수립했습니다.

편향 (Bias) 및 분산 (Variance) 전개:
- 가상 추정기: 편향은 완전 데이터 Dirichlet KDE 와 동일하게 $O(b)$ 로 수렴합니다. 분산은 MAR 메커니즘으로 인해 추가적인 인자 $(1 + \zeta(s))$ 가 곱해져 증가하며, 이는 결측 확률의 변동성에 기인합니다.
- 실현 가능 추정기: $\pi(X_i)$ 를 추정함으로써 발생하는 오차가 분석되었습니다. 흥미롭게도, 2 차 오차 항에서 분산 감소 효과가 나타날 수 있음이 증명되었습니다. 즉, propensity score 를 추정하는 과정이 1 차 오차 수준에서 분산을 증가시키지 않습니다.
최적 대역폭 및 MSE:
- 평균 제곱 오차 (MSE) 를 최소화하는 최적 대역폭 $b_{opt} \sim n^{-2/(d+4)}$ 를 유도했습니다.
- 차원의 저주 (Curse of Dimensionality) 조건: 공변량의 차원 $p$ 가 반응 변수의 차원 $d$ 보다 작아야 ( $p < d$ ) propensity score 추정의 오차가 밀도 추정 오차보다 빠르게 수렴하여 점근적 정규성이 성립함을 보였습니다. ( $p \ge d$ 인 경우 추가적인 가정이 필요합니다.)
점근적 정규성 (Asymptotic Normality):
- 적절한 대역폭 조건 하에서 추정기가 정규 분포로 수렴함을 증명했습니다.

4. 시뮬레이션 및 실증 분석 결과 (Results)

A. 시뮬레이션 연구

설정: 2 차원 단순형 ( $S_2$ ) 에서 2 가지 혼합 모델 (Model I, II) 을 사용하며, $n \in \{100, 200, 400, 800\}$ 과 다양한 결측률 (5%~40%) 을 고려했습니다.
비교 대상: 제안된 IPW Dirichlet KDE 와 대체 방식 (Additive Log-Ratio, ALR) 및 등거리 로그 비율 (Isometric Log-Ratio, ILR) 변환을 기반으로 한 IPW 커널 추정기를 비교했습니다.
결과:
- 표본 크기가 커질수록, 결측률이 낮아질수록 추정 성능 (ISE) 이 개선되었습니다.
- 성능 우위: 모든 시나리오에서 제안된 IPW Dirichlet KDE 가 ALR/ILR 기반 방법보다 일관되게 우수한 성능을 보였습니다. 특히 단순형의 경계 근처와 다중 모드 (multi-modal) 분포에서 Dirichlet 커널의 적응성이 유리하게 작용했습니다.

B. 실증 분석 (NHANES 데이터)

데이터: 미국 National Health and Nutrition Examination Survey (NHANES 2017-2018) 의 백혈구 구성 데이터 (중성구, 림프구, 기타) 를 사용했습니다.
결측 처리: BMI(체질량지수) 를 공변량으로 하여 MAR 가정 하에서 결측된 CBC(전혈구계산) 데이터를 처리했습니다.
결과:
- 추정된 밀도 함수는 생물학적으로 타당한 단일 모드 (mode) 를 보여주었습니다.
- 모드 (Mode): 중성구 약 57%, 림프구 약 32%, 기타 약 11% 로 추정되었으며, 이는 건강한 성인 집단의 면역 프로파일과 일치합니다.
- 이 결과는 제안된 방법이 실제 복잡한 구성 데이터에서 결측치를 효과적으로 보정하며 유효한 밀도 추정을 가능하게 함을 시사합니다.

5. 의의 및 결론 (Significance)

이론적 확장: 기존에 완전 데이터에 국한되었던 Dirichlet 커널 밀도 추정 이론을 결측 데이터 (MAR) 환경으로 성공적으로 확장했습니다.
방법론적 혁신: 대체 (Imputation) 방식 대신 **역확률 가중치 (IPW)**를 사용하여 구성 데이터의 기하학적 구조 (단순형) 를 보존하면서 편향을 보정하는 효율적인 프레임워크를 제시했습니다.
실용적 가치:
- 경계 문제 (boundary problem) 를 자연스럽게 해결하는 비대칭 커널을 사용하여, 구성 데이터의 특성 (0~1 범위, 합이 1) 을 완벽하게 반영합니다.
- NHANES 데이터 적용을 통해 공중보건 및 의학 분야에서 구성 데이터 분석의 실용성을 입증했습니다.
향후 연구 방향: 고차원 공변량 ( $p \ge d$ ) 처리, 구조적 영 (structural zeros) 이 있는 희소 데이터 적용, 복잡한 표본 설계 (survey weights) 반영, 그리고 MAR 가정이 위반된 경우의 민감도 분석 등으로 확장 가능성이 제시되었습니다.

요약하자면, 이 논문은 구성 데이터의 결측치 문제를 해결하기 위해 Dirichlet 커널과 IPW 를 결합한 강력한 비모수적 추정 기법을 제안하고, 이를 통해 이론적 엄밀성과 실용적 유용성을 동시에 입증한 중요한 연구입니다.