Semi-supervised linear regression with missing covariates

1. 문제 정의 및 배경 (Problem & Motivation)

• 배경: 실제 통계 데이터셋에서는 결측치가 매우 흔합니다. 기존 연구들은 주로 결측 응답 (missing responses) 또는 결측 공변량 (missing covariates) 중 하나만 고려하거나, 레이블이 있는 데이터만 사용하는 완전 지도 (fully supervised) 설정에 집중했습니다.
• 문제점:
  • 많은 실제 데이터 (예: 의료 데이터, ADNI, MIMIC 등) 는 레이블이 있는 데이터 내에서도 공변량의 결측이 발생하며, 동시에 레이블이 없는 대량의 데이터가 존재하는 반지도 (semi-supervised) 환경입니다.
  • 결측 패턴은 비구조적 (unstructured) (각 변수가 독립적으로 결측) 인 경우와 구조적/블록별 (structured/blockwise) (특정 변수 그룹이 함께 결측) 인 경우가 있습니다.
  • 기존 방법론은 레이블이 없는 데이터를 활용하여 결측 공변량이 있는 레이블 데이터의 추정 성능을 어떻게 향상시킬 수 있는지에 대한 이론적 근거가 부족했습니다.
• 목표: 레이블 데이터에 결측 공변량이 있고, 레이블이 없는 데이터 (또는 공변량의 공분산 행렬 $\Sigma$) 가 추가적으로 주어질 때, $\beta^*$를 추정하는 최적의 방법론을 개발하고, 그 최소최대 (minimax) 위험 하한과 상한을 규명하는 것입니다.

2. 설정 (Formal Setting)

• 모델: $Y = X^T \beta^* + \epsilon$ (선형 모델).
• 데이터:
  • 레이블 데이터 ($L$): $K$ 가지 결측 패턴을 가짐. $k$번째 패턴에서는 $O_k \subseteq [p]$에 해당하는 공변량과 $Y$가 관측됨.
  • 레이블이 없는 데이터 ($U$):
    • 일반 반지도 (OSS): $N$개의 관측치로 이루어진 독립적인 데이터셋 ($X$만 관측).
    • 이상 반지도 (ISS): 공변량의 공분산 행렬 $\Sigma$를 정확히 알고 있는 경우 (이론적 통찰을 위해 사용).
• 결측 패턴:
  • 비구조적 (Unstructured): 각 변수가 확률 $\rho$로 독립적으로 결측 (예 1).
  • 구조적 (Structured/Blockwise): 변수가 모드 (modality) 단위로 그룹화되어 특정 그룹이 함께 결측 (예 2: 단순 단조 패턴, monotonic pattern).

3. 방법론 (Methodology)

저자들은 저차원 (low-dimensional) 과 고차원 (high-dimensional) 희소 (sparse) 설정에 따라 다른 추정량을 제안합니다.

A. 저차원 설정 (Low-dimensional)

• 추정량: 가중치 재조정 (reweighting) 이 포함된 대체 (imputation) 기반 추정량.
  • 결측 공변량을 조건부 기대값을 사용하여 대체 (impute) 하고, 이를 기반으로 가중 최소제곱 (Weighted Least Squares) 을 수행합니다.
  • 핵심 아이디어: 각 결측 패턴 $k$에 대해 가중치 $D_k$를 도입하여, 완전한 경우의 분산과 결측 패턴 $k$에서의 분산 비율을 보정합니다.
  • 추정식: $\hat{\beta} = \arg \min_{\beta} \sum_{j=1}^K \sum_{i \in I_j} \hat{D}_j (Y_i - (X_i)_{O_j}^T \hat{P}_j \beta)^2$.
  • 여기서 $\hat{P}_j$는 공분산 행렬의 추정치를 이용한 변환 행렬이며, $\hat{D}_j$는 잔차 분산 추정을 통해 구한 가중치입니다.
• 특징:
  • 단순 대체 (naive imputation, 가중치 1) 보다 우월한 성능을 보임.
  • 레이블이 없는 데이터를 통해 공분산 행렬 $\Sigma$를 정밀하게 추정할 수 있어, 레이블 데이터만 사용할 때보다 효율이 증가합니다.

B. 고차원 설정 (High-dimensional, Sparse)

• 추정량: 수정된 Dantzig Selector.
  • LASSO 기반 접근법의 비볼록성 (non-convexity) 문제를 해결하기 위해 Dantzig Selector 를 확장합니다.
  • $\hat{\Sigma}$ (공분산 추정치) 와 $\hat{\gamma}$ (교차곱 추정치) 를 결측 패턴에 따라 편향 없이 (unbiased) 추정합니다.
  • 최적화 문제: $\min \|\beta\|_1$ subject to $\|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \le \lambda$.
• 특징:
  • 레이블이 없는 데이터를 활용하여 $\hat{\Sigma}$의 추정 오차를 줄임으로써, 희소성 (sparsity) 조건 하에서 수렴 속도를 개선합니다.

4. 주요 기여 및 결과 (Key Contributions & Results)

A. 최소최대 위험 (Minimax Risk) 및 최적성

논문은 제안된 추정량들의 비점근적 (non-asymptotic) 위험 상한을 유도하고, 이에 대응하는 하한 (lower bound) 을 증명하여 추정량의 최적성 (rate optimality) 을 입증했습니다.

• 저차원 비구조적 결측 (Unstructured):
  • 위험률: $O\left( \frac{\sigma^2 p}{\rho n_L} + \frac{\|\beta^*\|^2 p}{\rho^2 n_L + N} \right)$.
  • 의미: 레이블이 없는 데이터 ($N$) 가 크면, 유효 관측률 (effective observation rate) 이 $\rho$에서 $\rho^{1/2}$로 향상됩니다. 즉, $N$이 충분히 크면 $\rho^2 n_L + N$ 항이 지배적이 되어 성능이 크게 개선됩니다.
• 저차원 구조적 결측 (Structured/Blockwise):
  • 단순 단조 패턴 (Simple Monotonic Pattern) 에서 레이블이 없는 데이터는 유효 차원성 (effective dimensionality) 을 $p$에서 $p_0$ (결측된 변수 수) 로 줄여주는 효과가 있습니다. 이는 레이블이 없는 데이터를 사용하지 않는 방법론에서는 불가능한 성과입니다.
• 고차원 설정:
  • 희소성 $s$를 고려할 때, 위험률은 $O\left( \frac{s \log p}{\rho n_L} + \frac{s \log p}{\rho^2 n_L + N} \right)$ 형태를 따릅니다.
  • Wang et al. (2019) 의 추측을 해결하고, 기존 DISCOM 방법론보다 더 강력한 상한을 증명했습니다 (특히 $\|\beta^*\|_1$ 대신 $\|\beta^*\|_2$ 의존성을 가지며, 차수 $s$만큼 개선됨).

B. 기존 연구와의 비교 및 개선

• 레이블이 없는 데이터의 역할: 선형 모델이 잘 지정 (well-specified) 되어 있더라도, 레이블이 없는 데이터는 공분산 행렬 추정을 통해 추정 효율을 높일 수 있음을 보였습니다.
• 결측 패턴의 영향: 구조적 결측 (블록별 결측) 에서 레이블이 없는 데이터가 제공하는 이점이 비구조적 결측보다 더 명확하게 드러나며, 차원 축소 효과를 가져옵니다.
• 안전성 (Safety): 제안된 방법은 레이블 데이터만 사용한 최상의 지도 추정량보다 항상 나쁘지 않은 성능을 보장합니다.

5. 실험 및 적용 (Experiments & Applications)

• 시뮬레이션:
  • 다양한 결측 패턴 (단순 단조, 비구조적, 복잡한 블록 패턴) 과 차원 설정에서 제안된 추정량 (OSS) 을 기존 방법 (완전 사례 분석 CC, 다중 대체 MICEL, RRZ, SS 등) 과 비교했습니다.
  • 결과: 제안된 방법은 모든 시나리오에서 가장 낮은 평균 제곱 오차 (MSE) 를 보였으며, 특히 레이블이 없는 데이터가 많을수록 완전 사례 분석 대비 성능이 급격히 향상되었습니다.
  • 가중치 재조정 단계의 중요성을 확인했습니다 (가중치를 무시하면 성능이 저하됨).
• 실제 데이터 적용 (캘리포니아 주택 데이터):
  • 합성 결측치를 도입하여 반지도 설정을 시뮬레이션했습니다.
  • 제안된 OSS 추정량이 완전 사례 분석 (Least Squares on Complete Cases) 보다 모수 추정 오차를 유의미하게 줄였으며, 특히 결측된 변수 그룹에 대한 추정 정확도가 크게 향상되었습니다.

6. 의의 및 결론 (Significance)

이 논문은 결측 공변량이 있는 반지도 선형 회귀 문제에 대한 최초의 체계적인 이론적 분석을 제공합니다.

1. 이론적 혁신: 레이블이 없는 데이터가 결측 공변량 문제를 해결하는 데 어떻게 기여하는지 (유효 관측률 증가, 유효 차원성 감소) 를 정량화했습니다.
2. 방법론적 기여: 저차원과 고차원 모두에서 최적의 수렴 속도를 달성하는 추정량을 제안하고, 이를 위한 가중치 재조정 및 Dantzig Selector 기반의 알고리즘을 개발했습니다.
3. 실용적 가치: 의료, 환경 데이터 등 결측치가 빈번하고 레이블 획득 비용이 높은 분야에서, 레이블이 없는 대량 데이터를 효과적으로 활용할 수 있는 통계적 근거를 마련했습니다.

요약하자면, 이 연구는 결측 데이터와 레이블이 없는 데이터를 동시에 활용하여 선형 회귀 모수를 추정할 때, 어떤 결측 패턴 하에서도 최적의 성능을 보장하는 방법론을 제시하고 그 이론적 한계를 명확히 규명했다는 점에서 중요한 의의를 가집니다.