Model Assisted Data Integration: An unbiased sampling strategy to use nonprobability data

논문 요약: 모델 보조 데이터 통합 (MADI) 표본 추출 전략

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 통계청 (NSO) 은 비용 절감, 응답 부담 감소, 데이터 품질 향상을 위해 비확률 데이터 (Non-probability Data, NPD) 와 같은 새로운 데이터 소스 (예: 신용카드 데이터, 디지털 회계 보고서 등) 를 공식 통계에 통합하려는 노력을 기울이고 있습니다.
• 핵심 문제:
  • 선택 편향 (Selection Bias): NPD 는 모집단을 완전히 대표하지 못하며, 데이터 수집 메커니즘이 알려져 있지 않아 표본 추출 확률 (inclusion probability) 을 알 수 없습니다. 이로 인해 심각한 선택 편향이 발생할 수 있습니다.
  • 기존 방법의 한계: 기존 연구에서 제안된 통합 추정량 (Imputation, Propensity Score, Weight Calibration, Double Robust 등) 은 대부분 '결측이 무작위 (Missing At Random, MAR)'라는 강한 가정을 전제로 합니다. 그러나 실제 NPD 의 경우 이 가정을 검증하기 어렵거나 성립하지 않는 경우가 많습니다.
  • 소규모 표본의 문제: NPD 를 보완하기 위해 확률 표본 (Probability Sample) 을 소규모로 추출할 때, 전통적인 GREG(일반화 회귀) 추정량은 보조 변수가 많거나 표본 크기가 작을 경우 행렬이 특이 (singular) 되어 추정이 불가능하거나 분산이 불안정해질 수 있습니다.

2. 방법론 (Methodology)

이 논문은 Kim 과 Tam (2021) 의 '데이터 통합 (Data Integration, DI)' 추정량을 확장하여 모델 보조 데이터 통합 (Model Assisted Data Integration, MADI) 전략을 제안합니다.

• 기본 가정 및 구조:
  • 모집단 $U$를 두 부분으로 나눕니다:
    • $A$: NPD 가 포함된 부분 (연구 변수 $y_i$와 보조 변수 $x_i$를 모두 알고 있음).
    • $B$: NPD 가 포함되지 않은 부분 (확률 표본 $s_B$를 통해 데이터 수집).
  • $A$와 $B$는 $U$의 분할 (Partition) 을 이룹니다.
• 추정량 구성 (MADI Estimator):
  • MADI 추정량은 다음 세 가지 항의 합으로 구성됩니다:
    1. $A$ 집단의 총합: NPD 에 포함된 모든 단위의 $y_i$ 값을 직접 합산 ($t_A$).
    2. 모델 예측 총합: $B$ 집단에 대한 $y_i$의 총합을 머신러닝 모델 $\mu(x, A)$를 사용하여 예측 ($\sum_{i \in B} \mu(x_i, A)$).
    3. 오차 보정 항: 확률 표본 $s_B$를 사용하여 모델 예측 오차 ($e_i = y_i - \mu(x_i, A)$) 를 보정하는 항 ($\sum_{i \in s_B} \frac{e_i}{\pi_{iB}}$).
  • 수식: $\hat{t}_{y, MADI} = t_A + \sum_{i \in B} \mu(x_i, A) + \sum_{i \in s_B} \frac{y_i - \mu(x_i, A)}{\pi_{iB}}$
• 핵심 특징:
  • 모델 독립성: 머신러닝 모델 (랜덤 포레스트, 신경망 등) 을 자유롭게 사용할 수 있습니다. 모델은 NPD($A$) 로 훈련되고, 확률 표본($s_B$) 에서 평가됩니다.
  • 편향 제거 (Unbiasedness): 모델이 $A$에서 훈련되고 $s_B$에서 오차를 보정하는 구조 덕분에, 모델이 아무리 복잡하거나 과적합 (overfitting) 되더라도 **설계 기반 편향 (design-unbiased)**이 보장됩니다. 이는 GREG 와 같은 기존 방법론과 구별되는 가장 큰 특징입니다.
  • 분산 추정: 설계 기반의 편향 없는 분산 추정량도 함께 제시됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 표본 추출 전략 제안: NPD 를 활용하면서도 MAR 가정이 필요 없는, 설계 기반 편향 없는 새로운 추정량을 제안했습니다.
2. 머신러닝과의 안전한 통합: 머신러닝 모델의 과적합 위험을 표본 추출 설계 (확률 표본을 통한 오차 보정) 로 해결하여, 통계청의 생산 환경에 적합한 자동화된 방법을 제시했습니다.
3. 소규모 표본에서의 효율성: NPD 가 충분히 크다면, 확률 표본의 크기를 기존 방법 (HT, GREG) 에 비해 획기적으로 줄이면서도 높은 정밀도를 유지할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

스웨덴 통계청 (Statistics Sweden) 의 소득 및 과세 등록 데이터 (2021 년) 를 기반으로 한 시뮬레이션 연구를 수행했습니다.

• 시뮬레이션 1 (성능 비교):

  • 비교 대상: HT, GREG, Naïve RF(편향 발생), DI-estimator, MADI(OLS 및 RF 모델).
  • 결과:
    • 편향 (Bias): MADI 추정량 (OLS 및 RF 모두) 은 모든 표본 크기에서 편향이 거의 0 에 수렴했습니다. 반면, Naïve RF 는 편향이 발생했습니다.
    • 정밀도 (RMSE): MADI-RF(랜덤 포레스트 기반) 가 모든 시나리오에서 가장 낮은 RMSE 를 기록했습니다. 특히 소규모 표본 ($n < 400$) 에서 GREG 가 행렬 특이성 문제로 추정을 수행하지 못하거나 성능이 떨어지는 반면, MADI 는 안정적으로 우수한 성능을 보였습니다.
    • 커버리지 (Coverage): MADI 는 95% 신뢰구간 커버리지 확률을 잘 유지했습니다.

• 시뮬레이션 2 (필요 표본 크기 분석):

  • 목표: 변동계수 (CV) 를 1% 로 유지하기 위해 필요한 확률 표본의 크기를 비교.
  • 결과:
    • MADI-RF 전략은 다양한 선택 편향 시나리오 (심각한 편향, 무작위 편향, MNAR 등) 에서 기존 HT 및 GREG 보다 훨씬 적은 표본 크기로 목표 정밀도를 달성했습니다.
    • 예를 들어, GREG 는 약 269 개의 표본이 필요하다고 계산되었으나 (실제 적용 시 행렬 문제로 더 많은 표본 필요), MADI-RF 는 NPD 의 크기와 편향 정도에 따라 수십 명에서 수백 명 수준의 표본으로 충분했습니다.
    • 극단적인 편향 ($k=1, 2$) 상황에서도 MADI-RF 는 전통적인 HT 추정량보다 우월하거나 동등한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 통계 생산의 혁신: 통계청이 대규모 확률 표본 조사에 의존하던 방식을 탈피하여, 기존에 수집된 대규모 NPD 와 소규모 확률 표본을 결합하여 비용을 절감하고 응답 부담을 줄일 수 있는 이론적 토대를 마련했습니다.
• 실용성: 복잡한 머신러닝 모델을 사용하더라도 설계 기반의 편향 없는 추정과 분산 추정이 가능하므로, 통계 생산 프로세스에 통합하기 용이합니다.
• 향후 전망: NPD 의 크기가 충분하다면 신경망과 같은 고차원 모델도 활용할 수 있어, 보조 변수의 한계를 넘어선 더 정교한 통계 생산이 가능해집니다. 또한, NPD 의 측정 오차를 보정하기 위한 확률 표본 추출 등 추가 연구가 필요함을 제시했습니다.

요약하자면, 이 논문은 비확률 데이터의 선택 편향 문제를 해결하면서도 머신러닝의 예측 능력을 활용하여, 기존 방법론보다 훨씬 적은 비용과 표본으로 고품질의 공식 통계를 생산할 수 있는 'MADI'라는 새로운 프레임워크를 제안하고 실증적으로 입증한 연구입니다.