Toward design-based inference for data integration

기술적 요약: 데이터 통합을 위한 설계 기반 추론을 향하여

문제 제기
비확률 표본 (예: 자발적 응답, 행정 데이터) 을 유한 모집단 추론에 통합하는 것은 공식 통계에서 점점 더 커지는 도전 과제입니다. 전통적인 접근법은 일반적으로 결측 무작위 (MAR) 가정 하에서 알려지지 않은 선택 확률을 모델링하는 데 의존하며, 종종 역확률 가중치 (IPW) 또는 이중 강건 (DR) 추정량을 사용합니다. 그러나 이러한 방법들은 세 가지 중요한 한계에 직면해 있습니다:

1. 검증 불가능한 가정: 결측 무작위 (MAR) 가정과 양의 조건 (positivity condition) 은 특히 선택이 관측되지 않은 변수나 연구 결과 자체 (결측 비무작위, NMAR) 에 의존할 때 실용적으로 검증하기 어렵습니다.
2. 중복 및 효율성: 동일한 모집단에서 확률 표본과 비확률 표본을 별도로 추출하는 독립 표본 추출 프레임워크에서는 중첩이 불가피합니다. 이로 인해 관측치가 중복되고 추정 효율성이 감소합니다.
3. 융합의 복잡성: 독립 표본을 결합하는 것은 종종 최적 선택이 드물고 실용적으로 분산을 최소화하기 어려운 추정된 분산에 의존하는 융합 조정 매개변수 (예: 가중치 $\alpha$) 를 필요로 합니다.

방법론: 순차적 설계 기반 프레임워크
저자들은 비확률 표본 ($S_{np}$) 을 **완전히 관측된 확정 층 (certainty stratum)**으로 간주하는 순차적 표본 추출 프레임워크를 제안합니다. 확률 표본 ($S_p$) 은 비확률 표본에 포함되지 않은 보완 집합 ($U_1 = U \setminus S_{np}$) 의 단위들로부터 exclusively 추출됩니다.

이 접근법은 $S_{np}$의 선택 메커니즘을 모델링할 필요가 완전히 제거되는데, 그 이유는 포함 확률이 사실상 1 이기 때문입니다. 이 프레임워크 내에서 두 가지 일반화 회귀 (GREG) 추정량이 개발됩니다:

1. 분리 GREG 추정량 ($\hat{Y}_{sepDI}$): 보완 층 $U_1$ 내에서 결과 회귀 모델을 별도로 적합합니다.
2. 결합 GREG 추정량 ($\hat{Y}_{comDI}$): 층 간 동질성을 가정하여 $S_{np}$와 $S_p$를 모두 통합하여 단일 회귀 계수를 추정합니다.

효율성을 향상시키기 위해 비확률 표본은 분산 성분을 추정하는 **파일럿 (pilot)**으로 기능합니다. 작동하는 초모집단 (superpopulation) 모델 하에서, 이러한 추정치는 결과의 조건부 표준 편차에 비례하는 $S_p$의 2 단계 포함 확률을 구성하는 데 사용됩니다 (Isaki–Fuller 최적성). 계수 동질성에 대한 진단 검사가 분리 및 결합 추정량 간의 선택을 안내하기 위해 제안됩니다.

주요 기여
이 논문은 두 가지 명확하고 계층화된 이론적 기여를 제공합니다:

1. 추론의 강건성 (설계 일관성):
   저자들은 표준 정규성 조건 하에서 분리 및 결합 GREG 추정량 모두 **설계 일관성 (design-consistent)**을 갖는다고 입증합니다. 중요하게도, 이 일관성은 비확률 표본의 선택 메커니즘에 대한 어떤 가정도 없이 성립합니다. 추정량은 MAR 및 NMAR 조건 하에서 모두 유효하게 유지됩니다. 이 강건성은 구조적입니다: $S_{np}$를 확정 층으로 취급함으로써 알려지지 않은 선택 확률이 추정량에 결코 들어오지 않게 되어 비확률 메커니즘의 모델링이 불필요해집니다. 일관된 플러그인 분산 추정량도 제공됩니다.

2. 설계의 점근적 최적성:
   두 층 모두에서 성립하는 작동 초모집단 모델 (이는 MAR 보다 엄격하게 강한 조건) 하에서, 파일럿 비확률 표본은 분리 추정량에 대해 Isaki–Fuller 점근적 최적성을 달성하는 2 단계 포함 확률의 구성을 가능하게 합니다. 저자들은 이러한 최적성이 강력한 모델 가정에 의존하지만, 이러한 가정의 실패가 첫 번째 기여의 설계 일관성이나 분산 추정 결과를 무효화하지는 않는다고 강조합니다. 따라서 파일럿 기반 설계는 추론의 유효성을 훼손하지 않으면서 잠재적인 효율성 향상을 제공합니다.

결과
이 논문은 리투아니아 공식 통계 (서비스 기업 매출액 및 약국 의약품 판매) 를 사용한 광범위한 시뮬레이션 연구와 두 가지 실제 데이터 적용을 통해 이러한 기여를 검증합니다.

• 시뮬레이션 결과:

  • MAR 하에서: 두 순차적 추정량과 표준 성향 조정 경쟁자 (IPW, DR) 모두 잘 수행되지만, 순차적 추정량은 일반적으로 더 낮은 평균 제곱근 오차 (RMSE) 를 달성하고 독립 표본 추출의 중복성을 피합니다.
  • NMAR 하에서: 순차적 추정량은 선택 메커니즘이 결과에 의존할 때 본질적으로 편향되지 않으며 잘 교정된 분산 추정치와 명목상 95% 신뢰구간 커버리지를 유지합니다. 이와 대조적으로, 성향 기반 경쟁자 (IPW, DR, 융합 추정량) 는 선택 메커니즘이 결과에 의존할 때 심각한 편향 (상대 편향 4.5% 초과) 을 보입니다.
  • 설계 효율성: 파일럿 분산 추정을 사용하여 추정된 최적 설계는 등확률 설계보다 훨씬 우수하며, 불안정성과 높은 RMSE 를 보인 크기 비례 확률 (PPS) 설계보다 훨씬 우월합니다.

• 실제 데이터 적용:

  • 매출액 데이터 (높은 이질성): 행정 파일럿 표본이 대기업들을 과대표집한 적용 사례에서 분리 회귀 추정량이 선호되었습니다. 층 간 강한 이질성으로 인해 결합 추정량은 효율성이 낮았습니다.
  • 약국 데이터 (낮은 이질성): 자발적 표본과 보완 집합이 유사한 적용 사례에서 결합 추정량은 계수 동질성에 대한 통계적 검정이 기각되었음에도 불구하고 (대규모 표본에서 사소한 차이조차 감지되는 일반적인 현상) 분리 추정량보다 modest 한 효율성 향상을 제공했습니다.

의의 및 주장
이 논문은 순차적 프레임워크가 모델 의존적 데이터 통합 방법에 대한 강건한 대안을 제공한다고 주장합니다. 알려지지 않은 선택 확률을 모델링하는 것에서 설계 기반 층화 접근법으로 초점을 이동시킴으로써, 이 방법은 선택이 NMAR 일 때에도 유효한 추론을 보장합니다.

저자들은 두 가지 기여를 "결합된 것이 아니라 계층화된 것"으로 위치시킵니다: 추론의 유효성 (설계 일관성) 은 선택 메커니즘에 관계없이 보장되는 반면, 효율성 향상 (Isaki–Fuller 최적성) 은 작동 모델에 조건부입니다. 이 논문은 순차적 접근법이 검증 불가능한 가정과 조정 매개변수의 필요성을 제거하여, 특히 비확률 소스가 크고 선택 메커니즘이 알려지지 않거나 복잡한 시나리오에서 비확률 데이터를 공식 통계에 통합하기 위한 투명하고 실행 가능한 해결책을 제공한다고 결론지었습니다.