Selection on the Outcome: The Fraction of Nonresponse Bias That Survey Weighting Removes, with an Application to Subjective Well-Being

기술적 요약: 결과에 대한 선택과 설문 가중치 적용의 한계

문제 제기
단위 무응답(Unit nonresponse)은 사회 조사 추론에 있어 주요한 위협이며, 응답률은 수십 년간 하락해 왔다. 표준적인 해결책은 인구통계학적 보조 변수(예: 연령, 성별, 교육 수준)를 활용한 가중치 적용을 통해 대표성을 회복하는 것이다. 이 절차는 결측(missingness)이 관찰된 공변량에 의존한다는 가정에 기초한다. 그러나 많은 분야에서 참여 여부는 보조 변수가 아닌 조사 대상인 결과 변수 자체에 직접적으로 의존하며(이를 "결과에 대한 선택(selection on the own outcome)"이라 하며, "비무작위 결측(MNAR)" 메커니즘으로 알려져 있다), 가중치 적용만으로는 MNAR 문제를 완전히 해결할 수 없다는 점은 이미 확립되어 있다. 다만, 기존 문헌에는 가중치 적용 후에도 잔류하는 편향의 구체적인 크기가 얼마나 되는지에 대한 정량적 수치가 부족하다. 본 논문은 참여 확률이 보조 변수 $X$뿐만 아니라 결과 변수 $Y$에 직접적으로 의존하는 특정한 사례를 다룬다.

방법론 및 유도
본 논문은 특정 응답 메커니즘 하에서 표준 가중치 적용 시 살아남는 비응답 편향의 비율에 대한 폐쇄형 식(closed-form expression)을 유도한다.

1. 설정: $Y$를 관심 있는 결과 변수, 그 평균을 $\mu$, 분산을 $\sigma_Y^2$라 하자. $R$을 응답 지표, $\rho$를 응답 확률(propensity)이라 하자. 응답자 평균에서의 비응답 편향은 $B = E[Y|R=1] - \mu = \text{Cov}(\rho, Y) / \bar{\rho}$로 정의된다.
2. 응답 메커니즘: 응답 확률에 대한 선형 확률 모델을 상정한다: $\rho = \alpha + \beta Y + \gamma'X$. 여기서 $\beta > 0$는 웰빙(well-being)에 대한 참여의 직접적인 의존성을 나타내며, $\gamma'X$는 보조 변수에 대한 의존성을 나타낸다.
3. 가중치 효과: $X$에 대한 가중치 적용(사후 층화 또는 성향 점수 조정 등)은 $X$의 셀(cell) 간에 발생하는 성향과 결과 사이의 공분산 성분은 제거하지만, 셀 내부(within cells)에서 작동하는 성분은 그대로 남겨둔다.
4. 결과: $X$에 대해 조건화하면 $\gamma'X$ 항이 제거된다. 잔류하는 편향은 오직 $Y$에 대한 직접적인 의존성에 의해 결정된다. 본 논문은 가중치 적용 후 남아 있는 결과 의존적 편향의 비율을 다음과 같이 유도한다:
   $$\frac{B_W}{B_{direct}} = 1 - R^2_{Y \cdot X}$$
   여기서 $R^2_{Y \cdot X}$는 결과 $Y$를 가중치 보조 변수 $X$에 대해 회귀 분석했을 때의 결정계수이다.

주요 기여

1. 잔류 편향의 정량화: 본 논문은 결과 의존적 선택 상황에서 표준 가중치 적용이 실패하는 구체적이고 추정 가능한 크기를 제공한다. 이는 보정율(repair rate)이 단 하나의 수치, 즉 결과 변수의 분산 중 가중치 변수가 설명하는 비율에 의해 지배됨을 보여준다.
2. 일반화: 선형 벤치마크 모델에서 유도되었으나, 이를 비선형 응답 메커니즘으로 일반화하여(Proposition 2), 잔류 비율이 셀 내 공분산과 무조건적 공분산의 비율에 의해 결정됨을 입증하였다.
3. 지배적 파라미터의 식별: 본 논문은 웰빙 연구 분야가 이미 이 지배적 파라미터($R^2_{Y \cdot X}$)를 실질적인 이유(생활 환경이 감정에 얼마나 영향을 미치는지 결정하기 위해)로 추정하고 있음에도, 이를 설문 교정의 효용성과 연결 짓지 못했음을 지적한다.
4. 실증적 추정: General Social Survey(1972–2024)의 응답자 69,719명을 사용하여, 표준 가중치 변수가 보고된 행복의 분산을 단 **1.7%**만을 설명한다는 것을 추정하였다. 결과적으로, 가중치는 결과 의존적 편향의 2% 미만을 제거하며, 98% 이상의 편향을 해결하지 못한 채 남겨둔다.
5. 대조 사례: 국가 등록 데이터(보조 변수 포함, 의료 이용 현황 등)가 결과 변수(정신 질환)를 강력하게 예측했던 덴마크 건강 조사 사례를 통해 메커니즘을 검증하였다. 이 경우 $R^2$가 높았으며, 가중치 적용이 선택 편향을 성공적으로 회복하였음을 확인하였다. 이는 보조 변수가 응답을 예측하는 능력보다 결과 변수를 예측하는 능력이 교정의 핵심임을 입증한다.
6. 연구 관행 감사: 5개 웰빙 저널에 게재된 1,618개 논문을 체계적으로 감사한 결과, 72%가 설문 표본에 의존하고 있음에도 불구하고 초록에서 비응답, 탈락 또는 커버리지 문제를 언급한 논문은 1.1%에 불과했다. 이는 문제의 심각성과 학계의 인식 사이의 괴리를 극명히 보여준다.

결과 및 추론에 미치는 함의
본 논문은 문제의 심각성이 결과 변수가 인구통계학적으로 얼마나 패턴화되어 있는지에 따라 분야별로 다를 것이라고 주장한다.

• 주관적 웰빙(Subjective Well-Being): 사회적 인구통계학적 특성이 행복의 분산을 거의 설명하지 못하기 때문에 "불리한 극단"에 위치한다. 표준 가중치는 웰빙에 대한 선택 편향에 대해 거의 효과가 없다.
• 표준 추론에 미치는 영향: 잔류 편향이 구체적인 추론에 미치는 영향은 다음과 같다:
  • 국가 간 비교: 국가 간 응답률 차이는 서로 다른 잔류 편향을 초래하므로, 스칼라 불변성(scalar invariance)만으로는 평균의 비교 가능성을 보장할 수 없다.
  • 국가 추정치: 비정상적으로 낮은 국가 평균은 부분적으로 결과 의존적 비응답에 의한 인위적 결과일 수 있다.
  • 추세 및 집단 차이: 응답자 구성의 변화(예: 웰빙에 따른 차등적 참여)가 웰빙 자체의 변화처럼 보일 수 있다.
  • 연령 프로파일: 탈락과 사망은 웰빙이 높은 생존자를 선택하는 경향이 있어, 노년기의 행복을 과대평가할 수 있다.
  • 적응(Adaptation): 부정적 사건으로부터 회복하지 못한 이들이 이탈할 가능성이 높아, 적응 과정을 과대평가하게 된다.
  • 불평등: 선택 과정에서 분포의 하단부가 얇아짐으로써 웰빙의 불평등을 과소평가하게 된다.

의의 및 주장
본 논문은 웰빙 추정치를 폐기해야 한다거나 가중치 적용이 무용하다고 주장하는 것이 아니다. 대신 다음을 주장한다:

1. 가중치는 결과 의존적 선택을 해결하지 못한다: 가중치 적용된 평균이 결과에 대한 선택 편향까지 교정되었다고 해석해서는 안 된다.
2. 보정율은 낮고 예측 가능하다: 제거되는 편향의 비율은 정확히 보조 변수에 대한 결과 변수의 $R^2$와 같다. 웰빙의 경우, 이 값은 무시할 만한 수준(~1.7%)이다.
3. 해결책은 가중치 모델의 개선이 아니라 보조 변수의 측정에 있다: 참여에 대한 성향 모델을 개선하는 것은 도움이 되지 않는다. 보정율을 높이는 유일한 방법은 (덴마크 사례에서 보여준 것처럼) 결과를 예측하는 보조 변수(예: 행정 의료 기록이나 모집 시점의 간이 웰빙 스크리닝)를 사용하는 것이다.
4. 보고 표준이 바뀌어야 한다: 연구자들은 가중치 변수가 결과에 미치는 $R^2$를 보고해야 하며, 민감도 분석이나 최악의 경우 경계값 설정(worst-case bounding)을 통해 잠재적 편향의 범위를 제시하고, 기초선 웰빙에 따른 탈락 패턴을 보고해야 한다.

본 논문은 결론적으로, 해당 분야가 측정 척도에 대해서는 엄격히 검토해 왔으나 샘플링 프레임에 대해서는 대체로 간과해 왔다고 지적한다. 환경이 감정을 약하게 결정한다고 주장할 때 사용하는 바로 그 통계치가, 역설적으로 표준적인 교정법이 동일한 감정에 대한 선택 편향을 고칠 수 없음을 입증하는 척도가 된다.