A note on the optimum allocation of resources to follow up unit nonrespondents in probability

당신이 도시 전체의 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 당신은 오직 무작위로 선정된 소수의 사람들만을 인터뷰할 수 있습니다. 이것이 바로 정부와 연구자들이 들판에 양이 몇 마리 있는지부터 사람들이 자신의 직업에 대해 어떻게 느끼는지까지 모든 것을 이해하기 위해 사용하는 통계적 도구인 **확률 조사(probability surveys)**의 세계입니다. 큰 문제는 무엇일까요? 모든 사람이 문을 열어주지는 않는다는 점입니다. 어떤 이들은 탐정을 무시하고, 어떤 이들은 전화를 끊어버리며, 어떤 이들은 단순히 대화를 거부합니다. 이것을 **무응답(nonresponse)**이라고 부릅니다.

오랫동안 이러한 탐정들에게 적용되는 표준 규칙은 간단했습니다. "누군가 문을 열 때까지 응답하지 않는 모든 문을 두드려라." 목표는 "예"라고 답한 사람의 비율인 **응답률(response rate)**을 최대한 높이는 것이었습니다. 논리는 이렇습니다. 더 많은 사람과 대화할수록 도시의 모습이 더 선명해질 것이라는 것입니다. 하지만 통계학자들은 높은 응답률이 항상 고품질의 정보를 의미하는 것은 아니라는 사실을 깨달았습니다. 특정 지역의 사람들만 답변하게 된다면, 당신은 도시 전체에 대한 편향된 시각을 갖게 될 수도 있습니다. 즉, 단순히 더 많은 "예"라는 답변을 얻는 것이 목표가 아니라, 가진 예산 안에서 가장 정확한 답을 얻는 것이 진짜 목표입니다. 이 논문은 중요한 질문을 던집니다. 만약 당신에게 문을 두드릴 수 있는 한정된 예산이 있다면, 단순히 목소리가 가장 큰 결과가 아니라 가장 좋은 결과를 얻기 위해 예산을 어떻게 써야 할까요?

---

탐정의 딜레마: 왜 모든 문을 두드리는 것이 시간 낭비가 될 수 있는가

호주 통계청(ABS)과 같은 공식 통계의 세계에는 **비용(cost)**과 품질(quality) 사이의 고전적인 줄다리기가 존재합니다. 조사 통계학자들에게는 "무응답 후속 조치(Nonresponse Follow-up, NFU)"를 위한 예산, 즉 첫 번째 시도에 응답하지 않은 사람들을 추적하는 데 드는 비용과 시간이 할당되어 있습니다. 전통적인 전략은 이 예산을 사용하여 응답하지 않은 모든 사람을 추적하여 그들을 응답자로 만드는 것이었습니다. 생각의 핵심은 "응답자가 많을수록 데이터가 좋아진다"는 것이었습니다.

하지만 이 논문의 저자인 SM Tam, A Holmberg, S Wang은 이것이 마치 탐정이 사건을 더 빨리 해결할 수 있는 다른 단서들을 무시한 채, 단지 시도를 했다는 것을 보여주기 위해 협조적이지 않은 동일한 목격자를 계속해서 인터뷰하며 모든 돈을 쓰는 것과 같다고 주장합니다. 그들은 응답률이 데이터 품질의 나쁜 지표라는 점을 지적합니다. 때로는 응답률을 높이는 것이 오히려 편향을 유발하여 데이터를 더 나쁘게 만들 수도 있습니다.

저자들은 높은 응답률을 쫓는 대신, 새로운 전략인 평균 제곱 오차(Mean Squared Error, MSE) 최소화를 제안합니다. 쉽게 말해, MSE는 당신의 추측이 실제 정답과 얼마나 떨어져 있는지를 나타내는 척도입니다. 목표는 단순히 목소리를 높이는 것이 아니라, 당신의 최종 추정치가 진실에 최대한 가깝게 만들 수 있도록 후속 조치 예산을 사용하는 것입니다.

새로운 전략: "응답 동질성 그룹" 지도

이를 해결하기 위해 저자들은 마치 비디오 게임 공략법처럼 들리는 방법을 제-안합니다. 그들은 무응답자들을 **응답 동질성 그룹(Response Homogeneity Groups, RHGs)**이라는 그룹으로 나눕니다. 이 그룹들을 사람들이 가진 "대화 의지" 점수인 **성향 점수(propensity score)**가 유사한 이웃이라고 생각하십시오.

• 그룹 A: 정중하게 요청하면 매우 잘 응답할 가능성이 높은 사람들 (높은 성향).
• 그룹 B: 아무리 해도 응답하지 않을 매우 완고한 사람들 (낮은 성향).

논문은 당신이 모든 사람을 똑같이 대우해서는 안 된다고 주장합니다. 한정된 예산이 있다면, 다섯 번을 두드려도 소용없는 초고집 그룹 B의 마음을 돌리는 데 에너지를 낭비해서는 안 됩니다. 대신, 몇 번의 추가적인 노력이 실제로 새롭고 유용한 정보를 가져올 수 있는 그룹에 집중해야 합니다.

저자들은 **준 무작위화(quasi-randomisation)**와 **역 성향 가중치(inverse propensity weighting)**라는 수학적 프레임워크를 사용합니다. 당신이 군중의 사진을 찍고 있다고 상상해 보십시오. 앞줄에 서 있는 사람들만 촬영한다면 사진은 왜곡될 것입니다. 하지만 앞줄에 몇 명이 있는지, 그리고 그들이 앞으로 나올 가능성이 얼마나 되는지 정확히 알고 있다면, 수학적으로 사진을 "늘려서" 마치 모든 사람을 본 것처럼 만들 수 있습니다. 이 논문은 그 수학을 사용하여 누구에게 추가적인 방문 노력을 기울일지 결정할 것을 제안합니다 합니다.

양 농장 실험

이 아이디어를 테스트하기 위해 저자들은 호주의 **2018/19 농촌 환경 및 농업 상품 조사(REACS)**의 실제 데이터를 사용하여 시뮬레이션을 실행했습니다. 그들은 농장의 양의 수를 추정하려고 했습니다.

실험 설정은 다음과 같습니다:

1. 데이터: 4,696개의 농장을 살펴보았습니다. 3,525곳은 지속 농가(이전에 조사된 적이 있음)였고, 1,171곳은 신규 농가였습니다.
2. 예측: 각 농가가 응답할 가능성을 예측하기 위해 랜덤 포레스트(Random Forest)(의사결정 나무들의 팀처럼 작동하는 머신러닝의 일종)라는 컴퓨터 알고리즘을 사용했습니다. 신규 농가의 경우, "k-최근접 이웃(k-Nearest Neighbors)" 방식을 사용하여 기존 농가와 가장 유사한 농가를 찾아 행동을 예측했습니다.
3. 그룹화: 모든 무응답 농가를 응답 가능성에 따라 10개의 그룹(RHG)으로 분류했습니다. 범위는 "매우 낮음"(0%10% 확률)에서 "매우 높음"(90%100% 확률)까지입니다.
4. 예산: 가상의 후속 조치 예산을 $30,000로 설정했습니다.

결과: 더 열심히가 아닌, 더 똑똑하게 쓰기

저자들은 양의 수를 추정할 때 발생하는 오차를 최소화하면서 예산을 초과하지 않도록 하는 완벽한 방문 횟수를 찾아내기 위해 컴퓨터 솔버(초스마트 계산기 같은 것)를 사용했습니다.

기존 방식 (일반적인 관행):
만약 모든 문을 똑같은 횟수로 두드린다면, 당신은 결과가 나오지 않는 초고집 농장에 너무 많은 시간을 쓰고, 정작 도움이 될 만한 "그럴듯한" 농장에는 충분한 시간을 쓰지 못할 수 있습니다. 시뮬레이션에서 이 "일률적인" 접근 방식은 $30,000를 소모했고 99%의 응답률을 기록했습니다. 그러나 양의 수에 대한 오차는 여전히 상대적으로 높았습니다.

새로운 방식 (최적 배분):
저자들의 방법은 매우 다른 계획을 제시했습니다:

• "매우 낮은" 그룹을 위해: 첫 번째 그룹에는 6번, 두 번째 그룹에는 5번 방문합니다. 이 그룹들은 데이터의 분산(variance)이 커서 전체 추정치의 불확실성에 가장 많이 기여합니다. 이곳에 더 많은 방문을 할당함으로써, 오차를 가장 많이 줄일 수 있는 특정 그룹을 공략합니다.
• "매우 높은" 그룹을 위해: 단 1번만 방문합니다. 이 사람들은 이미 응답할 가능성이 높으므로, 6번이나 두드려 돈을 낭비할 필요가 없습니다.
• 비용: 이 스마트한 전략은 단 $19,640(예산의 약 3분의 2)만 소모했습니다.
• 결과: 더 적은 돈을 썼음에도 불구하고, **무응답 분산(nonresponse variance)**을 57.77십억 단위에서 38.21십억 단위로 줄였습니다.

커다란 반전:
"일반적인 관행"은 99%의 응답률을 얻었지만, "최적 전략"은 97%의 응답률을 얻었습니다.

• 일반적인 관행: 응답률 99%, 더 높은 오차, 비용 $30,000.
• 최적 전략: 응답률 97%, 더 낮은 오차, 비용 $19,640.

이 논문은 99%의 응답률이 "가짜 승리"였다는 것을 보여줍니다. 그것은 인상적으로 보였지만, 더 많은 돈이 들었고 실제로 양의 개체수에 대해 덜 정확한 그림을 제공했습니다. 최적의 배분 방식은 돈을 덜 쓰면서도 무응답 분산을 약 3.9% 감소시켰습니다. (참고: 논문에서 언급된 10.4% 감소는 후속 조치를 전혀 하지 않았을 때와 비교한 평균 제곱 오차(RMSE)의 감소율이며, 표준 방식과의 비교가 아닙니다.)

이것이 미래에 의미하는 바

저자들은 높은 응답률을 쫓는 것이 함정이라고 결론짓습니다. 그것은 마치 실제로 이겼는지 확인하는 대신, 단순히 "체크!"라고 외친 횟수만 세어서 게임에서 이기려는 것과 같습니다.

그들의 연구 결과는 조사 통계학자들이 모든 무응답자를 전환하려고 애쓰는 것을 멈춰야 함을 시사합니다. 대신, 어떤 그룹에 약간의 추가적인 압박이 필요한지, 그리고 어떤 그룹은 이미 괜찮은지를 파악하기 위해 데이터를 사용해야 합니다. **평균 제곱 오차(MSE)**를 가장 많이 줄일 수 있는 곳에 따라 자원을 배분함으로써, 기관들은 더 적은 비용으로 더 나은 데이터를 얻을 수 있습니다.

특정 양 조사 사례의 경우, 최적 배분 방식은 아무것도 하지 않았을 때보다 오차를 크게 줄였고, 표준적인 "모든 문을 두드리는" 방식과 비교해서도 작지만 의미 있는 차이로 오차를 줄이면서 동시에 수천 달러를 절약했습니다. 이 논문은 이것이 모든 문제에 적용되는 마법의 탄환이라고 주장하는 것이 아니라, 후속 조치를 더 똑똑하게 만드는 명확하고 수학적으로 근거 있는 방법을 제공함으로써, 때로는 언제 문을 두드리는 것을 멈춰야 하는지를 아는 것이 언제 시작해야 하는지를 아는 것만큼 중요하다는 것을 증명하고 있습니다.