Correcting for Nonignorable Nonresponse Bias in Ordinal Observational Survey Data

위대한 설문조사의 미스터리: 나타나지 않는 사람들이 가장 중요한 이유

당신이 도시의 모든 사람의 평균 키를 추측하려고 한다고 상상해 보세요. 당신은 광장에 서서 지나가는 사람들에게 "키가 어떻게 되세요?"라고 묻습니다. 멈춰 서서 대답하는 대부분의 사람은 평균적인 키를 가지고 있습니다. 하지만 아주 키가 큰 사람들은 높은 선반에 손을 뻗느라 너무 바쁘고, 아주 키가 작은 사람들은 우산 아래 숨어 있습니다. 만약 당신이 대화하기 위해 멈춰 선 사람들만 센다면, 당신의 추측은 틀릴 것입니다. 이것이 바로 설문의 무응답 편향(nonresponse bias) 문제입니다. 정치학 및 사회 연구 분야에서 과학자들은 경제부터 행복에 이르기까지 모든 것에 대해 사람들이 어떻게 생각하는지 이해하기 위해 설문에 의존합니다. 하지만 점점 더 많은 사람이 설문 전화를 무시하거나 온라인 양식을 건너뛰면서, 연구자들은 응답하는 사람들이 응답하지 않는 사람들과는 다를 수 있다는 점을 우려하고 있습니다.

보통 과학자들은 이 문제를 해결하기 위해 답변에 '가중치(weighting)'를 부여하려고 노력합니다. 만약 실제 세상보다 설문에 참여한 젊은 층의 비율이 적다면, 그저 젊은 사람들의 답변을 더 비중 있게 계산하여 저울의 균형을 맞추는 식입니다. 이는 대화하는 사람과 침묵하는 군중 사이의 유일한 차이가 연령이나 성별일 때 매우 효과적입니다. 하지만 만약 그 침묵 자체가 단서라면 어떨까요? 만약 응답을 거부하는 사람들이 특별히 불행하거나, 화가 났거나, 불만족스러워서 침묵하고 있는 것이라면 어떨까요? 이를 **비무시적 무응답(nonignorable nonresponse)**이라고 합니다. 이는 마치 광장의 침묵하는 사람들이 단순히 바쁜 것이 아니라, 자신의 키에 대해 부끄러워하며 숨어 있는 것과 같습니다. 만약 당신이 그들이 왜 숨어 있는지 고려하지 않는다면, 아무리 많은 젊은이를 더 많이 계산하더라도 당신의 수학적 결과는 틀리게 될 것입니다. 이것이 바로 라페르스(Lafférs), 민탈(Mintal), 수토리스(Sutóris)의 논문이 해결하고자 하는 까다로운 퍼즐입니다.

논문: "협조도 측정기"로 침묵하는 군중을 포착하기

2026년에 발표된 이 논문의 저자들은 응답하지 않는 사람들이 응답하는 사람들과 다를 때, 특히 답변이 단순히 "예/아니오"가 아니라 척도(예: "매우 행복함"에서 "매우 불행함"까지)를 따를 때 이를 해결할 수 있는 새로운 수학적 도구를 구축했습니다.

표준적인 설문을 "점수 맞히기 게임"이라고 생각해 보세요. 보통 누군가 게임에 나타나지 않으면 심판은 그들을 그냥 무시합니다. 하지만 이 논문은 심판이 "누락된 선수들"이 어떤 점수를 받았을지 추측하기 위해 "협조도 측정기(Cooperation Meter)"를 살펴볼 수 있다고 제안합니다. 이들의 방법에서, 저자들은 인터뷰 후에 던지는 질문, 예를 들어 "이 대화가 즐거웠나요?" 또는 "얼마나 협조적이었나요?"와 같은 질문을 사용합니다. 이것이 바로 **응답 성향 대리 지표(response-propensity proxy)**입니다. 이는 대화에 참여한 사람들이 남긴 단서입니다.

저자들은 만약 인터뷰를 싫어했던 사람들(낮은 협조도)이 삶의 만족도에 대해서도 낮은 점수를 주는 경향이 있다면, 설문에 전혀 응답하지 않은 사람들(협조도 0)은 아마도 훨씬 더 낮은 점수를 주었을 것이라는 점을 깨달았습니다. 그들은 이 점들을 연결하는 공식을 만들었습니다. 이는 놀이기구를 기다리는 줄을 보는 것과 같습니다. 줄 맨 앞에 있는 사람들(놀이기구를 좋아했던 사람들)이 웃고 있고, 줄 맨 뒤에 있는 사람들(간신히 참았던 사람들)이 찌푸리고 있다면, 줄에 아예 나타나지 않은 사람들은 아마도 훨씬 더 심하게 찌푸리고 있었을 것이라고 추측할 수 있는 것과 같습니다.

그들이 발견한 것: 모든 설문에 구원자가 필요한 것은 아니다

연구팀은 약 3,000명의 방대한 데이터를 포함하는 2024년 미국 선거 연구(ANES) 데이터를 사용하여 이 새로운 도구를 테스트했습니다. 그들은 약 65%의 사람들이 설문에 응답하지 않는 시나리오(현대 설문 조사에서 매우 현실적인 수치)를 시뮬레이션했습니다. 그런 다음 "협조도 측정기" 방법을 사용하여 침묵하는 65%가 무엇이라고 말했을지 추측했습니다.

결과는 "와, 모든 것을 바꾸어 놓았다"와 "음, 별 차이 없다"가 섞여 있었습니다.

• 큰 변화 (삶의 만족도): 사람들이 삶에 얼마나 만족하는지를 보았을 때, 보정 작업은 엄청난 차이를 만들어냈습니다. 조정되지 않은 설문은 대부분의 사람이 "매우" 또는 "극도로" 만족한다고 나타냈습니다. 하지만 저자들이 침묵하는 불행한 군중을 고려한 후에는 그림이 바뀌었습니다. 보정된 데이터는 실제로는 훨씬 더 큰 비중의 인구가 "약간 만족"하거나 "전혀 만족하지 않음" 상태에 있다는 것을 보여주었습니다. 수학적 계산은 인터뷰를 싫어하는 것과 불행한 삶 사이의 강한 상관관계(약 0.47)를 보여주었습니다. 결국, 대화하기를 귀찮아했던 사람들이 전체 평균 행복도를 끌어내리고 있었던 것입니다.
• 작은 변화 (경제): 국가 경제가 좋아지고 있는지 나빠지고 있는지에 대한 질문을 보았을 때, 보정 작업은 거의 영향을 미치지 못했습니다. 인터뷰를 싫어하는 것과 경제가 나쁘다고 생각하는 것 사이의 연결 고리는 매우 약했습니다(상관관계가 0.14에 불과함). 침묵하는 군중을 포함하든 아니든, 설문 결과는 거의 동일하게 유지되었습니다.
• "변화 없음" 구역: 사형 제도, 낙태, 또는 언론에 대한 신뢰에 관한 질문에 대해서는 보정이 거의 아무런 역할도 하지 못했습니다. 침묵하는 군중은 이러한 주제에 대해 대화하는 군중과 다른 의견을 가진 것으로 보이지 않았습니다.

핵심 요점: 모든 상황에 적용되는 정답은 없다

이 논문의 주요 교훈은 설문 편향을 수정하는 것이 모든 질문에 마법처럼 작동하는 지팡이가 아니라는 점입니다. 저자들은 각 주제를 개별적으로 확인해야 함을 보여줍니다. 삶의 만족도와 같은 어떤 주제의 경우, 대화를 거부하는 사람들은 매우 다른 현실을 숨기고 있으며, 그들을 무시하는 것은 잘못된 그림을 제공합니다. 반면 경제나 사형 제도에 대한 의견과 같은 다른 주제의 경우, 대화하는 사람들과 대화하지 않는 사람들은 거의 비슷하게 생각하는 것처럼 보입니다.

저자들은 단순히 추측한 것이 아니라, 자신들의 수학적 모델이 기존 방식보다 더 잘 작동한다는 것을 증명하기 위해 컴퓨터 시뮬레이션을 실행했고, 그 후 실제 데이터에 적용했습니다. 그들은 자신들의 새로운 방법이 강력하지만, "협조도 측정기"(예를 들어 인터뷰를 얼마나 좋아했는지)가 실제로 많이 변하고 누가 기꺼이 대화할 의사가 있는지를 명확하게 신호할 때 가장 유용하다는 것을 발견했습니다. 만약 측정기가 움직이지 않는다면, 그 방법으로는 침묵하는 사람들이 무엇을 생각하는지 추측할 수 없습니다.

요약하자면, 이 논문은 연구자들에게 설문의 침묵이라는 커튼 뒤를 엿볼 수 있는 새롭고 실용적인 방법을 제공합니다. 이는 때때로 "노 코멘트"라고 말하는 사람들이 가장 중요한 목소리일 수 있지만, 그들이 남긴 단서를 우리가 알고 있을 때만 가능하다는 것을 알려줍니다.