A Unified Bayesian Model for Voter Turnout Estimation: Combining Surveys, Aggregate Data, and Selection Correction

위대한 투표자 추측 게임

당신은 거대하고 비밀스러운 파티에 정확히 누가 올 것인지를 알아내려고 노력 중이라고 상상해 보세요. 모든 사람에게 직접 물어볼 수는 없습니다. 대부분의 사람은 문을 열어주지 않을 것이고, 간혹 문을 열어주는 소수의 사람조차 실제로는 집에 머물 계획이면서도 매우 열정적으로 참여할 것이라고 거짓말을 할 수도 있기 때문입니다. 이것이 정치학자들이 **투표율(voter turnout)**을 이해하기 위해 겪는 일상적인 골칫거리입니다. 그들에게는 두 가지 주요 도구가 있지만, 둘 다 결함이 있습니다. 첫째로, **설문조사(surveys)**가 있습니다. 사람들에게 무엇을 할 계획인지 묻는 방식이죠. 문제는 질문에 답하는 사람들이 대개 정치에 관심이 많은 사람들이며, 이들은 자신의 열정을 과장하는 경향이 있다는 점입니다(마치 소셜 미디어에서 사람들이 실제 운동하는 것보다 더 열심히 운동하는 것처럼 포스팅하는 것과 비슷합니다). 둘째로, **공식 집계(official counts)**가 있습니다. 이는 도시나 지역 전체에서 얼마나 많은 사람이 투표했는지를 정확히 알려주지만, 그 사람들이 누구였는지는 알 수 없습니다. 이는 파티에서 총 몇 조각의 피자가 먹혔는지는 알지만, 어떤 손님이 페퍼로니를 먹었고 어떤 손님이 치즈만 먹었는지는 모르는 것과 같습니다.

이를 해결하기 위해 과학자들은 **다층 회귀 및 사후 층화(Multilevel Regression and Poststratification, MRP)**라고 불리는 방법을 사용합니다. 이것은 인구 조사 데이터(그곳에 사는 모든 사람의 명단)를 사용하여 인구의 거대한, 상세한 지도를 만든 다음, 설문조사 데이터를 사용하여 그 위에 "투표"라는 그림을 그려 넣는 과정이라고 생각하면 됩니다. 하지만 설문조사 데이터는 지저열하고 편향되어 있기 때문에, 완성된 그림은 종종 흐릿하거나 잘못될 수 있습니다. 에스토니아 연구진이 작성한 이 논문은 큰 질문을 던집니다. "우리가 지저분한 설문 답변과 완벽한 공식 집계치를 결합하여, 정확히 누가 투표하고 누가 투표하지 않는지에 대한 결정적이고 투명한 그림을 얻을 수 있는 더 똑똑하고 통합된 방법을 만들 수 있을까?" 그들은 단순히 전체 숫자를 추측하는 것을 넘어, 청년층, 다양한 민족, 혹은 교육 수준이 다른 이들과 같은 특정 집단의 구체적인 습관을 이해하는 단계로 나아가고자 합니다.

세 가지 새로운 모델: 탐정의 도구 상자

저자들은 새로운 "베이지안(Bayesian)" 프레임워크를 제안하는데, 이는 수학적 시스템이 새로운 증거를 볼 때마다 자신의 믿음을 업데이트한다는 뜻의 멋진 표현입니다. 그들은 투표율의 미스터리를 풀기 위해 각각 이전 단계보다 더 복잡한 세 가지 서로 다른 탐정 도구(모델)를 구축했습니다.

1. "생태학적" 탐정 (EI 모델)
첫 번째 도구는 다층 생태적 추론(Multilevel Ecological Inference, EI) 모델입니다. 당신이 혼합 사탕 한 봉지(도시 전체의 공식 투표수)를 가지고 있고, 그 봉지의 정확한 레시피(그곳에 아이들, 성인, 노인이 얼마나 사는지 보여주는 인구 조사 데이터)를 알고 있다고 상상해 보세요. 이 모델은 봉지의 전체 무게를 보는 것만으로 각 사탕 종류가 얼마나 먹혔는지 추측하려고 시도합니다. 이 모델은 알려진 인구 구조를 활용하여 교육적인 추측을 하기 때문에 영리하지만, 여전히 "큰 그림"에만 의존하여 추측하므로 오류를 범할 수 있습니다(예를 들어, 특정 동네의 모든 사람이 똑같이 투표했다고 가정하는 것과 같습니다).

2. "여론조사와 차이" 탐정 (PM 모델)
두 번째 도구인 여론조사와 차이(Poll-and-Margin, PM) 모델은 이 논문의 주인공입니다. 이 모델은 두 명의 목격자로부터 동시에 이야기를 듣는 탐정처럼 행동합니다. 즉, 설문 응답자(거짓말을 하거나 과장할 수 있는 사람들)와 공식 투표 집계자(정확하지만 침묵하는 사람들)를 말이죠. PM 모델은 이들을 별개로 취급하는 대신, 그들이 하나의 이야기로 합치도록 강제합니다. 이 모델은 공식 투표 총수를 사용하여 설문 데이터를 "고정(anchor)"합니다. 즉, "좋아, 설문조사는 90%의 사람들이 투표할 계획이라고 하지만, 공식 집계는 70%만이 투표했다고 한다. 그렇다면 수학적으로 맞도록 설문의 과장된 부분을 조정하자"라고 말하는 식입니다.
테스트 결과, 이 모델은 현재 가장 뛰어난 방법(Ghitza-Gelman이라 불리는 방식)보다 크게 개선되었습니다. 시뮬레이션에서 이 모델은 Ghitza-Gelman 벤치마크에 비해 중앙값 쿨백-라이블러(Kullback-Leibler, KL) 발산을 약 30% 감소시켰습니다. 이는 마치 흐릿한 사진을 선명한 참조 이미지를 사용하여 초점을 맞추는 것과 같습니다. 저자들은 이 모델이 기존의 2단계 방식보다 불확실성을 훨씬 더 잘 처리하기 때문에, 이것이 정치 분석가들의 새로운 표준이 되어야 한다고 제в 제안합니다.

3. "전체 선택" 탐정 (FS 모델)
세 번째 도구인 전체 선택(Full Selection, FS) 모델은 가장 야심 찬 모델입니다. 이 모델은 문제의 근본 원인, 즉 왜 잘못된 사람들이 처음에 설문에 응했는지를 해결하려고 합니다. 이 모델은 **헥만 선택 수정(Heckman selection correction)**이라는 통계적 기법을 사용합니다. 설문조사를 하나의 클럽과 그 클럽의 문지기라고 상상해 보세요. FS 모델은 문지기의 비밀 규칙(예: "나는 스포츠를 좋아하는 사람만 들여보낸다")을 알아내려 노력하고, 그 후 수학적으로 데이터를 "문지기 없는 상태"로 되돌려 전체 군중이 어떤 모습인지 파악합니다.
이 모델은 시뮬레이션에서 가장 좋은 결과를 보였으며, 특히 설문 조사가 매우 편향되었을 때(예: 인구의 **21%**만이 조사관과 대화할 의사가 있었던 경우) 더욱 그러했습니다. 이러한 어려운 상황에서 FS 모델의 중앙값 KL 발산은 Ghitza-Gelman 벤치마크보다 57% 더 낮았습니다. 하지만 여기에는 주의점이 있습니다. 이 모델은 매우 민감합니다. 제대로 작동하려면 설문이 얼마나 편향되었는지에 대한 "영리한 추측(informative priors)"을 입력받아야 합니다. 만약 설문의 편향이 모델이 예상하지 못한 무작위적인 노이즈에 의해 발생한다면, FS 모델의 이점은 사라집니다.

발견한 것 (그리고 발견하지 못한 것)

연구진은 에스토니아의 실제 인구 조사 데이터를 기반으로 한 방대한 시뮬레이션을 사용하여 이 모델들을 테스트했습니다. 그들은 "진실"을 알고 있는 가짜 선거 시나리오를 만들고, 어떤 모델이 진실에 가장 근접하는지 확인했습니다.

• 승자: 시뮬레이션에서 전체 선택(FS) 모델이 가장 정확했으며, 그 뒤를 여론조사와 차이(PM) 모델이 바짝 뒤쫓았습니다. 두 모델 모두 분포 거리 지표 측면에서 기존의 최첨단 방식(Ghitza-Gelman)보다 유의미하게 우수했습니다.
• 현실 점검: 이 모델들을 2023년 에스토니아 의회 선거에 적용했을 때, 결과는 다소 엇갈렸습니다. PM 모델은 확인할 수 있는 데이터에 대해 기존의 최선책들과 매우 유사한 성능을 보였습니다. FS 모델은 설문이 얼마나 편향되었는지에 대한 "영리한 추측(priors)"을 사용했을 때만 약간의 개선을 보여주었습니다. 이러한 특정 추측 없이는 FS 모델은 PM 모델과 동일한 성능을 보였습니다.
• 경고: 저자들은 FS 모델의 초능력이 설문 조사가 "무작위로 접촉(randomly contacted)"되어야 하고(예: 무작위 명단에 대한 전화 통화) 응답률에 대한 어느 정도의 정보가 있어야 한다는 점에 달려 있다고 주의를 줍니다. 만약 설문 데이터가 모델이 예상하지 못한 방식(예: 무작위 노이즈)으로 지저분하다면, FS 모델의 우위는 사라집니다.

결론

이 논문은 투표의 미스터리를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 더 나은 도구 상자를 제공합니다. 여론조사와 차이(PM) 모델은 거의 모든 상황에서 신뢰할 수 있고 견고한 업그레이드 버전으로 제시되며, 설문 데이터와 공식 집계를 결합하는 더 깔끔한 방법을 제공합니다. 전체 선택(FS) 모델은 어렵고 편향된 상황에서 추가적인 정확도를 짜낼 수 있는 강력하고 특화된 도구이지만, 제대로 작동하기 위해서는 세심한 관리와 구체적인 가정이 필요합니다.

저자들은 이 방법들을 사용하는 사람이라면 PM 모델과 FS 모델을 모두 실행하고 결과를 비교할 것을 권장합니다. 만약 두 결과가 일치한다면, 당신은 그 결과를 신뢰할 수 있습니다. 만약 결과가 다르다면, 그것은 데이터가 너무 지저분하거나 가정이 너무 취약하여 단 하나의 답만을 믿기에는 위험하다는 신호입니다. 이는 정치학의 세계에서, 아무리 뛰어난 수학이라 할지라도 건강한 회의론이 필요하다는 점을 상기시켜 줍니다.