When Bayes goes bad: Weakly-regularized covariate adjustment leads to a biased estimate of prevalence

이 논문은 **"통계학자가 만든 정교한 예측 모델이, 변수를 더 추가할수록 오히려 엉뚱한 결론을 내리는 기이한 현상"**을 발견하고 그 원인을 파헤친 이야기입니다.

한마디로 요약하면: **"모델을 더 똑똑하게 만들려고 노력했는데, 오히려 더 멍청해져서 실제보다 훨씬 적은 감염자가 있다고 착각하게 된 사건"**입니다.

이 복잡한 이야기를 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 상황 설정: "감기 검사"와 "부족한 데이터"

2020 년 말, 멜버른이라는 도시에서 코로나19 항체가 있는 사람이 얼마나 될지 (유병률) 조사했습니다. 하지만 모든 사람을 검사할 수는 없으니, 혈액 기증자 4,800 명을 뽑아 검사했습니다.

• 문제점 1 (샘플 편향): 혈액 기증자는 일반 인구와 다를 수 있습니다. (예: 젊은 층이 많거나, 건강에 관심 많은 사람들일 수 있음).
• 문제점 2 (검사 오류): 검사 키트도 완벽하지 않습니다. (진짜 감염자를 놓치는 경우나, 건강한 사람을 감염자로 오진하는 경우).

통계학자들은 이 두 가지 문제를 해결하기 위해 **MRP(다단계 회귀 및 사후층화)**라는 고급 모델을 사용했습니다. 이 모델은 "우리가 뽑은 샘플을 인구 전체로 어떻게 보정할지"와 "검사 오류를 어떻게 수정할지"를 동시에 계산합니다.

2. 이상한 현상: "변수를 더 넣을수록 숫자가 줄어든다"

통계학자들은 모델을 단계별로 복잡하게 만들었습니다.

• 1 단계: 그냥 평균만 계산.
• 2 단계: 지역별 차이를 고려.
• 3 단계: 소득 수준, 성별, 나이 등을 모두 고려.

그런데 놀라운 일이 벌어졌습니다. 변수 (설명할 요소) 를 더 추가할수록, 추정된 감염자 비율이 계속 떨어졌습니다. 처음에는 1% 정도라고 했는데, 모델을 복잡하게 만들자 0.1% 로 뚝 떨어졌습니다.

"아마도 모델이 더 정교해져서 진짜 사실에 가까워진 걸까?"라고 생각했지만, 너무 극단적으로 줄어들어서 의심이 갔습니다. 마치 "비밀을 더 많이 알수록, 그 비밀이 아예 존재하지 않는 것 같아지는" 기이한 상황이었죠.

3. 수사 시작: 왜 이런 일이 일어날까? (세 가지 가설)

저자들은 이 현상의 원인을 찾기 위해 세 가지 가설을 세우고 시뮬레이션 (가상 실험) 을 했습니다.

가설 1: "희귀한 사건을 다루는 실수인가?" (Rare-events bias)

• 비유: 주사위를 10 번 던져서 '6'이 나올 확률을 계산할 때, '6'이 한 번도 안 나오면 "아마도 6 이 나올 확률은 0 이겠지"라고 잘못 추정하는 경우입니다.
• 결과: 감염자가 매우 드물고 데이터가 적을 때 이런 실수가 발생할 수는 있지만, 이 연구의 데이터 규모에서는 그 정도가 아니었습니다. 아님.

가설 2: "검사 오류 (특이도) 를 어떻게 다뤘는가?"

• 비유: 검사 키트가 '건강한 사람'을 '감염자'로 오진할 확률 (특이도) 을 모델에 넣었을 때의 문제입니다.
• 결과: 검사 오류를 단순히 '알려진 상수'로만 두면 문제가 없었습니다. 하지만 이 오류율을 데이터에서 직접 '추정'하게 만들었을 때 문제가 시작되었습니다. 여기가 핵심입니다.

가설 3: "모델이 너무 복잡해져서 생긴 혼란"

• 비유: 요리할 때 재료를 너무 많이 넣으면, 원래 맛을 잃고 이상한 맛이 나는 경우입니다.
• 결과: 변수가 많아질수록 모델이 가진 '사전 지식 (Prior)'이 변하면서, 다른 부분의 추정을 왜곡시켰습니다. 맞습니다.

4. 진짜 원인: "악순환의 고리" (Feedback Loop)

결국 저자들은 이 현상의 진짜 원인을 찾아냈습니다. "모델의 복잡함"과 "검사 오류 추정" 사이의 악순환 때문입니다.

이 과정을 스마트한 감식관 비유로 설명해 드릴게요.

1. 상황: 감식관 (모델) 이 범죄 현장 (데이터) 을 조사합니다.
2. 초기: 감식관은 "이 현장에는 범죄자가 거의 없을 것 같다"고 추측합니다 (모델의 사전 지식).
3. 증거: 현장에서 '의심스러운 흔적' (양성 반응) 이 10 개 발견되었습니다.
4. 악순환 시작:
   • 감식관은 "범죄자가 거의 없는데 왜 흔적이 10 개나 있지?"라고 생각합니다.
   • 그 이유는 **"수사 장비 (검사 키트) 가 고장 났거나, 너무 민감해서 건강한 사람도 범죄자로 오진했을 거야"**라고 결론 내립니다.
   • 그래서 감식관은 **"오진율 (특이도) 이 높다"**고 추정합니다.
5. 결과: "오진율이 높으니, 발견된 10 개의 흔적 중 대부분은 가짜야. 진짜 범죄자는 거의 없어."라고 결론 내립니다.
6. 악순환 심화: 이제 감식관이 **"지역별, 연령별, 소득별"**로 세세하게 분석할수록 (모델이 복잡해질수록), "아, 범죄자가 정말로 거의 없구나"라는 초기 추측이 더 강해집니다.
7. 최종 결과: "오진율이 더 높을 거야!" -> "진짜 범죄자는 더 적을 거야!" -> "감염률은 0 에 수렴한다!"

즉, 모델이 복잡해질수록 "사실은 감염자가 거의 없을 거야"라는 가정이 강해지고, 이 가정이 "검사 키트가 많이 틀렸을 거야"라는 결론을 이끌어내며, 결국 감염자 수를 0 으로 만들어버리는 악순환이 발생한 것입니다.

5. 교훈: "더 복잡한 것이 항상 좋은 것은 아니다"

이 논문은 우리에게 중요한 메시지를 줍니다.

• 모델을 너무 복잡하게 만들면, 모델이 스스로를 속일 수 있습니다. 특히 데이터가 부족하거나 사건이 드물 때, 모델의 '가정'이 데이터보다 더 큰 영향을 미쳐 엉뚱한 결론을 낼 수 있습니다.
• 검증의 중요성: 결과가 이상하게 변할 때는 단순히 "모델이 더 정교해졌나?"라고 생각하지 말고, **"모델의 각 부분이 서로 어떻게 영향을 주고받는지"**를 하나씩 뜯어봐야 합니다.
• 시뮬레이션의 힘: 실제 데이터만 믿지 말고, "만약 이 모델이 맞다면 이런 결과가 나와야 한다"는 가상의 실험을 통해 모델을 검증해야 합니다.

요약

이 논문은 **"통계 모델이 너무 똑똑해지려다 (변수를 많이 넣다가), 오히려 자신의 가정에 갇혀 '사실이 아예 없다'는 착각을 하게 된 사건"**을 분석한 것입니다.

우리가 데이터를 분석할 때, "더 많은 변수를 넣는 것"이 항상 정답은 아니며, 모델 내부의 복잡한 상호작용이 어떻게 결과를 왜곡할 수 있는지 경계해야 한다는 교훈을 줍니다. 마치 **"수많은 증거를 분석하다가, 오히려 범인이 아예 존재하지 않는다는 착각을 하게 되는 수사관"**과 같은 상황이라고 할 수 있습니다.