Testing Monotonicity in a Finite Population

숨겨진 스위치의 미스터리

당신이 단 하나의 스냅샷이라는 유일한 단서만을 가지고 혼란스러운 현장의 사건을 해결하려는 탐정이라고 상상해 보십시오. 당신에게는 한 무리의 사람들이 있고, 당신은 각 사람에게 무작위로 동전을 던졌습니다. 앞면이 나오면 특수 약을 받고, 뒷면이 나오면 설탕물을 받게 됩니다. 나중에 당신은 누가 나아졌고 누가 나아지지 않았는지 보게 됩니다. 당신의 목표는 매우 구별되는 비밀을 밝혀내는 것입니다. 즉, 그 약이 항상 모든 사람을 돕는 것인지, 아니면 어떤 이들에게는 도움을 주면서 동시에 몰래 다른 이들에게는 해를 끼치는 것인지 알아내는 것입니다. 과학의 세계에서 이것은 "단조성(monotonicity)"이라고 불립니다. 이는 치료법이 모두를 같은 방향으로 움직이게 한다는 개념으로, 마치 남쪽이 아닌 북쪽으로만 부는 바람과 같습니다.

과학자들은 이 숨겨진 바람에 대한 진실을 찾는 방법에 대해 오랫동안 논쟁해 왔습니다. 여기에는 두 가지 주요 관점이 있습니다. 첫 번째는 무한한 바다와 같은 사람들을 상상하는 것입니다. 작은 표본을 추출하여 "전체 바다에 이 약에 의해 해를 입는 사람이 단 한 명이라도 있는가?"라고 묻는 방식입니다. 두 번째 방식은 이 논문이 집중하고 있는 방식으로, 방 안에 앉아 있는 정확히 100명의 고정된 집단을 바라보는 것입니다. 당신은 방 안에 누가 있는지 정확히 알고 있지만, 단 한 번의 동전 던지기 실험 결과만을 볼 수 있습니다. 큰 질문은 이것입니다. 만약 당신이 방 안을 딱 한 번만 볼 수 있다면, 그 약이 보편적인 영웅인지 아니면 좋음과 나쁨이 섞인 혼합물인지 정말로 알 수 있을까요?

논문의 거대한 발견: "식별된" 유령

Testing Monotonicity in a Finite Population이라는 제목의 새로운 논문에서, 연구자들인 Jiafeng Chen, Jonathan Roth, 그리고 Jann Spiess는 이 미스터리를 깊이 파고듭니다. 그들은 "식별(identification)"이라는 기술적인 규칙을 살펴보는 것으로 시작합니다. 통계학의 세계에서, 어떤 매개변수가 "식별되었다"는 것은 이론적으로 동일한 사람들을 대상으로 서로 다른 동전 던지기 실험을 반복해서 수행할 수 있다면 그 값을 완벽하게 찾아낼 수 있다는 것을 의미합니다.

저자들은 놀라운 사실을 증명합니다. 100명이 있는 고정된 방 안에서, 비밀스러운 숫자들은 기술적으로 식별되어 있다는 것입니다. 만약 당신이 마법처럼 시간을 되돌려 똑같은 100명의 사람에게 동전을 백만 번 더 던질 수 있다면, 당신은 결국 "항상 복용자(always-takers, 무엇을 하든 좋아지는 사람들)", "결코 복용하지 않는 자(never-takers, 무엇을 하든 상태가 그대로인 사람들)", "순응자(compliers, 약을 먹어야만 좋아지는 사람들)", 그리고 "반항자(defiers, 약을 먹으면 오히려 악화되는 사람들)"가 각각 몇 명인지 정확히 셀 수 있을 것입니다. 수학은 데이터가 정답을 포함하고 있다고 말합니다.

하지만 이 논문의 진짜 핵심은 이 이론적인 "예"가 실제로는 쓸모없다는 점입니다. 데이터 속에 답이 숨겨져 있다고 해서, 단 한 번의 스냅샷만으로 그 답을 찾을 수 있다는 뜻은 아닙니다. 저자들은 단 한 번의 실험만으로는 학습할 수 있는 범위가 극도로 제한적이라는 것을 보여줍니다. 이는 마치 정답이 들어있는 잠긴 상자를 가지고 있지만, 열쇠가 너무 작고 자물쇠가 너무 복잡해서 가진 도구로는 결코 열 수 없는 것과 같습니다.

빈도주의 탐정: 약한 손전등

먼저, 저자들은 "빈도주의(frequentist)" 탐정 역할을 수행합니다. 이들은 (해로운 영향을 받는) "반항자"가 존재할 때마다 이를 포착할 수 있는 손전등(통계적 검정)을 만드는 과학자들입니다. 당신은 이렇게 생각할지도 모릅니다. "사람이 많아지면 내 손전등이 더 밝아져서 나쁜 놈들을 찾아내겠지."

논문은 이것이 함정임을 보여줍니다. 집단이 커지더라도 손전등은 믿을 수 없을 정도로 어둡습니다. 저자들은 어떤 검정을 만들더라도, 그 검정이 아무것도 찾아내지 못하는 특정 시나리오가 반드시 존재함을 증证明합니다. 만약 당신이 검정의 신뢰 수준을 "5%"로 설정한다면(과학계의 표준 규칙), 저자들은 위반 사항을 잡아내는 검정의 검정력(power)이 종종 그 5% 수준에 머물거나 겨우 그보다 조금 높은 수준에 갇혀 있다는 것을 보여줍니다.

이를 생생하게 설명하기 위해, 정원에서 특정 종류의 희귀한 벌레를 찾고 있다고 상상해 보십시오. 당신은 한 종류의 벌레 18마리와 다른 종류의 벌레 12마리를 잡도록 설계된 트랩을 만듭니다. 정원에 정확히 그 비율의 벌레들이 있다면 트랩은 잘 작동합니다. 하지만 정원에 17마리와 13마리가 있다면—단 한 마리만 달라도—당신의 트랩은 아무것도 잡지 못합니다. 논문은 이러한 "전부 아니면 전무(all-or-nothing)" 식의 민감도가 일반적인 특징임을 밝혀냅니다. 모든 위반 사항에 밝게 빛나는 손전등을 만들 수는 없으며, 오직 매우 구체적이고 좁은 타겟에만 빛을 비출 뿐이며, 그마저도 약합니다. 표준 5% 검정의 경우, 위반을 잡아내는 평균 능력(가중 평균 검정력)은 고작 12.6%로 제한됩니다. 즉, 당신의 검정은 진실을 찾는 것만큼이나 놓칠 가능성도 높습니다.

베이지안 탐정: 고집스러운 신봉자

다음으로, 저자들은 "베이지안(Bayesian)" 탐정으로 전환합니다. 이 과학자들은 약이 안전한지에 대한 직관(사전 믿음)에서 시작하여, 데이터를 본 후 그 직관을 업데이트합니다. 당신은 "새로운 증거를 보면 생각을 바꿔야 한다!"라고 생각할 것입니다.

논문은 기묘한 반전을 드러냅니다. 어떤 데이터가 나타나더라도 결코 생각을 바꾸지 않는 탐정들이 존재한다는 것입니다. 저자들은 특정 시작 믿음을 구성할 수 있으며, 이 경우 실험 결과를 본 후에도 약이 안전할 확률이 실험 전과 정확히 동일하게 유지된다는 것을 증명합니다. 마치 데이터가 그들에게 보이지 않는 것처럼 말입니다.

이것이 모든 탐정이 고집스럽다는 뜻은 아닙니다. 어떤 이들은 믿음을 업데이트할 것입니다. 하지만 이러한 "고집스러운" 탐정들이 존재한다는 것은 합의가 불가능함을 의미합니다. 만약 당신이 과학자들에게 데이터를 보여준다면, 어떤 이들은 "아하! 약이 사람들에게 해를 끼치고 있군요!"라고 말하겠지만, 다른 이들은 "아니요, 제 수학적 계산으로는 여전히 50/50입니다"라고 말할 것입니다. 데이터는 모두의 동의를 끌어낼 만큼 설득력이 없습니다. 실제로 저자들은 약이 안전한지 위험한지를 추측하려는 모든 시도가 어떤 시나리오에서는 무작위 추측보다 나을 것이 없음을 보여줍니다. 이는 마치 그림자를 보고 동전 던지기의 결과를 맞히려는 것과 같습니다. 때때로 그림자는 새로운 것을 알려주지 않습니다.

추정량: 고장 난 나침반

마지막으로, 저자들은 단순히 약이 해로운지 여부를 넘어, 얼마나 해로운지를 추정하는 방법을 살펴봅니다. 그들은 가장 대중적인 도구인 "최대 우도 추정량(Maximum Likelihood Estimator, MLE)"을 테스트합니다. 그들은 이 도구가 이 특정 환경에서 고장 났음을 발견합니다.

MLE는 보물이 중간에 있더라도 항상 지도의 가장자리만을 가리키는 나침반과 같습니다. 논문은 집단의 크기가 커지더라도 MLE가 네 가지 유형 중 하나(예: 반항자)가 아예 존재하지 않는다고 가정하는 경향이 있음을 보여줍니다. 이는 답을 가능한 범위의 끝으로 몰아넣습니다.

설상가상으로, 저자들은 위반의 크기를 추정하는 데 발생하는 오차가 엄청나다는 것을 계산했습니다. 그들은 가능한 최선의 추측(미니맥스 오차)조차도 단순히 무작위 숫자인 1/4을 추측하는 것만큼이나 형편없다는 것을 보여줍니다. 그리고 인기 있는 도구인 MLE는 훨씬 더 나쁩니다. MLE의 오차는 최선의 추측보다 4배나 더 큽니다. 이는 산의 높이를 재려고 하는데 자꾸 부러지는 자를 사용하는 것과 같습니다.

결론

논문은 냉혹한 현실을 확인시켜 주며 마무리됩니다. 수학적으로는 답이 데이터 속에 "존재(식별)"한다고 하지만, 그것을 찾아내는 실질적인 능력은 거의 제로에 가깝습니다. 손전등(빈도주의 검정)을 사용하든, 직관(베이지안 업데이트)을 사용하든, 혹은 나침반(추정량)을 사용하든, 당신은 대부분 추측을 하고 있는 것입니다.

저자들은 고정된 집단과 단일 실험의 세계에서는 치료법이 모두에게 도움이 되는지 아니면 일부에게 해를 끼치는지 우리가 신뢰할 수 있게 판단할 수 없다고 제언합니다. 우리가 교과서에서 보는 "식별"은 이론적인 유령입니다. 실제 단일 실험의 세계에서 데이터는 누가 해를 입고 누가 도움을 받는지에 대한 숨겨진 진실을 드러내기에는 너무나 흐릿합니다. 교훈은 무엇입니까? 어떤 치료법이 모두에게 안전하다고 확신할 때 매우 주의하십시오. 왜냐면 수학적으로 당신은 그저 그림자를 보고 있는 것일 수도 있기 때문입니다.