Regression-Based Proximal Reconciliation of Conflicting Trials with Unmeasured Effect Modifiers

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보세요. 하지만 범죄 현장 대신, 당신의 단서는 의학 연구들입니다. 과학, 특히 **인과 추론(causal inference)**이라는 분야에서 연구자들은 특정 치료법(예: 새로운 약물)이 실제로 좋은 결과(예: 건강해짐)를 가져오는지 알아내려 노력합니다. 보통 이들은 **무작위 대조 시험(RCT)**을 통해 이를 수행하는데, 이는 환자들을 약을 복용할 그룹과 가짜 약을 복용할 그룹으로 무작위로 배정하는, 마치 완벽하게 공정한 동전 던지기 실험과 같습니다. 목표는 그 약이 효과가 있는지 확인하는 것입니다.

하지만 반전이 있습니다. 때때로 똑같은 약을 테스트하는 두 개의 서로 다른 연구가 완전히 상반된 결론에 도달하기도 합니다. 한 연구는 "이 약은 기적입니다!"라고 말하는 반면, 다른 연구는 "이 약은 아무 효과가 없습니다!"라고 말합니다. 이는 의사와 규제 기관이 무엇을 처방해야 할지 결정해야 하는 상황에서 매우 큰 문제입니다. 핵심적인 질문은 이것입니다: 이 연구들이 실제로 서로 모순되는 것일까요, 아니면 단순히 서로 다른 집단의 사람들을 관찰하고 있는 것일까요?

이를 이해하려면 **효과 수정 요인(effect modifiers)**을 알아야 합니다. 이것은 약이 어떻게 작용하는지를 변화시키는 숨겨진 변수라고 생각하면 됩니다. 예를 들어, 진통제는 젊고 건강한 사람에게는 효과가 뛰어나지만, 고령이거나 다른 건강 문제를 가진 사람에게는 전혀 효과가 없을 수 있습니다. 만약 연구 A가 주로 젊고 건강한 사람들을 모집했고, 연구 B가 주로 고령의 환자를 많은 사람들을 모집했다면, 각 특정 유형의 사람들에게 약이 동일하게 작용하더라도 두 연구의 결과는 다를 수 있습니다. 과학자들의 과제는 두 그룹의 '성분'이 달랐기 때문인지, 아니면 두 연구가 정말로 양립할 수 없는 것인지를 수학적으로 증명하는 것입니다.

---

탐정의 새로운 도구 상자: 혼란스러운 임상 시험의 화해

이 논문에서 다니엘 쉬(Daniel Xu)와 동료들이 이끄는 통계학자 팀은 **17-알파-하이드록시프로게스테론 카프로에이트(17OHP-C)**라는 약물을 테스트한 두 임상 시험의 상충하는 결과라는 유명한 의학적 미스터리를 다룹니다. 이 약물은 조산(조기 출산)을 예방하기 위한 것이었습니다.

Meis라고 불리는 첫 번째 시험에서는 이 약물이 조산 위험을 거의 19% 감소시켜 엄청난 성공을 거둔 것으로 나타났습니다. 그러나 더 규모가 큰 두 번째 시험인 PROLONG에서는 아무런 이점도 발견되지 않았습니다. 이 갈등 때문에 결국 이 약물은 시장에서 퇴출되었습니다. 큰 의문은 이것이었습니다: 약이 Meis 시험의 여성들에게는 효과가 있었지만 PROLONG 시험의 여성들에게는 효과가 없었던 것일까요? 아니면 약 자체는 동일하지만, 두 시험의 여성들이 연구자들이 보지 못한 방식으로 달랐던 것일까요?

저자들은 이 문제를 해결하기 위해 새로운 통계적 "탐정 키트"를 개발했습니다. 이를 **회귀 기반 근사 화해(Regression-Based Proximal Reconciliation)**라고 부릅니다. 이것이 무엇을 의미하는지 간단한 비유를 통해 설명해 보겠습니다.

"대리 지표(Proxy)" 문제

당신이 두 그룹의 학생들의 성적이 왜 다른지 알아내려고 한다고 가정해 봅시다. 당신은 연구 A에는 밤새 공부한 학생들이 많았고, 연구 B에는 잠을 잘 잔 학생들이 많았다는 것을 알고 있습니다. 또한 당신은 **"두뇌 능력(Brain Power)"**이라는 숨겨진 요인이 성적에 영향을 미친다고 의심합니다. 하지만 "두뇌 능력"을 직접 측정할 수는 없습니다. 그것은 눈에 보이지 않기 때문입니다.

하지만 당신은 "두뇌 능력"과 관련된 몇 가지 단서, 즉 **대리 지표(proxies)**를 가지고 있습니다. 예를 들어, 학생들이 얼마나 많이 독서를 했는지(대리 지표 1)와 얼마나 많은 비디오 게임을 했는지(대리 지표 2)를 알 수 있습니다. "두뇌 능력"을 직접 볼 수는 없지만, 이 대리 지표들은 그것에 대한 힌트를 줄 수 있습니다.

저자들의 방법은 이러한 대리 지표(독서 습관이나 비디오 게임 시간 같은 것)를 사용하여 보이지 않는 "두뇌 능력"을 수학적으로 "재구성"하고, 이를 고려했을 때 두 그룹이 실제로 동일하게 수행하는지를 확인하는 것입니다. 의학 시험에서 이 "보이지 않는 요인"은 경부 길이(임신 위험과 관련된 생물학적 측정치)와 같은 것이었는데, 이는 첫 번째 시험에서는 측정되지 않았지만 두 그룹 사이에 차이가 있을 것으로 의심되었던 요소입니다. 대리 지표들은 과거 조산 경험 횟수나 임신 전 체중 같은 것들이었습니다.

두 가지 확인 방법: "조건부" vs "주변적"

논문은 두 시험을 화해시킬 수 있는지 확인하는 두 가지 방법을 소개합니다.

1. 조건부 화해 가능성 (The "Same Person" Test - "동일 인물" 테스트): 이것은 "만약 우리가 Meis 시험의 특정 여성과 PROLONG 시험의 여성을 데려와서, 그들이 정확히 동일한 특성(나이, 체중, 그리고 보이지 않는 '두뇌 능력')을 가지고 있다면, 약물이 두 사람 모두에게 똑같이 작용할 것인가?"라고 묻는 것입니다. 만약 답이 '예'라면, 두 시험은 화해할 수 있습니다. 저자들은 이를 확인하기 위해 기존 방식보다 차이를 훨씬 더 잘 포착하는 강력한 새로운 수학적 테스트를 개발했습니다.
2. 주변적 화해 가능성 (The "Average Person" Test - "평균적 인물" 테스트): 이것은 "만약 우리가 Meis 시험의 결과를 수학적으로 조정하여 PROLONG 시험의 인구 집단처럼 만든다면, 그 결과가 실제 PROLONG 시험에서 발견된 결과와 일치하는가?"라고 묻는 것입니다. 이것은 평균에만 관심을 가질 뿐 개별 개인에는 신경 쓰지 않기 때문에 더 약한 테스트입니다.

"동등성(Equivalence)"의 반전

보통 과학자들은 두 가지가 다르다는 것을 증명하려고 노력합니다. 하지만 여기서 저자들은 두 가지가 동일하다고 간주될 만큼 충분히 유사하다는 것을 증명하고자 했습니다. 그들은 **동등성 검정(Equivalence Testing)**이라는 기법을 사용했습니다.

이것은 판사가 두 용의자가 동일 인물인지 결정하는 것과 같습니다. "그들이 다른가?"라고 묻는 대신(이는 증명하기 쉽습니다), 판사는 "차이가 중요하지 않을 정도로 그들이 충분히 유사한가?"라고 묻습니다. 판사는 "오차 범위"(예: 임신 기간 1주일)를 설정합니다. 두 시험 사이의 차이가 이 오차 범위보다 작다면, 그들은 "화해된 것"으로 간見됩니다. 저자들은 또한 두 시험 사이의 갈등 중 몇 퍼센트가 그룹 간의 차이로 설명될 수 있는지를 알려주는 **화해 비율(Reconciliation Proportion)**이라는 새로운 점수를 만들었습니다. 점수가 100%라면 그룹 차이가 모든 것을 설명한다는 뜻이고, 0%라면 그룹 차이가 아무것도 설명하지 못한다는 뜻입니다.

무엇을 발견했는가?

저자들은 선택된 대리 지표들(보이지 않는 '경부 길이' 요인을 추측하기 위해 사용한 단서들)을 사용하여 Meis와 PROLONG 시험에 이 새로운 도구 상자를 적용했습니다.

• 결과: 강력한 새로운 "조건부" 테스트("동일 인물" 테스트)를 적용한 결과, 한 분석에서 두 시험이 화해할 수 없다는 통계적으로 유의미한 증거가 발견되었습니다. 이는 보이지 않는 요인을 추측하기 위해 사용된 대리 지표들을 통해 가시적인 차이들을 모두 고려한 후에도, 두 그룹 사이에는 왜 한 시험에서는 약이 효과가 있고 다른 시험에서는 그렇지 않은지를 설명하는 또 다른 숨겨진 차이가 여전히 존재함을 시사합니다.
• "평균" 테스트: "주변적 화해 가능성"("평균적 인물" 테스트)을 살펴보았을 때, 결과는 엇갈렸습니다. 수학적 계산은 보이지 않는 요인들이 차이의 일부를 설명할 수도 있음을 시사했지만, 확신할 수 있을 만큼 증거가 강력하지는 않았습니다.
• "동등성" 테스트: 두 시험이 (임신 기간 1주일 이내의 범위에서) 충분히 유사하다는 것을 증명하려 했을 때, 그들은 실패했습니다. 옮겨진 결과와 실제 결과 사이의 차이가 무시하기에는 너무 컸습니다.

결론

이 논문은 선택된 대리 지표들(보이지 않는 요인을 추측하기 위해 사용한 단서들)이 아마도 너무 약했을 것이라고 결론짓습니다. "화해 비율" 점수가 낮거나 불확실성의 범위가 매우 넓었다는 것은, 수학적으로 "아, 단지 서로 다른 그룹 때문이었구나!"라고 자신 있게 말할 수 없었음을 의미합니다.

대신, 이 결과는 Meis와 PROLONG 시험 사이의 갈등이 연구자들이 측정하지 못했거나 대리 지표로는 추측할 수 없었던 다른 숨겨진 요인들 때문일 가능성이 높다는 것을 시사합니다. 이러한 요인들은 병원이 운영되는 방식의 차이, 의료 서비스의 질에 대한 접근성, 또는 기타 생물학적 요인들일 수 있습니다.

요약하자면, 저자들은 왜 의학 시험들이 서로 다른 결론을 내리는지에 대해 올바른 질문을 던질 수 있는 훨씬 더 나은 방법을 제공하는 정교한 수학적 현미경을 구축했습니다. 그 현미경을 유명한 17OHP-C 약물 시험에 비추었을 때, 그 현미경은 "서로 다른 그룹"이라는 이론이 전체 이야기가 아님을 보여주었습니다. 두 시험은 우리가 아직 측정할 방법을 찾아내지 못한 또 다른 보이지 않는 힘이 작용하고 있기 때문에 여전히 화해할 수 없는 상태로 남아 있을 가능성이 큽니다. 이 논문이 그 약물의 미스터리를 해결한 것은 아니지만, 왜 연구들이 서로 다른지에 대해 더 나은 질문을 던지는 방법을 제시해 줍니다.