Don't Drop the Singletons: Efficient Inference for Pairwise Experiments with Independent Attrition

과학적 실험의 세계에서 연구자들은 종종 정밀도와 실용성 사이에서 어려운 선택에 직면합니다. 새로운 치료법이 효과가 있는지 알아내기 위해, 과학자들은 흔히 무작위 배정(randomization)이라는 방법을 사용하는데, 이는 사람들을 확률에 따라 처치 집단(treatment group) 또는 대조 집단(control group)에 배정하는 방식입니다. 이 방법의 인기 있고 강력한 버전 중 하나는 매우 유사한 사람들끼리 짝을 짓는 것인데, 예를 들어 소득이 비슷한 이웃이나 시험 점수가 비슷한 학생들처럼 말입니다. 그런 다음 각 쌍에게 한 명에게는 처치를 무작위로 제공하고 다른 한 명은 대조군 역할을 하게 합니다. 이러한 "쌍별(pairwise)" 접근 방식은 모든 피험자에 대해 내장된 통제 장치를 갖춘 것과 같으며, 이는 단순히 두 개의 크고 혼합된 집단을 비교하는 것보다 결과를 훨씬 더 날카롭고 신뢰할 수 있게 만듭니다. 그러나 현실 세계의 연구에서 지속적인 문제는 탈락(attrition), 즉 실험이 끝나기 전에 사람들이 중도에 그만두는 현상입니다. 이런 일이 발생하면 쌍 중 한 명이 사라져 남은 한 사람이 파트너 없이 홀로 남겨지게 됩니다. 수년간 표준적인 권고 사항은 이러한 "고아"와 같은 단독 피험자(singleton)를 버리고, 두 명 모두 끝까지 남은 쌍만을 분석에 사용하는 것이었습니다. 그 논리는 파트너가 없다면 데이터가 너무 복잡하여 사용할 수 없다는 것이었습니다. 그러나 이 관행은 연구자들이 귀중한 정보를 버리는 것을 의미했으며, 결과적으로 연구 규모를 축소시키고 실제 효과를 감지하기 어렵게 만들었습니다.

두 명의 연구자, 사이먼 헤스(Simon Heß)와 패트릭 W. 슈미트(Patrick W. Schmidt)는 이 오래된 규칙에 이의를 제기했습니다. 그들은 만약 사람들이 중도 탈락하는 이유가 받은 처치와 관련이 없다면, 불완전한 쌍으로부터 얻은 데이터를 사용하는 것에 대한 두려움은 잘못된 것이라고 주장합니다. 그들의 새로운 연구에서, 그들은 모든 관측값, 심지어 외로운 단독 피험자들까지 모두 유지하면서도 매우 정확한 결과를 얻는 것이 가능하다는 것을 입증했습니다. 그들은 완벽한 쌍의 정보와 불완전한 쌍의 정보를 지능적으로 결합하면서도 원래의 쌍 구조를 존중하는 새로운 데이터 분석 방법을 개발했습니다. 단독 피험자를 버리는 대신, 그들의 방법은 그들을 적절한 가중치를 부여받은 유용한 퍼즐 조각으로 취급합니다. 이를 통해 연구자들은 단독 피사체가 발생하는 상황에서도 쌍별 설계의 높은 정밀도를 유지하면서, 데이터 손실로 인한 통계적 불이익을 받지 않을 수 있음을 보여줍니다.

그들 발견의 핵심은 스마트 필터처럼 작동하는 특정 검정 절차입니다. 연구에서 참가자가 한 명 탈락했을 때, 전통적인 방식은 쌍 전체를 분석에서 삭제하여 마치 그 사람이 존재하지 않았던 것처럼 처리합니다. 저자들은 이것이 상당한 증거를 버리는 행위라고 보여줍니다. 그들의 새로운 방법은 처치가 각 쌍 내부에서의 동전 던지기에 의해 할당되었다는 사실에 기반한 '무작위 추론(randomization inference)' 기술을 사용합니다. 그들은 완전한 쌍의 결과 차이와 단독 피험자들의 결과 차이를 살펴보고, 이 두 가지 정보원을 하나로 혼합하는 검정 통계량을 만듭니다. 이 혼합은 수학적 정밀함에 의해 수행됩니다. 두 사람 사이의 직접적인 비교를 제공하는 완전한 쌍에는 더 많은 가중치가 주어지는 반면, 전체 집단에 걸친 광범위한 비교를 제공하는 단독 피험자들에게는 작지만 여전히 유의미한 가중치가 주어집니다. 이러한 결합을 통해 연구는 남아 있는 모든 데이터 포인트를 사용할 수 있으며, 진정한 효과를 감지하는 능력을 극대화합니다.

이것이 작동함을 증명하기 위해, 연구자들은 광범위한 시뮬레이션과 이론적 계산을 수행했습니다. 그들은 자신들의 새로운 방법을 현재 과학자들이 문제를 다루는 두 가지 표준 방식과 비교했습니다. 첫 번째 표준 방식은 불완전한 쌍을 버리는 오래된 규칙을 따르는 "쌍별 t-검정(paired t-test)"입니다. 두 번째는 쌍 구성을 완전히 무시하고 처치를 받은 모든 사람의 평균과 처치를 받지 않은 모든 사람의 평균을 단순히 비교하는 "이표본 t-검정(two-sample t-test)"입니다. 저자들은 자신들의 새로운 접근 방식이 두 방식 모두를 일관되게 능가한다는 것을 발견했습니다. 매칭 품질이 높을 때(즉, 쌍이 매우 잘 맞을 때), 기존의 쌍별 방식은 사람들이 탈락하기 시작하자마자 많은 통계적 검정력을 잃었습니다. 쌍 구성을 완전히 무시하는 방식은 종종 너무 보수적이어서, 실제로 존재하는 효과를 포착하지 못했습니다. 그러나 새로운 방식은 두 방식 모두를 압도하며, 테스트한 모든 탈락 수준과 매칭 품질 수준에서 더 강력한 결과를 전달했습니다.

연구자들은 또한 이 새로운 방법이 실제로 사용하기에 너무 복잡한지에 대한 일반적인 우려를 다루었습니다. 그들은 복잡한 가중치 부여와 검정이 거의 모든 일반적인 소프트웨어 패키지에서 사용 가능한 "가중 회귀 분석(weighted regression)"이라는 표준 통계 도구를 사용하여 수행될 수 있음을 보여주었습니다. 연구자는 단순히 소프트웨어에 모든 데이터를 포함하도록 지시하고, 단독 피험자에게 특정 가중치를 할당하며, 완전한 쌍에 대한 고정 효과(fixed effects)를 포함하기만 하면 됩니다. 이는 강력한 새로운 방법을 기초적인 분석을 실행할 수 있는 누구에게나 접근 가능하게 만들어, 특수한 맞춤형 코드가 필요하다는 장벽을 제거합니다. 저자들은 이 솔루션이 탈락이 처치 자체 때문이 아니라 이사나 흥미 상실와 같이 처치와 무관한 이유로 발생할 때 가장 잘 작동한다고 강조합니다. 만약 탈락이 처치 자체와 관련되어 있다면 문제는 훨씬 더 어려워지겠지만, 탈락이 무작위적인 대부분의 경우에 이 새로운 방법은 명확한 길을 제시합니다.

마지막으로, 저자들은 탈락이 예상될 때 흔히 권장되는 다른 전략, 즉 4명 정도의 더 큰 그룹을 사용하는 방식과 자신들의 최적화된 쌍 설계를 비교했습니다. 4명 그룹에서는 한 명이 떠나더라도 3명이 남으므로 그룹의 구조를 더 많이 보존할 수 있다는 아이디어입니다. 연구자들은 이 시나리오를 시뮬레이션했고, 더 큰 그룹을 사용하더라도 자신들의 최적화된 쌍 방식이 충분히 경쟁력이 있음을 발견했습니다. 많은 경우, 쌍의 긴밀한 매칭을 통해 얻은 효율성이 탈락을 고려한 방식과 결합되었을 때 더 큰 그룹을 이길 만큼 강력했습니다. 이는 연구자들이 탈락을 두려워하여 쌍 설계를 포기할 필요가 없음을 시사합니다. 대신, 그들은 더 정밀한 쌍 결합 전략을 고수하면서, 단지 모든 가able한 데이터를 사용하기 위한 새로운 분석 기술을 적용하기만 하면 됩니다.

이 연구의 함의는 연구를 수행하는 모든 이들에게 명확합니다. 이는 정밀한 설계를 유지하는 것과 데이터 손실을 겪는 것 사이의 상충 관계를 제거합니다. 단독 피험자를 버리는 대신 적절한 가중치를 부여하여 분석에 통합함으로써, 연구자들은 연구의 강력함을 유지하고 결론을 견고하게 만들 수 있습니다. 이 논문은 잠재적인 약점인 '참가자 손실'을 관리 가능한 과정으로 바꾸는 실질적인 도구 상자를 제공하여, 최종 결과가 단지 살아남은 사람들만이 아니라 실험의 전체 범위를 반영하도록 보장합니다.