Meta-Analysis with JASP, Part I: Classical Approaches

과학계를 거대한, 북적이는 도서관이라고 상상해 보세요. 그곳의 모든 연구자는 특정 실험에 관한 책을 한 권씩 써 내려갑니다. 때로는 어떤 책은 새로운 약이 놀라운 효과가 있다고 말하는 반면, 다른 책은 아무런 효과가 없다고 말하기도 합니다. 바로 여기서 **메타 분석(meta-analysis)**이 등장합니다. 메타 분석을 단순히 책 한 권을 읽는 것이 아니라, 수백 권의 책을 모아 쌓아두고 그 소음 속에 숨겨진 진정한 이야기를 찾아내는 슈퍼 사서라고 생각해보세요. 이것은 마치 북적이는 경기장에서 단 하나의 속삭임을 듣는 것과 같습니다. 단 한 사람의 목소리만 들어서는 안 되며, 진짜 신호를 찾기 위해 모든 사람의 목소리를 결합해야 합니다.

이 작업을 수행하기 위해 슈퍼 사서는 몇 가지 핵심 도구를 사용합니다. 첫째, 그들은 **효과 크기(effect size)**를 계산합니다. 이는 서로 다른 유형의 측정값들을 공통된 언어로 변환하여 결과가 "얼마나 큰지"를 측정하는 방법입니다. 다음으로, 그들은 **포레스트 플롯(forest plot)**을 살펴봅니다. 이것은 나무들이 모여 있는 숲처럼 보이는 차트로, 각 나무는 하나의 연구를 나타내며 나무의 위치는 그 연구의 결과를 보여줍니다. 마지막으로, 그들은 **이질성(heterogeneity)**을 확인합니다. 이는 "이 연구들이 모두 같은 이야기를 하고 있는가, 아니면 서로 판이하게 다른가?"라고 묻는 것을 뜻하는 멋진 표현입니다. 만약 연구들이 너무 다르다면, 사서는 왜 그런 차이가 발생하는지 알아내기 위해 특별한 수학적 방법을 사용해야 합니다. 과학자들이 이를 중요하게 여기는 이유는, 단 하나의 연구에 의존하는 것은 영화 전체를 단 한 장면만 보고 판단하는 것과 같기 때문입니다. 그렇게 하면 반전이나 결말을 놓칠 수 있습니다.

이 논문은 새롭고 사용자 친화적인 도구인 JASP(특히 "Meta-Analysis 모듈")를 소개합니다. 이 도구는 복잡하고 강력한 도구들을 컴퓨터 코딩의 영역에서 끌어내어 단순한 "클릭 한 번으로 해결되는(point-and-click)" 인터페이스로 가져왔습니다. 저자들인 통계학자와 소프트웨어 개발자 팀은 프로그래밍을 하지 못하는 과학자들이 코드를 한 줄도 쓰지 않고도 고급 메타 분석을 수행할 수 있도록 이 도구를 만들었습니다. 그들은 JASP가 데이터가 공유되거나 정보가 여러 층위로 구성된 매우 복잡한 시나리오부터 기본적인 요약까지 모두 처리할 수 있음을 보여줍니다. 이 논문은 우주의 새로운 법칙을 발견했다고 주장하는 것이 아닙니다. 그보다는 무료 오픈 소스 소프트웨어가 이제 고급 통계 작업의 힘든 일을 대신 수행할 수 있게 되어, 이전에는 더 단순하고 덜 강력한 도구들에 갇혀 있었던 학생들과 연구자들에게 접근성을 높여주었음을 보여주는 것입니다.

슈퍼 사서의 새로운 도구 상구 이야기

당신이 탐정이 되어 미스터리를 풀려고 한다고 상상해 보세요. 하지만 증인이 한 명이 아니라 쉰 명이나 됩니다. 어떤 증인은 멀리서 범죄를 보았고, 어떤 이는 바로 옆에서 보았으며, 어떤 이들은 서로 약간씩 다른 이야기를 하고 있습니다. 과거에는 이 모든 이야기를 하나의 명확한 진실로 합치기 위해서, 커스텀 기계를 만들기 위해 컴퓨터의 비밀 언어(R 프로그래밍 언어와 같은)를 구사할 수 있는 숙련된 코더가 되어야 했습니다. 코딩을 할 줄 몰랐다면, 미세한 단서들을 놓치는 기본적인 돋보기에 머물러야 했습니다.

이 논문의 저자들은 "누구나 사용할 수 있는 기계를 만들자"라고 말합니다. 그들은 JASP라는 무료 소프트웨어 안에 이 탐정 업무를 위한 하이테크 대시보드 역할을 하는 모듈을 만들었습니다. 코드를 입력하는 대신, 버튼을 클릭하고 데이터를 드래그 앤 드롭하기만 하면 소프트웨어가 수학적 계산을 대신 해줍니다. 이 논문은 이 대시보드가 어떻게 작동하는지 보여주기 위해 세 가지 다른 "사례"를 안내하며, 코더가 아니더라도 가장 고급스러운 탐정 업무를 수행할 수 있음을 입증합니다.

사례 1: 백신 미스터리 (기초)
첫 번째 사례는 결핵 백신에 관한 유명한 데이터 세트를 다룹니다. 저자들은 JASP를 사용하여 "효과 크기"(백신이 얼마나 잘 작동했는지)를 계산하고 **깔때기 그림(funnel plot)**을 그리는 방법을 보여줍니다. 깔때기 그림을 깔때기 모양의 그래프라고 상상해 보세요. 모든 연구 결과를 그 안에 떨어뜨리면 됩니다. 만 만약 모든 것이 공정하고 정직하다면, 점들은 깔끔하고 대칭적인 피라미드 형태를 이룰 것입니다. 만약 피라미드가 한쪽으로 치우쳐 있다면, 이는 일부 연구가 누락되었거나 편향되었을 수 있음을 의미합니다. 그다음 소프트웨어는 각 연구가 어디에 위치하는지, 그리고 결과에 대한 확신이 어느 정도인지를 보여주는, 나무들이 모인 숲처럼 보이는 포레스트 플롯을 구축합니다. 저자들은 JASP가 심지가 그룹(하위 그룹)별로 나뉘어 연구 방식에 따라 백신이 다르게 작용했는지 확인하는 기능까지 갖추고 있음을 보여줍니다. 결과는 어떠했을까요? 소프트웨어는 과거에 코딩을 필요로 했던 복잡한 수학을 성공적으로 재현했으며, 연구 간의 차이를 처리하는 방법인 "변량 효과(random-effects)" 모델을 쉽게 실행할 수 있게 해주었습니다.

사례 2: 글쓰기 중재 (패턴 찾기)
두 번째 사례에서 탐정들은 "학습을 위한 글쓰기" 중재에 관한 연구들을 조사합니다. 여기서 그들은 중재의 길이가 결과에 영향을 미치는지, 혹은 학생들에게 피드백을 주었는지가 결과에 변화를 주었는지 알고 싶어 합니다. 이것을 **메타 회귀(meta-regression)**라고 합니다. 이것은 점들이 흩어져 있는 곳에 선을 그려 트렌드가 존재하는지 확인하는 것과 같습니다. JASP는 당신을 대신해 이 선을 그려주고, 더 정밀한 연구일수록 더 큰 버블로 표시되는 **버블 플롯(bubble plot)**도 생성합니다. 또한 소프트웨어는 **추정 한계 평균(Estimated Marginal Means)**을 계산하는데, 이는 "다른 모든 조건이 일정할 때 결과는 어떠할 것인가?"라고 묻는 세련된 방식입니다. 이는 "모든 학생이 정확히 같은 시간과 피드백을 받는다면 점수는 어떻게 될까?"라고 묻는 것과 같습니다. 이 논문은 JASP가 이러한 복잡한 비교를 처리할 수 있으며, 심지어 데이터의 "퍼짐(이질성)"이 연구 기간에 따라 변하는지 테스트하는 기술인 **위치-척도 모델(location–scale model)**까지 수행할 수 있음을 보여줍니다.

사례 3: 재범의 퍼즐 (엉킨 그물망)
세 번째 사례는 가장 까다롭습니다. 청소년 비행과 정신 건강에 관한 연구들을 살펴봅니다. 여기서 문제는 많은 연구가 동일한 아동 집단에 대해 여러 결과(예: 공격성, 괴롭힘, 절도)를 보고한다는 점입니다. 이는 결과들이 독립적이지 않은, 데이터의 "엉킨 그물망"을 만들어냅니다. 만약 이를 무시한다면, 실제보다 더 많은 증거를 가지고 있다고 착각할 수 있습니다. 저자들은 JASP가 다층 모델(multilevel models)(데이터의 계층 구조를 처리함), 다변량 모델(multivariate models)(서로 다른 유형의 범죄 간 상관관계를 고려함), 그리고 클러스터 강건 표준 오차(cluster-robust standard errors)(수학이 연결 관계에 의해 속지 않도록 안전망 역할을 함)를 사용하여 이 엉킨 그물을 어떻게 풀어내는지 보여줍니다. 이 특정 사례에서, 그물을 푼 후에도 소프트웨어는 통계적으로 유의미한 차이를 발견했습니다(결합된 효과 크기 $d=0.36$, 95% CI [0.16, 0.56]).

이것이 왜 중요한가

이 논문은 단순히 예쁜 인터페이스를 뽐내는 것이 아닙니다. 저자들은 고급 통계 방법이 컴퓨터 코드라는 벽 뒤에 갇혀 있어서는 안 된다고 주장합니다. JASP에 이러한 도구들을 통합함으로써, 저자들은 연구자, 교사, 학생들이 코드를 디버깅하는 대신 과학을 해석하는 것에 집중할 수 있다고 제안합니다. 소프트웨어는 백그라운드에서 코드를 생성하므로, 배우고 싶다면 어떻게 진행되는지 볼 수 있고, 단지 답을 원한다면 그냥 "실행(Run)"을 클릭하면 됩니다.

저자들은 이 모듈이 기초적인 플롯부터 복잡한 다층 모델에 이르기까지 매우 넓은 범위를 다루고 있지만, 여전히 발전 중인 단계라는 점을 주의 깊게 언급합니다. 그들은 네트워크 메타 분석과 같은 일부 기능은 향후 계획되어 있다고 밝힙니다. 하지만 현재로서는, 그들이 자유로운 오픈 소스 도구가 과학적 증거를 합성하는 데 필요한 엄격하고 최첨단인 방법들을 처리할 수 있음을 성공적으로 입증했습니다. 그들은 모든 과학적 문제를 해결했다고 주장하는 것이 아니라, 슈퍼 사서에게 누구나 집어 들고서 소음 속에서 진실을 찾아낼 수 있는 훨씬 더 나은 도구 상자를 건네준 것입니다.