Factorial multistratum designs for building, optimising or evaluating multilevel interventions embedded in learning systems: A taxonomy of factorial cluster-randomised trial designs and their variants

당신이 완벽한 케이크를 굽기 위해 노력하고 있다고 상상해 보세요. 하지만 단순히 밀가루와 설탕을 섞는 것이 아니라, 제과점 전체를 고치려고 하는 것입니다. 당신은 제빵사들을 어떻게 교육할지, 메뉴에 어떤 레시피를 올릴지, 그리고 오븐을 어떻게 배치할지를 결정해야 합니다. 하지만 까다로운 점은, 한 번에 한 가지 요소만 테스트할 수 없다는 것입니다. 만약 오로지 오븐 온도만 바꾼다면, 제빵사들이 케이크를 부풀리기 위해 다른 종류의 앞치마가 필요하다는 사실을 놓칠 수도 있습니다. 이것이 보건 의료 및 교육 분야에서의 '복합 중재(complex interventions)'의 세계입니다. 과학자들은 병원, 학교, 또는 지역 사회 전체와 같이 여러 가지 서로 다른 부분들이 상호작作用하는 크고 복잡한 시스템을 해결하기 위해 노력하고 있습니다. 이를 위해 그들은 '무작위 대조 시험(randomised controlled trial)'이라는 특별한 도구를 사용하는데, 이는 동전 던지기로 누구에게 어떤 도움을 줄지 결정하는 과학적 실험과 같습니다. 하지만 여러 부분이 하나의 시스템(예: 교실 안에 있는 학생, 학교 안에 있는 교실, 구역 안에 있는 학교)에 속해 있는 상태에서 한꺼번에 많은 부분을 테스트해야 할 때, 수학적 계산은 믿을 수 없을 정도로 복잡해집니다. 이는 마치 모든 층이 서로 다른 색상과 크기를 가진 루빅스 큐브를 푸는 것과 같아서, 다른 조각들을 망가뜨리지 않으면서 전체 퍼즐을 해결할 수 있는 회전법을 찾아내야 합니다.

이 논문은 그 루빅스 큐브를 푸는 가이드북입니다. 저자들인 통계학자와 연구자 팀은, 농업이나 공장에서 이러한 다층적인 실험이 수십 년 동안 사용되어 왔음에도 불구하고, 의료나 사회 연구를 수행하는 사람들이 전문 용어 때문에 혼란을 겪고 있다는 점에 주목했습니다. 그들은 이러한 설계를 '요인 다층 설계(factorial multistratum designs)'라고 부르는데, 이는 매우 어려운 기술적 용어처럼 들리지만, 기본적으로 여러 수준에 걸쳐 여러 가지를 동시에 테스트하는 것을 의미합니다. 이 논문은 새로운 마법의 알약을 발명하거나 의료 분야의 모든 문제를 해결하겠다고 주장하는 것이 아닙니다. 대신, 연구자들이 이 까곡한 실험들을 설명할 수 있도록 돕는 더 명확한 '분류 체계(taxonomy)'—즉, 분류 시스템이나 지도라는 뜻—를 제안합니다. 44개의 실제 사례 연구를 살펴보고 아동 비만 방지에 관한 이론적 예시를 만들어냄으로써, 저자들은 이러한 설계를 설명하는 표준적인 방법을 제시합니다. 그들은 우리가 공통된 언어를 사용한다면, 환 개인부터 국가 정책 수준에 이르기까지 여러 단계에서 동시에 작동하는 중재 방안을 어떻게 구축하고, 개선하고, 테스트할 수 있는지 더 잘 이해할 수 있다고 주장합니다.

거시적 관점: 복잡한 시스템을 위한 지도가 필요한 이유

문제부터 시작해 봅시다. 당신이 아이들의 체중 증가를 막으려는 교장이라고 상상해 보세요. 단순히 아이들에게 잘 먹으라고 말할 수도 있습니다. 하지만 문제는 단지 아이들뿐만이 아닐 수도 있습니다. 학교 급식실, 체육 수업, 혹은 마을 전체에 적용되는 구역 규칙이 문제일 수도 있습니다. '다층 중재(multilevel intervention)'는 이 모든 것들을 동시에 해결하려고 시도하는 것입니다. 학교를 위해 식단 메뉴를 바꾸고, 교사를 교육하며, 학부모를 위한 캠페인을 진행할 수 있습니다.

문제는, 어떤 부분이 실제로 효과가 있었는지 어떻게 아느냐는 것입니다. 아이들이 살이 빠진 것이 새로운 메뉴 때문인가요, 교사 교육 때문인가요, 아니면 햇살이 좋은 봄날이었기 때문인가요? 과거에 과학자들은 한 번에 한 가지만 테스트했을 것입니다. 예를 들어 한 그룹은 메뉴를 제공받고 다른 그룹은 아무것도 받지 않는 평행 경주 같은 방식이죠. 하지만 그것은 느리고 낭비적입니다. 엔진, 타이어, 페인트를 각각 따로 테스트하여 최고의 자동차를 찾는 대신, 이들이 어떻게 함께 작동하는지 보는 것과 같습니다.

여기서 '요인 설계(factorial design)'가 등장합니다. 이것을 효율적인 테이스팅 메뉴라고 생각하세요. 엔진과 타이어를 따로 테스트하는 대신, 네 가지 조합을 동시에 테스트합니다:

1. 옛날 엔진, 옛날 타이어.
2. 새 엔진, 옛날 타이어.
3. 옛날 엔진, 새 타이어.
4. 새 엔진, 새 타이어.

이것은 새 엔진이 좋은지뿐만 아니라, 새 엔진이 새 타이어와 함께 있을 때 더 잘 작동하는지도 알려줍니다. 이것이 바로 '다단계 최적화 전략(Multiphase Optimisation Strategy, MOST)'으로, 대규모로 시행하기 전에 최상의 중재 방안을 구축하는 인기 있는 방법입니다.

하지만 여기서 복잡해집니다. 단순한 실험에서는 사람마다 동전을 던집니다. 하지만 '클러스터 무작위 대조 시험(cluster-randomised trial, CRT)'에서는 학교나 병원 같은 전체 집단을 대상으로 동전을 던집니다. 왜일까요? 만약 한 학교의 어떤 아이에게는 샐러드를 먹으라고 하고 다음 아이에게는 피자를 먹으라고 한다면, 첫 번째 아이가 두 번째 아이의 피자를 가져갈 수도 있기 때문입니다. 이러한 '오염(contamination)'을 피하기 위해 학교 전체를 무작위로 배정합니다.

이제, 당신이 메뉴(학교 수준)와 교사 교육(교실 수준), 그리고 학부모 뉴스레터(구역 수준)를 모두 테스트하고 싶다고 가정해 봅시다. 단 하나의 동전만 던져서는 안 됩니다. 구역을 위한 동전 하나, 학교를 위한 동전 하나, 그리고 교실을 위한 또 다른 동전을 던져야 합니다. 이것이 '다층(multistratum)' 설계입니다. 이는 러시아 인형(마트료시카)처럼 무작위 배정이 겹겹이 쌓여 있는 구조입니다. 문제는, 이러한 설계를 연구하는 사람들(주로 농부와 공장 관리자들)이 의사나 교사들이 알아듣지 못하는 비밀 언어를 사용한다는 점입니다. 교과서에는 의학 사례가 아닌 농사 예시가 가득합니다. 이 논문은 그 비밀 언어를 쉬운 영어로 번의하기 위해 존재합니다.

논문의 미션: 보편적 번역기 구축

Rebecca Walwyn과 그녀의 팀이 이끄는 저자들은 이러한 복잡한 시험을 위한 공통 언어를 만들기 위해 나섰습니다. 그들은 단순히 실험실에 앉아 이론을 꿈꾼 것이 아니라, 이미 수행된 44개의 임상 시험을 살펴보았습니다. 또한 실생활 시나리오인 학교 내 아동 비만 감소 캠페인을 바탕으로 '이론적 예시'를 구축했습니다.

그들의 예시에서, 그들은 세 가지 수준이 있는 시스템을 상상했습니다:

• 구역(Districts): 거물급 결정권자들.
• 학교(Schools): 중간 관리자들.
• 교실(Classrooms): 최전선.

그들은 네 가지 서로 다른 '재료(중재 요인)'를 테스트하고자 했습니다:

1. 교육(Trainings): 교사들을 위한 것.
2. 정책(Policies): 구역에서 정한 규칙.
3. 메뉴(Menus): 학교에서 제공하는 음식.
4. 활동(Activities): 체육 시간에 일어나는 일.

이 논문의 주요 결과는 이 실험들을 배치하는 열 가지의 뚜렷한 방법이 있다는 것입니다. 이는 동전을 어떻게 던지고 어디에 재료를 적용하느냐에 따라 달라집니다. 저자들은 이 열 가지 설계를 명명하고 설명하기 위한 '분류 체계(taxonomy)'를 만들었습니다.

"분할 배치(split-plot) 방식을 했다"는 식의 원예 용어처럼 들리는 말 대신, 저자들은 모든 시험에 대해 명확한 세 부분의 설명을 제안합니다:

1. 중재 구조(Treatment Structure): 무엇을 테스트하는가? (예: 2x2 설계는 두 가지 재료가 있고, 각 재료는 '사용' 또는 '미사용'의 두 가지 버전을 가짐).
2. 단위 구조(Unit Structure): 실험 대상은 누구인가? 계층 구조(구역 안의 학교 안의 교실 안의 아이들)인가, 아니면 시간의 흐름이 학교와 교차하는 혼합 구조인가?
3. 무작위 배정 설계(Randomisation Design): 동전을 어떻게 던졌는가? 학교 전체를 무작위로 배정했는가, 아니면 학교 내부의 교실들만 무작위로 배정했는가?

열 가지 설계: 실험실 투어

저자들은 이 가능성들을 세 가지 주요 가족(family)으로 나누어, 비만 예시를 통해 어떻게 작동하는지 보여줍니다.

가족 1: 계층적 설계 (러시아 인형 구조)
이것은 가장 흔한 형태입니다. 아이들이 교실에 있고, 교실은 학교에 있으며, 학교는 구역에 속해 있는 학교 시스템을 상상해 보세요.

• 설계 A (단순한 형태): 학교 전체에 대해 동전을 한 번 던집니다. 학교는 새로운 메뉴와 새로운 교사 교육을 함께 받습니다. 이는 표준적인 "2x2" 테스트이지만, 학교 전체가 단위가 됩니다.
• 설계 B (분할 배치/Split-Plot): 여기서 영리함이 드러납니다. 메뉴를 결정하기 위해 학교에 대해 동전을 던집니다. 하지만 그 동일한 학교 내에서, 각 교실에 대해 교사 교육을 결정하기 위해 또 다른 동전을 던집니다. 이것은 '분할 배치' 설계와 같습니다. 학교 전체의 메뉴를 모든 교실마다 바꿀 필요는 없지만, 교육은 별도로 테스트할 수 있으므로 효율적입니다.
• 설계 C & D (심층 분석): 이것은 훨씬 더 복잡합니다. 설계 C는 결과 측정이 교실 단위가 아닌 개별 학생 단위로 이루어지는 층을 추가합니다. 설계 D는 세 번째 재료(구역 정책)를 추가하고, 이를 최상위 수준, 학교 중간 수준, 그리고 교실 하위 수준에서 무작위로 배정합니다. 이는 '분할-분할 배치(split-split-plot)' 설계입니다. 이를 통해 시스템의 어느 단계가 핵심적인 역할을 하는지 정확히 파악할 수 있습니다.

가족 2: 교차 분류 설계 (시간 여행자)
이 설계들은 시간이라는 요소를 추가합니다. 학교들은 동일하지만, 실험이 12개월 동안 진행된다고 상상해 보세요.

• 설계 E: 학교가 특정 처치(예: 새로운 정책)를 받고 12개월 동안 유지합니다. 매달 아이들을 측정합니다.
• 설계 F: 이것은 '교차(crossover)' 설계입니다. 학교가 3개월 동안 처치 A를 시도하고, 그다음 3개월 동안 처치 B를 시도하고, 다시 A, 다시 B를 반복합니다. 모든 학교가 시간이 흐름에 따라 모든 조합을 경험하는 '라틴 방격(Latin Square)' 댄스와 같습니다.
• 설계 G & H: 이들은 혼합된 형태입니다. 예를 들어, 구역은 12개월 동안 유지되는 정책을 갖지만, 시간의 흐름에 따라 매달 다른 교육을 받는 식입니다. 혹은 학교 메뉴는 매달 바뀌지만 구역 정책은 그대로 유지될 수도 있습니다. 이것은 '띠 배치(strip-plot)' 설계라고 불립니다. 시스템이 시간이 지나며 어떻게 '학습'하는지 보는 데 유용합니다.

가족 3: 혼합 설계 (궁극의 하이브리드)
이것은 강력한 모델입니다. 가족 1의 계층 구조와 가족 2의 시간 교차를 결합합니다.

• 설계 I & J: 구역 정책은 1년 동안 고정되어 있지만, 학교 메뉴는 매달 바뀌고, 교실 활동은 매주 바뀌는 시스템을 상상해 보세요. 혹은 교육 내용이 매달 바뀔 수도 있습니다. 이 설계들은 연구자들이 네 가지 서로 다른 재료를 네 가지 서로 다른 시스템 수준에서 테스트하면서, 동시에 시스템이 시간에 따라 어떻게 학습하고 적응하는지 추적할 수 있게 해줍니다.

논문의 성과 (그리고 한계)

저자들은 자신들이 무엇을 했고 무엇을 하지 않았는지 매우 명확히 밝히고 있습니다. 그들은 이 새로운 언어를 사용하는 것이 연구자들의 계획 수립을 돕고 통계학자들의 분석을 용이하게 할 것이라고 제안합니다. 또한, 이미 존재하는 44개의 실제 임상 시험이 이 범주에 들어맞는다는 것을 발견함으로써, 이러한 복잡한 설계가 단순히 이론적인 것이 아니라 현재 일차 의료, 학교, 병원에서 실제로 사용되고 있음을 증명했습니다.

그러나 이 논문은 이러한 설계가 항상 최선의 선택이라고 주장하는 것은 아님을 분명히 합니다. 오히려 그들은 네 가지 큰 실질적 과제를 강조합니다:

1. 시스템은 복잡하다: 실제 병원과 학교는 완벽한 상자가 아닙니다. 합병되기도 하고, 분리되기도 하며, 규모가 변하기도 합니다. 항상 완벽하게 '균형 잡힌' 실험을 할 수는 없습니다.
2. 오염(Contamination): 만약 교실 단위로 처치를 무작위 배정하면, 옆 교실 아이들이 이를 알게 되어 따라 할 수 있습니다. 이러한 '전이(spillover)'는 실험을 망칠 수도 있지만, 때로는 백신이 전체 집단을 보호하는 것처럼 좋은 것이 될 수도 있습니다.
3. 잔류 효과(Carryover): 만약 1월에 처치를 테스트하고 2월에 새로운 것으로 바꾼다면, 1월의 효과가 2월까지 남아있을 수 있습니다. 이는 시간 기반 설계에서 위험 요소입니다.
4. 의사소통: 의사나 학교 교장에게 왜 이렇게 복잡한 설계가 필요한지 설명하는 것은 어렵습니다. 그들은 그저 간단한 답을 원할 수도 있습니다. 저자들은 모두의 동의를 얻는 데 인내심과 명확한 소통이 필요하다고 언급합니다.

결론

이 논문은 마법 지팡이가 아니라 도구 상자입니다. 이 논문은 어떤 중재가 비만을 멈추거나 질병을 치료할 것인지 알려주는 것이 아닙니다. 대신, 연구자들이 질문을 던지는 더 나은 방법을 제공합니다. 이들은 이 열 가지 설계 방식을 통해 다층적이고 다시간적인 실험을 설정하는 명확한 지도를 제공함으로써, 이러한 복잡한 설계가 '불투명한 언어'에 갇혀 있는 것을 막고자 합니다.

저자들은 우리가 이 공통된 언어를 사용한다면, 문제가 고립되어 발생하는 것이 아니라 가족, 학교, 지역 사회를 통해 파동처럼 퍼져 나가는 실제 세상에 맞춤화된 더 나은 중재 방안을 구축할 수 있다고 제합니다. 이 논문은 복잡성을 피하는 것이 아니라, 그 복잡성을 받아들이는 것이 복잡한 중재를 테스트하는 미래라고 말합니다. 이제 다음 단계는 이 실험들의 규모를 정확히 정하고 데이터를 분석하는 방법을 알아내는 것이지만, 일단 지도는 마련되었습니다. 그리고 지도가 있다면, 아무리 엉킨 루빅스 큐브라도 풀 수 있습니다.