Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신에게 주어진 것은 단 하나의 범죄 현장이 아니라, 수백만 개의 단서로 가득 찬 거대하고 반짝이는 창고입니다. 이것이 바로 '빅데이터' 과학의 세계에서 일어나는 일입니다. 연구자들은 전 세계의 수천 명의 교사와 같은 거대한 집단을 연구하며 사물이 어떻게 작동하는지 이해하려고 노력합니다. 하지만 까다로운 점은, 단서가 너무 많으면 그 단서들을 수백만 가지 방식으로 배열하여 서로 다른 이야기를 만들어낼 수 있다는 것입니다. 당신은 빨간색 단서에만 집중하기로 결정할 수도 있고, 방 왼쪽의 단서들은 무시할 수도 있으며, 색깔 대신 크기별로 그룹을 나눌 수도 있습니다. 이러한 각각의 선택은 정원을 통과하는 서로 다른 길을 걷는 것과 같습니다. 만약 당신이 한 경로를 택한다면 숨겨진 보물을 발견할 수도 있지만, 다른 경로를 택한다면 막다른 길을 마주할 수도 있습니다. 이 개념을 '갈림길의 정원(garden of forking paths)'이라고 부르며, 이는 때때로 우리가 들려주는 이야기가 실제 발견한 단서보다 탐정이 어떤 경로를 선택했는지에 더 많이 달려 있을 수 있음을 시사합니다.

노르웨이 오슬로 대학교의 마크 화이트(Mark White)가 작성한 이 논문은 TALIS 2018이라는 거대한 데이터셋(여러 국가의 교사들을 대상으로 조사한 자료)을 사용하여 이 문제를 깊이 있게 파고듭니다. 저자는 교사 교육(유도 과정, induction)에 관한 유명하고 인용이 많이 된 연구가 보여준 '이야기'가 실제로 사실인지, 아니면 단지 정원의 특정 경로를 지나갔을 때 우연히 나타난 결과인지를 확인하고자 했습니다. 이 논문은 데이터를 처리하는 단 한 가지 방법만을 살펴보는 것이 아니라, 숫자를 계산하는 거의 50만 가지의 서로 다른 방법을 시도합니다. 이것은 마치 50만 명의 서로 다른 탐정에게 약간씩 다른 규칙을 사용하여 동일한 사건을 해결하도록 요청한 뒤, 그들이 모두 동일한 범인을 찾아내는지 확인하는 것과 같습니다. 목표는 원래의 연구가 "틀렸다"라고 말하는 것이 아니라, 과정 중에 내린 선택들에 따라 결과가 크게 달라질 수 있음을 보여줌으로써 무엇이 정말 "진짜" 답인지 알기 어렵게 만든다는 점을 보여주는 것입니다.

백만 개의 경로가 있는 정원

저자가 조사하고 있는 원래의 연구를 보물 상자로 가는 지도라고 생각해 보세요. 그 지도는 특정 교사 교육 활동(예: 팀 티칭이나 일기 쓰기 등)이 교사들을 더 행복하고 유능하게 만드는 열쇠라고 주장했습니다. 지도를 그린 연구자들은 보물을 찾기 위해 특정한 규칙들을 사용했습니다. 그들은 미국 교사들을 관찰했고, 전임 근무자만을 포함했으며, 교육과 결과를 연결하는 특정한 수학 공식을 사용했습니다. 그들은 빛나는 보물 상자를 발견하고는 "보라! 교육은 효과가 있다!"라고 말했습니다.

하지만 마크 화이트는 의문을 품었습니다. "만약 우리가 규칙을 아주 조금만 바꾼다면 어떻게 될까?" 만약 우리가 미국 대신 호주나 뉴질랜드의 교사들을 본다면 어떨까요? 만약 우리가 교직 생활의 첫 해에 있는 교사들만 본다면 어떨까요? 만약 우리가 수학 공식을 약간 바꾼다면 어떨까요? 이에 답하기 위해 화이트는 단순히 추측하는 대신, '멀티버스(multiverse)'를 구축했습니다. 과학에서 멀티버스 분석이란 모든 합리적인 규칙의 조합을 한꺼번에 테스트하는 시뮬레이션을 실행하는 것과 같습니다.

이 경우, 화이트는 연구자가 돌릴 수 있는 13가지의 서로 다른 '노브(knob, 조절 장치)'를 식별했습니다. 여기에는 다음과 같은 결정들이 포함되었습니다:

• 누구를 포함할 것인가? (신입 교사만 포함할 것인가, 아니면 모든 교사를 포함할 것인가? 미국만을 볼 것인가, 아니면 다른 영어권 국가들도 포함할 것인가?)
• 어떤 숫자를 사용할 것인가? (설문 조사 인원을 고려하여 수학적 조정을 할 것인가, 아니면 단순히 모든 사람을 동일하게 계산할 것인가?)
• 교육을 어떻게 측정할 것인가? (전체 교육 프로그램을 볼 것인가, 아니면 아주 작은 단위로 나눌 것인가?)

이러한 선택들을 모두 곱하면 놀라운 숫자가 나옵니다: 497,664개의 서로 다른 가능한 데이터 분석 방식이 나옵니다. 이는 정원을 통과하는 거의 50만 개의 서로 다른 경로입니다. 화이트는 이 모든 경로에 대해 분석을 수행했습니다.

변화하는 보물

결과는 다소 충격적이었습니다. 화이트가 '멀티버스'의 결과들을 살펴보았을 때, 그는 보물 상자가 모든 경로에서 같은 곳에 있지 않다는 것을 발견했습니다.

497,664개의 분석 중 일부에서는 교육 활동이 교사들을 믿을 수 없을 정도로 행복하고 유능하게 만드는 마법 지팡이처럼 보였습니다. 다른 분석들에서는 똑같은 교육 활동이 오히려 교사들에게 해가 되어 그들을 덜 유능하게 만드는 것처럼 보이기도 했습니다. 또 다른 많은 경로에서는 교육이 아무런 효과가 없는 것처럼 보이기도 했습니다.

논문은 이 현상을 거대한 그래프(원문 텍글의 그림 1)로 보여줍니다. 왼쪽 끝에서 오른쪽 끝까지 뻗어 있는 점들의 선을 상상해 보세요. 왼쪽 끝의 점들은 교육이 재앙이었던 분석들을 나타냅니다. 오른쪽 끝의 점들은 교육이 기적이었던 분석들을 나타냅니다. 중간의 점들은 교육이 중요하지 않았던 분석들을 나타냅니다. 무서운 점은 양쪽 모두에 초록색 점(즉, "통계적으로 유의미함" 또는 "실제함"을 의미)이 있다는 것입니다. 이는 거의 모든 특정 교육 활동과 특정 교사 결과에 대해, 연구자가 그것이 엄청난 성공임을 증명할 수 있는 "합리적인" 방법과 그것이 엄청난 실패임을 증명할 수 있는 또 다른 "합리적인" 방법을 모두 찾아낼 수 있음을 의미합니다.

원래의 연구는 이 정원의 특정 경로를 선택하여 긍정적인 결과를 찾아냈습니다. 그러나 화이트의 멀티버스 분석은 이 결과가 반드시 "진정한 진실"은 아닐 수도 있음을 시사합니다. 그것은 수십만 가지 가능한 진실 중 하나였을 뿐이며, 어떤 경로를 택할지에 대한 선택은 다소 임의적이었다는 것입니다.

이것이 왜 중요한가

이 논문은 교사 교육이 쓸모없다고 말하는 것이 아닙니다. 원래 저자들이 틀렸다고 말하는 것도 아닙니다. 대신, 우리가 과학을 수행하는 방식에 있는 미묘하지만 거대한 문제를 강조합니다. "교사 교육이 도움이 되는가?"와 같이 연구 질문이 다소 모호할 때, 답을 내놓는 방법이 너무나 다양해서 그 답은 연구자가 조사를 시작하기도 전에 내린 선택들에 의해 결정되는 경우가 많습니다.

저자는 이를 "갈림길의 정원"이라고 부릅니다. 당신이 어떤 경로 위에 있는지 모른다면, 당신이 발견한 보물이 진짜인지 아니면 단지 선택된 특정 경로의 결과인지 확신할 수 없습니다. 이 논문은 우리가 단일하고 명확한 결과를 담은 연구를 볼 때, 조금 더 호기심을 가져야 한다고 제안합니다. 우리는 "만약 그들이 다른 경로를 선택했다면 어땠을까?"라고 물어야 합니다.

거의 50만 번의 분석을 수행함으로써, 이 논문은 교사 교육에 대한 "진실"이 단 하나의 헤드라인이 시사하는 것보다 훨씬 더 복잡하고 불확실하다는 것을 보여줍니다. 이 논문은 더 나은 새로운 답을 주는 것이 아니라, 우리가 얼마나 불확실한지를 훨씬 더 명확하게 보여줍니다. 이것은 과학의 정원에는 많은 경로가 있으며, 때로는 당신이 선택하여 걷는 경로에 따라 풍경이 완전히 바뀔 수 있다는 점을 상기시켜 줍니다.