Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

교육과 치료의 세계에서 연구자들은 지속적인 난제에 직면해 있습니다. 바로 새로운 방법이 실제로 사람의 학습이나 행동을 개선하는지를 어떻게 측정할 것인가 하는 문제입니다. 수십 년 동안 과학계는 두 가지 매우 다른 증거 수집 방식에 의존해 왔습니다. '집단 설계(group design)'라고 알려진 한 가지 접근법은 많은 수의 사람을 모아 팀으로 나누고, 새로운 처치를 받는 팀의 평균 결과와 표준 케어를 받는 팀의 결과를 비교합니다. 이 방법은 인구 집단 전반에 걸친 광범위한 추세를 파악하는 데 강력합니다. 또 다른 접근법인 '단일 사례 실험 설계(single-case experimental design)'는 한 번에 한 개인에게 집중합니다. 연구자들은 한 개인을 면밀히 관찰하고, 특정 중재를 도입하며, 그 사람이 요청을 하거나 과제에 집중하는 것과 같은 구체적인 행동이 시간에 따라 어떻게 변하는지 추적합니다. 두 방법 모두 엄격하지만, 역사적으로 서로 다른 언어를 사용해 왔습니다. 집단 연구는 전체 집단이 어떻게 변했는지를 설명하는 숫자를 만들어내는 반면, 단일 사례 연구는 개인이 어떻게 변했는지를 설명하는 숫자를 만들어냅니다. 이 숫자들은 계산 방식이 다르기 때문에, 자폐 스펙트럼 장애가 있는 학생들에게 무엇이 최선인지에 대해 하나의 명확한 그림으로 결합하기가 어려웠습니다.

이러한 어려움은 교육자와 정책 입안자들에게 사각지대를 만듭니다. 만약 어떤 기술이 한 그룹의 아이들의 사회적 기술을 특정 정도만큼 향상시킨다면, 그리고 다른 아이들의 의사소통 능력을 다른 정도만큼 향상시킨다면, 그 기술이 전반적으로 정말 효과적이라고 어떻게 알 수 있을까요? 문제는 연구들이 서로 다르게 보인다는 점뿐만 아니라, 성공을 측정하는 도구들이 서로 호환되지 않는다는 점입니다. 전통적인 도구들은 종종 개선의 크기와 개인 간의 결과 변동성을 혼동하거나, 관찰 기간에 따라 그 의미가 변하기도 합니다. 이를 해결하기 위해 텍사스 A&M 대학교의 웬 루오(Wen Luo)가 이끄는 연구팀은 새로운 '측정 자'를 만들기 위해 나섰습니다. 그들은 단일 개인과 집단의 결과를 동일한 언어로 번역하여 서로 나란히 비교할 수 있는 방법을 원했습니다. 그들은 '발생률 비(incidence rate ratio)'라고 불리는 특정 유형의 측정에 집중했습니다. 쉽게 말해, 이것은 단순한 비율 비교입니다. 즉, 처치 전과 비교했을 때 처치 중에 해당 행동이 얼마나 더 많이 발생했는지를 묻는 것입니다. 이 비율을 사용함으로써, 연구자들은 중재의 효과를 전문적인 훈련이 필요한 복잡한 통계 점수가 아니라, 직관적인 백분율 증가 또는 감소로 표현할 수 있었습니다.

연구진은 이 새로운 접근법을 테스트하기 위해 기술 지원 교육(technology-aided instruction)에 관한 기존 연구들을 재검토했습니다. 다른 과학자들이 2017년에 수집한 이 원래의 컬렉션에는 집단 설계와 단일 사례 설계를 사용한 수십 개의 연구가 포함되어 있었습니다. 연구팀은 얼굴 표정 인식 능력부터 도움 요청 빈도나 대화 참여도에 이르기까지 36가지의 구체적인 결과들을 재검토했습니다. 그들은 단일 사례 연구에 새로운 비율 기반 방식을 적용했고, 집단 연구에도 그에 맞는 비율 방식을 적용했습니다. 목표는 이 두 가지 유형의 연구가 이 새로운 렌즈를 통해 보았을 때 일관된 이야기를 들려주는지 확인하는 것이었습니다. 결과는 두 설계가 성공을 측정하는 방식에 있어 명확하고 정량적인 차이가 있음을 드러냈습니다. 집단 연구에서는 기술 중재가 대조군에 비해 평균 약 23%의 개선을 이끌어낸 것으로 나타났습니다. 즉, 처치 그룹의 학생들은 특정 기술 보조를 받지 않은 학생들보다 약 4분의 1 정도 더 나은 성과를 보였습니다.

그러나 단일 사례 연구는 훨씬 더 극적인 이야기를 들려주었습니다. 연구진이 단일 사례에 동일한 비율 기반 논리를 적용했을 때, 중재는 기초선(baseline)에 비해 긍정적인 결과가 4배 이상 증가했음을 발견했습니다. 이는 연구에 참여한 개별 학생들에게 있어, 개선하고자 했던 행동이 중재가 시작된 후 이전보다 4배 넘게 더 자주 발생했음을 의미합니다. 23%의 증가와 4배의 증가 사이의 차이는 놀라웠으며, 처음에는 이것이 데이터의 모순처럼 보였습니다. 하지만 연구진은 이 격차를 오류나 데이터의 결함으로 치부하지 않았습니다. 대신, 그들은 새로운 지표를 사용하여 왜 숫자가 그렇게 다르게 보이는지를 설명했습니다. 그들은 두 유형의 연구가 본질적으로 서로 다른 출발점에서 시작했다는 것을 발견했습니다. 집단 연구는 종종 새로운 기술을 학생들이 이미 어느 정도의 기술을 보유하고 있는 표준 교실 환경이나 다른 유형의 교육과 비교했습니다. 반면, 단일 사례 연구는 종로 종종 중재 전 대상 행동의 수준이 매우 낮은 학생들로부터 시작했습니다. 출발점이 매우 낮았기 때문에, 아주 작은 절대적 개선만으로도 거대한 백분율 증가가 나타난 것입니다.

이러한 구분은 매우 중요한데, 왜냐하면 이것이 우리가 중재의 성공을 해석하는 방식을 바꾸기 때문입니다. 새로운 방법은 단일 사례 연구에서 나타나는 큰 수치들이 반드시 개인에게서 중재가 집단보다 더 잘 작동했다는 신호가 아니라, 오히려 개인의 기초선이 훨씬 낮았음을 보여준다는 점을 명확히 했습니다. 비율 기반 측정법은 절대적인 차이가 아닌 상대적인 변화에 집중함으로써 이를 명확히 했습니다. 또한 기존 방법론의 주요 약점을 부각했습니다. 전통적인 도구들은 개선의 크기를 데이터의 변동성과 혼합하여, 큰 효과가 실제적인 것인지 아니면 단순히 점수가 얼마나 퍼져 있는지에 따른 결과인지를 구별하기 어렵게 만들었습니다. 새로운 비율 접근법은 이 함정을 완전히 피하여, 점수가 얼마나 변동하든 혹은 관찰 세션이 얼마나 길든 상관없이 안정적인 결과를 제공했습니다. 또한 누구나 이해할 수 있는 숫자를 제공했습니다. 4배의 증가는 구체적인 개념이지만, 복잡한 통계 점수는 그렇지 않습니다.

이 연구는 또한 이러한 서로 다른 결과가 연구가 출판되는 방식의 편향 때문인지에 대한 질문도 다루었습니다. 연구자들이 엄청난 개선을 보여주는 단일 사례 연구는 더 많이 발표하고, 효과가 작거나 없는 연구는 무시하는 경 경향이 있다는 우려는 흔한 것입니다. 연구진은 이러한 편향이 존재할 수 있음을 인정하면서도, 그들의 분석은 그것이 전부는 아니라고 시사했습니다. 데이터는 결과의 차이가 주로 연구가 어떻게 설정되었고 무엇을 측정하고 있는지의 근본적인 차이에서 기인한다는 것을 나타냈습니다. 집단 연구는 기술이 기존에 가용했던 것보다 더 나은지를 테스트하고 있었던 반면, 단일 사례 연구는 기술이 거의 없거나 아주 낮은 상태로부터 큰 변화를 만들어낼 수 있는지를 테스트하고 있었던 것입니다. 두 가지 결과 모두 타당하지만, 서로 다른 질문에 답하고 있습니다. 집단 연구는 기술이 표준적인 관행보다 완만하지만 의미 있는 이점을 제공한다는 것을 시사하며, 단일 사례 연구는 기술이 매우 낮은 기능 수준에서 시작하는 학생들에게 혁신적인 변화를 일으킬 수 있음을 입증합니다.

이 두 세계를 연결함으로써, 연구진은 증거를 종합하기 위한 더 명확한 경로를 제공했습니다. 그들은 서로 다른 유형의 연구 결과들을 하나의 오해의 소지가 있는 숫자로 강요하지 않고도 결합할 수 있음을 보여주었습니다. 새로운 방법은 과학자들이 전체적인 그림을 볼 수 있게 해줍니다. 즉, 기술 지원 교육이 효과적이지만, 그 영향력은 맥락과 학생들의 출발점에 따라 다르게 나타날 수 있다는 것입니다. 연구는 단 하나의 숫자가 중재의 효과성에 대한 전체 진실을 포착할 수는 없다고 결론짓습니다. 대신, 연구자와 실무자들은 중재의 힘의 범위를 이해하기 위해 상대적 변화와 절대적 변화를 모두 살펴봐야 합니다. 이러한 접근 방식은 교육과 치료에 대한 결정이 부분적인 시각에 머물러 학생들의 반응에 대한 미묘한 차이를 놓치는 것이 아니라, 증거에 대한 완전하고 정확한 이해에 기반하도록 보장합니다. 이 연구는 우리가 변화를 측정하는 올바른 도구를 사용할 때, 단순히 무언가가 작동한다는 사실뿐만 아니라, 정확히 어떻게 그리고 누구에게 가장 잘 작동하는지를 볼 수 있다는 것을 보여줍니다.