Scalable and Versatile Identification for Hierarchical Structural Causal Models: A New Look at Project STAR

데이터 과학의 세계에서 연구자들은 한 가지 요소가 다른 요소를 어떻게 변화시키는지 살펴보며 인과관계를 이해하려고 노력합니다. 의사가 새로운 약이 효과가 있는지 알아내려는 상황을 상상해 보십시오. 그들은 약을 복용한 환자와 복용하지 않은 환자를 비교할 수 있습니다. 하지만 현실은 그렇게 단순하지 않습니다. 사람들은 집단을 이루어 살아가며, 그 집단들은 그들만의 규칙, 환경, 그리고 숨겨진 영향력을 가지고 있습니다. 학생의 성적은 단지 개인의 노력뿐만 아니라 교사, 다른 학생들, 그리고 그 방에 모인 사람들의 특정한 조합에 의해서도 형성됩니다. 데이터가 학생 내부의 학급, 혹은 학급 내부의 학교와 같이 중첩된 계층 구조로 조직되어 있을 때, 표준적인 수치 분석 방식은 더 큰 그림을 놓치기 쉽습니다. 그들은 연결 고리를 찾아낼 수는 있지만, 집단 수준에서의 개입이 실제로 개인에게 어떻게 파급되는지는 이해하지 못할 수 있습니다. 이것이 계층적 데이터의 과제입니다. 즉, 우리의 측정값이 집단 내부의 개인으로부터 이루어질 때, 어떻게 집단 전체의 변화 효과를 측정할 것인가 하는 문제입니다.

한 연구팀이 이 특정 문제를 해결하기 위해 새로운 도구를 구축했습니다. 그들은 복잡하고 층위가 있는 데이터를 가져와 그 안의 진정한 인과관관계를 파악할 수 있는 완전한 자동화 시스템을 만들었습니다. 그들의 작업은 1980년대 테네시에서 진행된 '프로젝트 스타(Project STAR)'라는 유명한 실험을 중심으로 합니다. 이 연구에서 수천 명의 유치원생들은 소규모 학급, 일반 규모 학급, 또는 보조 교사가 추가된 일반 학급으로 무작위 배정되었습니다. 목표는 작은 학급 규모가 학생들의 학습에 도움이 되는지 확인하는 것이었습니다. 수십 년 동안 과학자들은 이 데이터를 분석해 왔지만, 대개 모든 학생을 독립적인 데이터 포인트로 취급하여 같은 학급 내의 학생들이 동일한 환경을 공유한다는 사실을 간과했습니다. 이 팀이 개발한 새로운 시스템은 이러한 접근 방식을 바꿉니다. 학생을 하나씩 보는 대신, 학급 전체를 하나의 분석 단위로 취급하며, '처치(treatment)'인 학급 규모가 개인이 아닌 집단의 특징임을 인식합니다.

연구진은 데이터에 대한 두 가지 서로 다른 사고방식 사이를 이어주는 번역기 역할을 하는 파이프라인을 개발했습니다. 먼저, 그들은 변수 간의 관계를 매핑하여 학급 규모, 학생의 성별, 인종과 같은 요인들이 시험 점수에 어떻게 영향을 미칠 수 있는지에 대한 시각적 다이어그램을 만듭니다. 그다음, 이 다이어그램에 일련의 논리적 규칙을 적용하여 데이터로부터 정확히 무엇을 배울 수 있는지 결정합니다. 이 단계는 매우 중요한데, 어떤 수학적 공식이 답을 계산하는 데 필요한지를 알려주기 때문입니다. 혁신은 이 공식들을 다루는 방식에 있습니다. 하나의 거대하고 복잡한 방정식을 한꺼번에 풀려고 시도하는 대신, 그들의 시스템은 문제를 작고 관리 가능한 여러 조각으로 나눕니다. 시스템은 각 학급의 구체적인 세부 사항을 사용하여 각 학급별로 다양한 결과의 확률을 계산한 다음, 이 작은 결과들을 결합하여 최종적인 답을 얻습니다. 이 접근 방식은 시스템이 방대한 양의 데이터를 효율적으로 처리할 수 있게 하며, 각 집단의 고유한 특성이 평균에 의해 희석되지 않고 보존되도록 보장합니다.

연구팀이 이 새로운 방법을 프로젝트 스타 데이터에 적용했을 때, 그들은 놀라운 사실을 발견했습니다. 집단 구조를 무시하는 전통적인 통계 방법은 학생을 작은 학급으로 옮겼을 때 수학 점수가 약 9점 상승할 것이라고 시사했습니다. 그러나 학급 수준의 처치 특성을 존중하는 새로운 계층적 방법은 훨씬 더 큰 효과, 즉 거의 37점에 달하는 점수 상승을 추정했습니다. 이 차이는 실수가 아닙니다. 이는 데이터가 작동하는 근본적인 진실을 드러냅니다. 표준적인 방법들은 학생과 작은 학급 사이의 연관성을 측정했을 뿐이지만, 새로운 시스템은 학급 구성 자체가 학습 환경을 어떻게 변화시키는지에 대한 더 깊은 메커념을 포착했습니다. 새로운 시스템은 학급 규모의 효과가 단순히 학생의 점수에 더해지는 숫자가 아니라, 학생들의 조합, 교사, 그리고 그 방의 특정한 역동성이 포함된 복잡한 상호작용임을 보여주었습니다.

또한 이 연구는 이러한 계산의 안정성을 점검하는 것의 중요성을 강조했습니다. 시스템이 각 학급 내의 많은 다양한 요인에 대한 확률을 추정하는 데 의존하기 때문에, 특히 학습할 학생 수가 적은 학급의 경우 일부 추정치가 불안정할 수 있습니다. 연구진은 시스템에 안전 점검 기능을 구축하여 이러한 불안정한 부분을 식별하고, 그것이 최종 결과에 왜곡을 일으키지 않도록 조정했습니다. 이 단계는 그들이 발견한 큰 차이가 수학적 오류가 아니라 견고한 발견임을 보장합니다. 그들은 정답을 미리 알고 있는 가상의 데이터로 시스템을 테스트했으며, 시스템이 완벽하게 작동함을 확인하여 복잡한 구조 속에서도 진실을 정확하게 복구할 수 있음을 증명했습니다.

이 연구의 결과는 우리가 교육 및 기타 분야에서 집단 수준의 개입이 가진 힘을 과소평가해 왔음을 시사합니다. 학급을 고립된 개인들의 집합이 아닌 하나의 상호 연결된 단위로 취급함으로써, 우리는 상위 수준의 변화가 하위 수준에 어떻게 영향을 미치는지 더 명확한 그림을 볼 수 있습니다. 연구진은 자신들의 방법이 완벽하다거나 데이터 과학의 모든 문제를 해결한다고 주장하지 않았습니다. 그들은 현재의 도구가 학생과 학급처럼 두 단계의 계층 구조에서 가장 잘 작동하며, 실제 교육 시스템에는 학교와 같은 세 번째 단계가 존재하여 또 다른 복잡성을 더할 수 있다고 언급했습니다. 또한 결과의 정확도는 측정하는 모든 요인에 대한 양질의 데이터 보유 여부에 크게 좌우된다는 점도 지적했습니다. 핵심 정보가 누락되거나 추정하기 어려운 경우, 최종 결과는 주의해서 다뤄져야 합니다.

궁극적으로, 이 논문은 데이터를 통해 세상을 바라보는 새로운 방식을 제안합니다. 이는 단순히 "이것이 효과가 있는가?"라는 질문을 넘어 "집단 내에서 이것이 어떻게 작동하는가?"를 묻습니다. 추상적인 논리 규칙과 실행 가능하고 확장 가능한 컴퓨터 코드 사이의 가교를 구축함으로써, 연구팀은 엄격하면서도 유연한 방식으로 계층적 데이터를 분석할 수 있는 방법을 제공했습니다. 프로젝트 스타 데이터에 대한 그들의 작업은 데이터의 구조를 고려할 때 우리가 얻는 답이 전통적인 방식보다 얼마나 극적으로 달라질 수 있는지, 그리고 훨씬 더 의미 있을 수 있는지를 보여주는 강력한 사례입니다. 그들이 작성한 코드는 이제 다른 사람들이 사용할 수 있도록 공개되어, 과학자들이 집단과 개인이 서로에게 어떻게 영향을 미치는지에 대한 질문에 이와 같은 세심하고 층위 있는 사고를 적용할 수 있도록 돕고 있습니다.