Challenging Data Aggregation Practices: A MAIHDA Study of Asian Student Outcomes in Introductory Physics

기술적 요약: 데이터 집계 관행에 대한 도전: 초급 물리학에서의 아시아계 학생 성과에 대한 MAIHDA 연구

문제 제기
본 논문은 교육 연구 및 정책에서 아시아계 미국인 학생들을 단일한 동질적 범주로 집계하는 관행의 만연함에 대처한다. 이러한 집계는 "모델 소수자 신화"를 강화하는데, 이는 다양한 아시아 공동체를 균일하게 고득점 집단으로 동질화함으로써 특정 민족 하위 집단 간의 중요한 교육적 격차를 가린다. 저자들은 "아시아인"을 단일 층위로 취급하는 것이 불평등을 가리고, 특정 공동체 (예: 동남아시아계 또는 태평양 섬 주민 하위 집단) 가 직면한 도전을 보이지 않게 만들어 표적 개입을 방해한다고 주장한다. 본 연구는 특히 초급 미적분 기반 물리학 과정의 시작과 끝에서 아시아계 인종 및 민족 하위 집단 간 평균 물리 개념 지식이 변하는지 조사하여 동질성 가정에 도전한다.

연구 방법
본 연구는 64 개 미국 기관의 493 개 미적분 기반 물리학 과정에 등록한 16,810 명의 학생으로 구성된 LASSO(과학 및 기타 학습 평가 시스템) 플랫폼의 대규모 데이터 세트를 활용한다. 데이터는 2015 년 가을부터 2023 년 가을까지의 기간을 포괄한다.

• 데이터 출처: 분석은 뉴턴 역학을 측정하는 두 가지 연구 기반 평가 (RBA) 에 초점을 맞춘다: 힘 개념 인벤토리 (FCI) 와 힘 및 운동 개념 평가 (FMCE).
• 데이터 구조: 데이터 세트에는 10,723 개의 FCI 응답과 6,087 개의 FMCE 응답이 포함된다. 저자들은 집계된 "아시아 계층"(2022 년 이전 수집 데이터) 과 19 개의 분리된 아시아 하위 집단 (2022 년 여름부터 2023 년 가을까지 수집 데이터) 을 구분한다. 분석적 엄밀성을 유지하면서 익명성을 보호하기 위해 19 개의 하위 집단은 1 번 그룹부터 19 번 그룹까지로 표기된다.
• 데이터 처리: 결측 데이터 (사전 검사 20% 결측, 사후 검사 31% 결측) 는 Blimp 소프트웨어를 통한 다중 대체법 (MI) 으로 처리되었으며, 위계적 구조 (학생이 과정 내에 중첩되고, 과정이 기관 내에 중첩됨) 를 사용하였다.
• 분석 프레임워크: 본 연구는 두 가지 이론적 프레임워크에 기반한다: 아시아계 미국인 경험을 중심에 두고 동질화 서사를 도전하는 아시아 비판 (AsianCrit) 이론과, 데이터 범주 및 통계적 방법이 중립적이지 않으며 체계적 편향을 재생산할 수 있다고 주장하는 양적 비판적 인종 이론 (QuantCrit).
• 통계 모델: 저자들은 **개체 이질성 및 차별 정확도 다단계 분석 (MAIHDA)**을 적용하였다. 이 베이지안 다단계 모델링 접근법은 여러 상호작용 항을 사용하는 대신 개인을 교차적 정체성 집단 (층) 내에 중첩시킨다. 이 모델은 3 단계 교차 분류 구조이다: 1 단계 (시험 점수), 2 단계 (학생), 3 단계 (과정 등록 및 인종/민족 층에 의해 교차 분류됨). 분석은 집계된 아시아 계층과 19 개의 분리된 하위 집단에 대한 사후 분포를 생성하여 예측된 사전 및 사후 검사 평균과 95% 호환성 구간 (CI) 을 추정하였다.

주요 결과
분석은 집계된 아시아 계층 데이터에 의해 숨겨졌던 19 개 아시아 하위 집단 간의 물리 수행 능력에 상당한 이질성이 있음을 드러냈다.

• 성적 범위: 19 개 하위 집단 간의 예측 평균 점수는 사전 검사에서 15.8 퍼센트 포인트(35.1 에서 50.9 까지) 로, 사후 검사에서는 15.4 퍼센트 포인트(49.5 에서 64.9 까지) 로 나타났다.
• 집계 데이터와의 비교: 사전 및 사후 검사 모두에서 하위 집단 수행 능력의 범위는 16 주 전체 과정에 걸친 집계된 아시아 계층의 총 학습 이득 (14.4 퍼센트 포인트) 을 초과하였다.
• 심각한 격차: 최저 성적 하위 집단의 사후 검사 평균 (49.5) 은 최고 성적 하위 집단의 사전 검사 평균 (50.9) 과 거의 동일하여, 약 한 학기 분량의 교육에 해당하는 수행 격차를 나타냈다.
• 통계적 편차:
  • 사전 검사 시 11 개 하위 집단이 집계된 아시아 계층의 95% CI 를 벗어났으며, 사후 검사 시에는 15 개 하위 집단이 이를 벗어났다.
  • 더 엄격한 기준 (하위 집단의 전체 95% CI 가 층의 95% CI 를 완전히 벗어날 때) 하에서 두 개 하위 집단 (9 번 그룹과 18 번 그룹) 은 두 시점 모두에서 완전한 중첩 부재를 보였다.
  • 19 개 하위 집단 추정치와 집계된 아시아 계층 추정치 간의 평균 절대 오차 (MAE) 는 사전 검사에서 3.9 퍼센트 포인트, 사후 검사에서 4.0 퍼센트 포인트였다. 저자들은 이는 16 주 과정의 약 4~5 주 분량의 학습에 해당한다고 언급한다.

주요 기여

1. 이질성에 대한 경험적 증거: 본 연구는 물리 교육에서 "아시아인" 범주가 동질적이지 않다는 정량적 증거를 제공한다. 데이터를 단일 층위로 집계하는 것이 한 학기 분량의 교육에 해당하는 큰 격차를 숨긴다는 것을 보여준다.
2. 방법론적 적용: 본 논문은 STEM 교육에서 교차적 정체성 집단을 분석하기 위해 QuantCrit 프레임워크 내에서 MAIHDA 를 성공적으로 적용하여, 복잡한 상호작용 항에 의존하지 않고 하위 집단 이질성을 조사하는 강력한 통계적 방법을 제공한다.
3. 집계 관행에 대한 비판: 이는 교육 연구에서 일반적인 데이터 집계 관행의 타당성에 도전하며, 이러한 관행이 특정 하위 집단의 저성과를 평균 대비 가림으로써 모델 소수자 신화를 부주의하게 강화할 수 있음을 보여준다.

의의 및 주장
저자들은 그들의 발견이 일반적인 집계 관행이 숨기는 격차를 식별하기 지원하기 위해 세밀한 정체성 데이터 수집의 필요성을 보여준다고 주장한다. 그들은 모든 학생을 효과적으로 지원하고 STEM 참여를 확대하는 교육 정책 및 관행을 개발하기 위해 분리된 데이터가 전제 조건이라고 주장한다.

본 논문은 관찰된 격차의 구체적인 원인 (예: 이주 역사, 영어 능력, 사회경제적 지위) 이 이 데이터 세트만으로 식별될 수는 없지만, 이러한 격차의 존재는 명확하다고 겸손하게 결론지었다. 저자들은 하위 집단 수준의 분석 없이는 불평등이 숨겨져 연구자와 교육자가 가장 필요한 곳에 자원을 할당할 수 없다고 주장한다. 그들은 분리화가 표본 크기 감소와 더 넓은 신뢰 구간과 같은 방법론적 도전을 도입하지만, 정밀성과 균형을 맞추는 것이 형평성 중심 연구를 발전시키는 데 필수적이라고 강조한다. 본 연구는 구체적인 미래 개입을 제안하지는 않지만, 이러한 분석을 가능하게 하기 위해 유연하고 세밀한 정체성 데이터의 지속적인 수집을 요구한다.