📊 statistics

A median-based estimate of effect size - toward more intuitive comparisons in mathematics education research

이 논문은 집단 값을 중앙값과 비교함으로써 왜도(skewed distributions), 이상치(outliers) 및 작은 표본 크기에 대한 민감도를 줄이는 동시에 학생 성취에 대한 실질적인 해석과 더 잘 부합하도록 하여, 코헨의 d(Cohen's d)보다 더 직관적이고 강건한 대안을 제공하는 수학교육 연구를 위한 중앙값 기반 효과 크기 지표를 소개한다.

원저자: Gary Davis, Mercedes McGowen, Sara Dalton Bildik, Donghui Yan

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gary Davis, Mercedes McGowen, Sara Dalton Bildik, Donghui Yan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "얼마나" 더 나은지를 측정하는 법

당신이 새로운 수학 교수법을 시도하는 교사라고 상상해 보세요. 당신은 알고 싶습니다: 이 방법이 실제로 효과가 있었는가? 그리고 학생들의 성적이 얼마나 더 좋아졌는가?

보통 연구자들은 이 질문에 답하기 위해 **코헨의 d(Cohen's d)**라는 표준 도구를 사용합니다. 코헨의 d를 "표준 편차"로 만들어진 자라고 생각해보세요. 이것은 매우 정밀한 수학적 자이지만, 몇 가지 결함이 있습니다:

취약함: 만약 한 학생이 터무니없이 높거나 낮은 점수를 받는다면(이상치), 이 자는 망가져서 잘못된 수치를 보여줄 수 있습니다.
혼란스러움: 이것은 차이를 "표준 편차" 단위로 알려주는데, 이는 대부분의 사람이 시각화하기 어렵습니다. 마치 "새 자동차가 '엔진 효율 단위'로 1.5만큼 더 빠릅니다"라고 말하는 것과 같습니다. 이는 실제 속도가 얼마인지 알려주지 못합니다.
완벽한 모양을 가정함: 이 도구는 데이터가 완벽한 종 모양(정규 분포)일 때 가장 잘 작동합니다. 하지만 실제 수학 시험 점수는 종종 엉망이거나, 한쪽으로 치우쳐 있거나, 예상치 못한 변수가 많습니다.

새로운 해결책: "중앙값" 나침반

이 논문의 저자들은 **중앙값 기반의 효과 크기 추정치(median-based estimate of effect size)**라는 새롭고 더 단순한 도구를 제안합니다.

평균(mean)과 점수의 퍼짐 정도를 보는 대신, 이 새로운 도구는 중앙값(가운데 점수)을 보고 다음과 같은 간단한 질문을 던집니다:

"만약 내가 그룹 A에서 무작위로 한 학생을 뽑는다면, 그 학생이 그룹 B의 중앙값보다 높은 점수를 받을 확률은 얼마인가?"

비유: 동전 던지기

저자들은 이를 동전 던지기로 설명합니다.

그룹 A와 그룹 B가 완전히 같다면, 그룹 A의 학생이 그룹 B의 중앙값보다 높은 점수를 받을 확률은 50/50입니다. 이는 공정한 동전 던지기와 같습니다.
만약 그룹 A가 훨씬 뛰어나다면, 아마도 **90%**의 경우에 그룹 A의 학생이 그룹 B의 중앙값을 이길 것입니다. 이는 동전이 "앞면"이 나오도록 무게가 실려 있는 것과 같습니다.

새로운 도구는 단순히 그 동전이 얼마나 "무게가 실려 있는지"를 측정합니다.

0.0은 두 그룹이 동일함을 의미합니다 (공정한 동전).
1.0은 그룹 A가 거의 항상 더 나음을 의미합니다.
-1.0은 그룹 A가 거의 항상 더 낮음을 의미합니다.

왜 수학 교육에 더 좋은가

이 논문은 수학 교육 데이터가 종종 엉망이라는 점을 주장합니다. 학생들 사이에 지식 격차가 매우 크거나, 몇몇 학생은 만점을 받는 반면 다른 학생들은 고전할 수도 있습니다.

기존 방식 (코헨의 d): 한 학생이 우연히 만점을 받으면 평균이 올라가고 "표준 편차"가 엄청나게 커집니다. 이는 결과를 혼란스럽거나 신뢰할 수 없게 만들 수 있습니다.
새로운 방식 (중앙값 기반): 중앙값은 그 한 명의 만점 점수에 신경 쓰지 않습니다. 중앙값은 일정하게 유지됩니다. 이상치를 무시하고 전형적인 학생에게 집중합니다. 이는 군중의 가장자리에서 소리를 지르는 사람을 보는 것이 아니라, 군중의 중심을 보는 것과 같습니다.

논문에 등장하는 실제 사례들

저자들은 이 새로운 도구가 기존 도구와 어떻게 비교되는지 보기 위해 실제 수학 연구들에 적용해 보았습니다.

"큰 승리" (사전 테스트 vs 사후 테스트):
한 연구에서 학생들은 과정 이수 전과 후에 시험을 치렀습니다. 새로운 도구는 **90%**의 사후 테스트 점수가 사전 테스트의 중앙값보다 높다는 것을 보여주었습니다. 이는 명확하고 직관적인 "큰 승리"입니다. 기존 도구 역시 큰 승리라고 말했지만, 새로운 도구는 이를 더 간단하게 설명합니다: "대부분의 학생이 시작 시점의 중앙값보다 더 나은 성과를 보였다."
"작은 차이" (남학생 vs 여학생):
한 대규모 국제 수학 시험에서 남학생과 여학생의 점수를 비교했습니다. 새로운 도구는 남학생의 **58%**만이 여학생의 중앙값보다 높은 점수를 받았음을 보여주었습니다. 신뢰 구간(불확실성의 범위)은 이 차이가 너무 작아서 단순히 운일 수도 있음을 보여주었습니다. 새로운 도구는 연구자들이 실제로는 존재하지 않는 "거대한 성별 격차"를 주장하는 실수를 피하도록 도와줍니다.
"까다로운 데이터" (왜곡된 점수):
자폐 스펙트럼 장애(ASD) 학생과 비-ASD 학생을 대상으로 한 연구에서, 점수가 매우 한쪽으로 치우쳐 있었습니다. 기존 도구(코헨의 d)는 엉망인 데이터 형태 때문에 신뢰하기 어려운 결과를 내놓았습니다. 새로운 도구는 이 혼란을 뚫고 작은 불확실한 차이를 보여주며, 연구자들에게 결과를 과도하게 해석하지 말라고 경고했습니다.

황금률: 하나의 숫자만 믿지 마라

이 논문의 주요 논점은 단 하나의 숫자만 봐서는 안 된다는 것입니다.

단순히 "효과 크기가 0.8이다"라고 말한다면, 당신은 틀릴 수도 있습니다.
대신, 저자들은 **부트스트랩(Bootstrap)**이라는 방법을 사용할 것을 권장합니다. 이는 당신의 데이터를 사진으로 찍은 뒤, 약간의 무작위 변화를 주어 10,000개의 복사본을 만들고 각 복사본마다 효과 크기를 계산하는 것과 같습니다.
이를 통해 범위(신뢰 구간)를 얻을 수 있습니다.
- 예시: "우리는 효과가 0.1에서 0.5 사이일 것이라고 95% 확신합니다."
- 이는 "효과가 정확히 0.3이다"라고 말하는 것보다 훨씬 더 정직한 방법입니다.

요약

이 논문은 기존의 자(코헨의 d)를 금지하려는 것이 아닙니다. 대신, 도구 상자에 더 직관적인 새로운 도구를 추가하고자 하는 것입니다.

기존 도구: 복잡하고, 이상치에 민감하며, 시각화하기 어렵습니다.
새로운 도구: 단순하고, 엉망인 데이터에도 견고하며, 설명하기 쉽습니다 ("90%의 경우, 그룹 A가 그룹 B의 중앙값을 이긴다").

연구자들이 이 새로운 도구를 기존 도구와 함께 사용하고, 항상 "불확실성의 범위"(신뢰 구간)를 함께 보여줌으로써, 수학 교수법이 실제로 얼마나 잘 작동하는지에 대해 더 명확하고 정직한 이야기를 들려줄 수 있습니다.

기술 요약: 효과 크기에 대한 중앙값 기반 추정치

문제 제기
수학교육 연구는 빈번하게 영가설 유의성 검정(NHST)에 의존하는데, 이는 표본 크기에 크게 의존하여 "유의함/유의하지 않음"이라는 이분법적 결론을 도출합니다. 효과 크기 추정치(예: Cohen's d)가 차이의 크기를 다루기는 하지만, 저자들은 표준적인 척도들이 수학교육 데이터의 특정한 성격을 설명하기에는 직관적이거나 의미 있는 해석을 제공하지 못하는 경우가 많다고 주장합니다. 주요 문제는 다음과 같습니다:

분포 가정: Cohen's d와 Hedges' g는 정규 분포를 가정하며 평균과 표준편차에 의존합니다. 이는 테스트 점수, 리커트 척도(Likert scales), 학습 이득(learning gains)에서 흔히 나타나는 왜도(skewness), 두터운 꼬리(heavy tails), 이상치(outliers)에 취약합니다.
해석 가능성: 표준화된 평균 차이는 단위가 없으며, 실무자들이 맥락적으로 해석하기 어려운 경우가 많습니다.
데이터 유형: 많은 수학교육 데이터는 엄격한 실험적 또는 무작위 표본이라기보다 "자연주의적"(예: 교실 내 평가)인 성격을 띠며, 이로 인해 전통적인 표집 가정과 유의성 검정을 적용하는 것이 부적절하거나 오용될 소지가 있습니다.
점 추정치에 대한 과도한 의존: 신뢰 구간 없이 점 추정치만을 보고하는 것은, 특히 데이터 세트가 작거나 분산이 낮은 경우 효과를 과잉 해석하게 만들 수 있습니다.

방법론
저자들은 두 개의 수치 데이터 세트 $A$ 와 $B$ 를 비교하기 위해 설계된 중앙값 기반의 효과 크기 지표인 $M(A, B)$ 를 제안합니다.

정의: 이 추정치는 $M(A, B) = 2|\gamma(A)|/|A| - 1$ 로 정의됩니다. 여기서 $\gamma(A) = \{a \in A : a \geq \text{median}(B)\}$ 입니다. 개념적으로 이는 $A$ 의 무작위 데이터 포인트가 $B$ 의 중앙값보다 크거나 같을 확률을 측정하며, 이를 [-1, 1] 척도로 조정한 것입니다.
이론적 특성:
- 이는 맨-휘트니 U 검정(Mann-Whitney U tests)에서 사용되는 고전적인 확률적 우위(stochastic dominance, Prob(A > B))와 대조되는 "중앙값 기반의 우위 확률"로 기능합니다.
- 중앙값에 의존하기 때문에 왜도, 두터운 꼬리, 이상치에 대해 저항성을 가집니다.
- 정규 분포 데이터의 경우, Cohen's d와 비선형적 관계( $M = 2\Phi(d) - 1$ )를 갖지만, 저자들은 비정규 데이터에 대해 d로부터 M을 도출하는 데 이 관계를 사용해서는 안 된다고 주장합니다.
- 분포가 대칭일 때는 Cliff's delta와 유사하게 작동하지만, 데이터가 왜곡되었을 때는 Cliff's delta보다 더 견고하게 작동합니다.
추론 절차: 점 추정치의 불확실성을 해결하기 위해 저자들은 빈도주의 봇스트랩(frequentist bootstrap) 절차를 채택합니다. 복원 추출(예: $10^4$ ~ $10^5$ 회)을 통해 두 효과 크기 추정치( $M$ 및 Cohen's d)의 확률 분포를 생성합니다. 이를 통해 효과 크기 평균에 대한 95% 신뢰 구간(CI)을 계산할 수 있으며, 이는 추정치의 신뢰성을 투명하게 보여줍니다.

주요 기여 및 결과
본 논문은 기존의 척도들을 보완하는 도구로서 중앙값 기반 추정치를 소개하며, 수학교육 문헌과 데이터 세트에서 추출한 일련의 사례들을 통해 그 유용성을 입증합니다.

비정규성에 대한 견고성: 왜곡된 분포(예: 사전-사후 검사 이득, 초기 대수 중재 데이터)를 포함하는 사례에서, 중앙값 기반 추정치는 비정형성이나 극단적인 이상치로 인해 Cohen's d가 오도될 가능성이 있는 상황에서도 안정적인 결과를 제공했습니다.
직관적 해석: 저자들은 $M(A, B)$ 가 시각적으로(한 분포가 다른 분포의 중앙값을 초과하는 비율) 또는 확률적으로(예: "항아리에서 검은 공을 뽑는 것과 동일함") 어떻게 해석될 수 있는지 보여줍니다.
실증적 사례:
- 큰 효과: 초기 대수 중재의 영향(Blanton et al., 2015)이나 학년별 사전 검사 차이와 같은 사례에서, 중앙값 기반 추정치는 시각적 히스토그램과 일치하는 타이트한 신뢰 구간과 함께 큰 효과(예: $M \approx 0.93$ )를 확인했습니다.
- 중간 효과: 문제 유형의 비교(교차 연습 vs. 블록 연습)와 커리큘럼 모델은 0에서 벗어난 신뢰 구간을 가진 중간 정도의 효과( $M \approx 0.38 - 0.47$ )를 보여주었습니다.
- 작거나 없는 효과: TIMSS 점수의 성별 차이나 교과서 효능 비교에서는 작은 점 추정치( $M \approx 0.16$ )가 나타났습니다. 결정적으로, 이러한 경우의 봇스트랩 신뢰 구간은 종종 0을 포함했습니다(예: $[-0.19, 0.51]$ ). 이는 점 추정치만으로는 가려질 수 있는 미묘한 차이, 즉 관찰된 차이가 우연에 의한 것일 수 있다는 신호를 전달합니다.
*Cohen's d와의 비교:* 연구는 Cohen's d와 중앙값 기반 추정치가 종종 상관관계를 갖지만, 왜곡된 데이터나 분산이 작은 경우 크게 달라질 수 있음을 강조합니다. 저자들은 작은 분산이 Cohen's d를 인위적으로 부풀릴 수 있는 반면, 중앙값 기반 접근법은 안정적임을 언급합니다.

의의 및 주장
저자들은 중앙값 기반 추정치가 Cohen's d, Hedges' g 또는 다른 확립된 척도를 대체해야 한다고 주장하는 것이 아닙니다. 대신, 데이터 차이를 정량화하고 해석하기 위한 연구자의 도구 상자에 유용한 추가 도구로서 이를 위치시킵니다.

본 논문의 주요 의의는 다음과 같은 사항을 옹호하는 데 있습니다:

맥락적 근거 제시: 연구자와 실무자가 학생의 성취도에 대해 추론하는 방식(예: "얼마나 많은 학생들이 통제 집단의 중앙값을 넘어 향상되었는가?")에 더 가깝게 부합하는 효과 크기 척도를 제공합니다.
투명성과 정직성: 효과 크기는 단순한 숫자가 아니라 확률 분포라는 점을 강조합니다. 저자들은 특히 작은 데이터 세트나 낮은 분산을 가진 데이터의 경우, 점 추정치의 과잉 해석을 방지하기 위해 봇스트랩 방법을 통한 95% 신뢰 구간 보고가 필수적이라고 주장합니다.
견고성: 정규성 가정을 요구하지 않는 방법을 제공하여, 수학교육 연구에서 자주 접하는 "자연주의적"이고 왜곡되었으며 이질적인 데이터에 적합하도록 합니다.

결론적으로, 본 논문은 중앙값 기반 추정치를 신뢰 구간 및 시각적 데이터 표현(매끄러운 히스토그램)과 결합하는 것이 효과가 실제인지, 얼마나 큰지, 그리고 실질적으로 유용한지에 대한 근본적인 질문에 더 잘 답할 수 있는 방법임을 시사합니다.