📊 statistics

A median-based estimate of effect size - toward more intuitive comparisons in mathematics education research

Dieses Paper führt einen auf dem Median basierenden Effektstärkewert für die mathematische Erziehungswissenschaft ein, der eine intuitivere und robustere Alternative zu Cohens d darstellt, indem er Gruppenwerte mit Medianen vergleicht, wodurch die Sensitivität gegenüber schiefen Verteilungen, Ausreißern und kleinen Stichprobengrößen reduziert wird und gleichzeitig besser mit praktischen Interpretationen der Schülerleistung übereinstimmt.

Ursprüngliche Autoren: Gary Davis, Mercedes McGowen, Sara Dalton Bildik, Donghui Yan

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gary Davis, Mercedes McGowen, Sara Dalton Bildik, Donghui Yan

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Messen, „wie viel“ besser

Stellen Sie sich vor, Sie sind eine Lehrkraft, die eine neue Methode im Mathematikunterricht ausprobiert. Sie wollen wissen: Hat es tatsächlich funktioniert, und wie viel besser waren die Schüler dadurch?

Normalerweise verwenden Forscher ein Standardwerkzeug namens Cohen’s d, um diese Frage zu beantworten. Denken Sie bei Cohen’s d an ein Lineal, das aus „Standardabweichungen“ besteht. Es ist ein sehr präzises, mathematisches Lineal, aber es hat ein paar Schwächen:

Es ist zerbrechlich: Wenn ein Schüler einen extrem hohen oder niedrigen Wert erzielt (ein Ausreißer), kann dies das Lineal „brechen“ und ein irreführendes Ergebnis liefern.
Es ist verwirrend: Es gibt den Unterschied in Form von „Standardabweichungen“ an, was für die meisten Menschen schwer zu visualisieren ist. Es ist so, als würde man sagen: „Das neue Auto ist 1,5 ‚Einheiten der Motoreffizienz‘ schneller“, was einem nicht viel über die tatsächliche Geschwindigkeit verrät.
Es setzt eine perfekte Form voraus: Es funktioniert am besten, wenn die Daten einer perfekten Glockenkurve entsprechen. Aber echte Ergebnisse von Mathetests sind oft chaotisch, schief oder voller Überraschungen.

Die neue Lösung: Der „Median“-Kompass

Die Autoren dieser Arbeit schlagen ein neues, einfacheres Werkzeug vor: eine medianbasierte Schätzung der Effektstärke.

Anstatt sich auf den Mittelwert (arithmetisches Mittel) und die Streuung der Werte zu konzentrieren, schaut dieses neue Werkzeug auf den Median (den mittleren Wert) und stellt eine einfache Frage:

„Wenn ich einen zufälligen Schüler aus Gruppe A auswähle, wie hoch ist die Wahrscheinlichkeit, dass er besser abgeschnitten hat als der mittlere Schüler aus Gruppe B?“

Die Analogie: Der Münzwurf

Die Autoren erklären dies anhand eines Münzwurfs.

Stellen Sie sich vor, Sie haben eine Tasche voller Münzen.
Wenn Gruppe A und Gruppe B exakt gleich sind, hat ein Schüler aus Gruppe A eine 50/50-Chance, besser abzuschneiden als die Mitte von Gruppe B. Es ist wie ein fairer Münzwurf.
Wenn Gruppe A viel besser ist, gewinnt ein Schüler aus Gruppe A vielleicht in 90 % der Fälle gegen die Mitte von Gruppe B. Das ist wie eine Münze, die so gewichtet ist, dass sie in 90 % der Fälle auf „Kopf“ landet.

Das neue Werkzeug misst einfach, wie „gewichtet“ diese Münze ist.

0,0 bedeutet, die Gruppen sind identisch (eine faire Münze).
1,0 bedeutet, Gruppe A ist fast immer besser.
-1,0 bedeutet, Gruppe A ist fast immer schlechter.

Warum dies besser für die Mathematikausbildung ist

Die Arbeit argumentiert, dass Daten in der Mathematikausbildung oft chaotisch sind. Schüler können enorme Wissenslücken haben, oder einige wenige Schüler erzielen Spitzenwerte, während andere kämpfen.

Der alte Weg (Cohen’s d): Wenn ein Schüler durch Zufall eine perfekte Punktzahl erreicht, steigt der Mittelwert an, und die „Standardabweichung“ wird riesig. Dies kann die Ergebnisse verwirrend oder unzuverlässig erscheinen lassen.
Der neue Weg (Medianbasiert): Der mittlere Wert (Median) ignoriert diesen einen perfekten Wert. Er bleibt stabil. Er ignoriert die „Ausreißer“ und konzentriert sich auf den typischen Schüler. Es ist, als würde man auf das Zentrum einer Menge schauen, anstatt auf die Person, die am Rand am lautesten schreit.

Reale Beispiele aus der Arbeit

Die Autoren haben dieses neue Werkzeug an echten Mathematikstudien getestet, um zu sehen, wie es mit dem alten Werkzeug vergleichbar ist.

Der „Große Sieg“ (Prätest vs. Posttest):
In einer Studie nahmen Schüler vor und nach einem Kurs einen Test ab. Das neue Werkzeug zeigte, dass 90 % der Posttest-Ergebnisse höher waren als der mittlere Wert des Prätests. Dies ist ein klarer, intuitiver „Großer Sieg“. Das alte Werkzeug bezeichnete es ebenfalls als großen Sieg, aber das neue Werkzeug erklärt es einfach: „Die meisten Schüler waren besser als die Mitte der Ausgangsgruppe.“
Der „Kleine Unterschied“ (Jungen vs. Mädchen):
In einem großen internationalen Mathematiktest wurden die Ergebnisse von Jungen und Mädchen verglichen. Das neue Werkzeug zeigte, dass nur 58 % der Jungen besser abschnitten als das mittlere Mädchen. Das Konfidenzintervall (ein Bereich der Unsicherheit) zeigte, dass dieser Unterschied so gering war, dass er auch reiner Zufall sein könnte. Das neue Werkzeug hilft Forschern zu vermeiden, einen „riesigen Geschlechterunterschied“ zu behaupten, wenn es eigentlich keinen gibt.
Die „Trügerischen Daten“ (Schiefe Verteilungen):
In einer Studie über Schüler mit Autismus-Spektrum-Störungen (ASS) im Vergleich zu Schülern ohne ASS waren die Ergebnisse sehr asymmetrisch. Das alte Werkzeug (Cohen’s d) lieferte ein Ergebnis, dem man aufgrund der chaotischen Datenform schwer vertrauen konnte. Das neue Werkzeug durchbrach das Chaos und zeigte einen kleinen, unsicheren Unterschied auf, was die Forscher warnte, die Ergebnisse nicht überzuinterpretieren.

Die Goldene Regel: Vertrauen Sie nicht auf eine einzige Zahl

Ein zentraler Punkt der Arbeit ist, dass man nicht nur auf eine Zahl schauen sollte.

Wenn Sie nur sagen: „Die Effektstärke liegt bei 0,8“, könnten Sie falsch liegen.
Stattdessen schlagen die Autoren die Methode des Bootstrappings vor. Stellen Sie sich vor, Sie machen ein Foto Ihrer Daten, erstellen dann 10.000 Kopien davon mit jeweils leichten, zufälligen Änderungen und berechnen die Effektstärke für jede einzelne dieser Kopien.
Dies ergibt einen Bereich (ein Konfidenzintervall).
- Beispiel: „Wir sind zu 95 % sicher, dass der Effekt zwischen 0,1 und 0,5 liegt.“
- Das ist viel ehrlicher, als zu sagen: „Der Effekt liegt exakt bei 0,3.“

Zusammenfassung

Die Arbeit versucht nicht, das alte Lineal (Cohen’s d) zu verbieten. Stattdessen möchte sie ein neues, intuitiveres Werkzeug zum Werkzeugkasten hinzufügen.

Altes Werkzeug: Komplex, empfindlich gegenüber Ausreißern, schwer zu visualisieren.
Neues Werkzeug: Einfach, robust gegenüber chaotischen Daten, leicht zu erklären („In 90 % der Fälle ist Gruppe A besser als die Mitte von Gruppe B“).

Indem Forscher dieses neue Werkzeug zusammen mit dem alten verwenden und stets den „Bereich der Unsicherheit“ (Konfidenzintervalle) angeben, können sie eine klarere und ehrlichere Geschichte darüber erzählen, wie gut eine mathematische Lehrmethode tatsächlich funktioniert.

Technisches Resümee: Eine medianbasierte Schätzung der Effektstärke

Problemstellung
Die mathematikdidaktische Forschung stützt sich häufig auf Nullhypothesen-Signifikanztests (NHST), die binäre „signifikant/nicht signifikant“-Schlussfolgerungen liefern, welche stark von der Stichprobengröße abhängen. Während Schätzungen der Effektstärke (wie Cohen's d) die Größenordnung von Unterschieden adressieren, argumentieren die Autoren, dass Standardmaße oft nicht in der Lage sind, intuitive oder aussagekräftige Interpretationen für die spezifische Natur mathematikdidaktischer Daten zu liefern. Häufige Probleme sind:

Verteilungsannahmen: Cohen's d und Hedges' g setzen normalverteilte Daten voraus und stützen sich auf Mittelwerte und Standardabweichungen, was sie anfällig für Schiefe, schwere Ränder (Heavy Tails) und Ausreißer macht – Merkmale, die bei Testergebnissen, Likert-Skalen und Lernzuwächsen häufig vorkommen.
Interpretierbarkeit: Standardisierte Mittelwertdifferenzen sind einheitenlos und können für Praktiker kontextuell oft schwer zu interpretieren sein.
Datentypen: Viele Daten in der Mathematikdidaktik sind „naturalistisch“ (z. B. Klassenzimmer-Assessments) statt streng experimentell oder zufällig gestichprobt, was traditionelle Stichprobenannahmen und Signifikanztests potenziell unaufrichtig oder fehl am Platz erscheinen lässt.
Übermäßige Abhängigkeit von Punktschätzungen: Das Berichten allein von Punktschätzungen ohne Konfidenzintervalle kann zu einer Überinterpretation von Effekten führen, insbesondere bei kleinen Datensätzen oder solchen mit geringer Varianz.

Methodik
Die Autoren schlagen eine medianbasierte Indikator der Effektstärke vor, bezeichnet als M(A, B), der darauf ausgelegt ist, zwei numerische Datensätze, A und B, zu vergleichen.

Definition: Der Schätzer ist definiert als $M(A, B) = 2|\gamma(A)|/|A| - 1$ , wobei $\gamma(A) = \{a \in A : a \geq \text{median}(B)\}$ . Konzeptuell misst dies die Wahrscheinlichkeit, dass ein zufälliger Datenpunkt aus A größer als oder gleich dem Median von B ist, angepasst auf eine Skala von [-1, 1].
Theoretische Eigenschaften:
- Er fungiert als ein „medianbasierter Dominanzwahrscheinlichkeitswert“, im Gegensatz zur klassischen stochastischen Dominanz (Prob(A > B)), die beim Mann-Whitney-U-Test verwendet wird.
- Er ist resistent gegen Schiefe, schwere Ränder und Ausreißer, da er auf dem Median anstatt auf dem Mittelwert basiert.
- Für normalverteilte Daten besteht eine funktionale, nicht-lineare Beziehung zu Cohen's d ( $M = 2\Phi(d) - 1$ ), wobei die Autoren argumentieren, dass diese Beziehung nicht dazu verwendet werden sollte, M aus d für nicht-normalverteilte Daten abzuleiten.
- Er approximiert Cliff's Delta, wenn die Verteilungen symmetrisch sind, verhält sich jedoch robuster als Cliff's Delta, wenn die Daten schief sind.
Inferenzverfahren: Um die Unsicherheit von Punktschätzungen zu adressieren, verwenden die Autoren ein frequentistisches Bootstrap-Verfahren. Sie generieren Wahrscheinlichkeitsverteilungen sowohl für den medianbasierten Schätzer als auch für Cohen's d durch Resampling mit Ersetzung (z. B. $10^4$ bis $10^5$ Mal). Dies ermöglicht die Berechnung von 95 %-Konfidenzintervallen (CIs) für die Mittelwerte der Effektstärken, was eine transparente Sicht auf die Zuverlässigkeit der Schätzung bietet.

Wesentliche Beiträge und Ergebnisse
Die Arbeit führt den medianbasierten Schätzer als ergänzendes Werkzeug zu bestehenden Maßen ein und demonstriert dessen Nutzen durch eine Reihe von Beispielen aus der Literatur und Datensätzen der Mathematikdidaktik.

Robustheit gegenüber Nicht-Normalität: In Beispielen mit schiefen Verteilungen (z. B. Pre-Test/Post-Test-Zuwächse, Daten zu frühen Algebra-Interventionen) lieferte der medianbasierte Schätzer stabile Ergebnisse, wo Cohen's d aufgrund von Nicht-Normalität oder extremen Ausreißern potenziell irreführend war.
Intuitive Interpretation: Die Autoren zeigen, dass $M(A, B)$ visuell (der Anteil einer Verteilung, der den Median einer anderen übersteigt) und probabilistisch (z. B. „äquivalent zum Ziehen eines schwarzen Balls aus einer Urne“) interpretiert werden kann.
Empirische Beispiele:
- Große Effekte: In Fällen wie der Auswirkung einer frühen Algebra-Intervention (Blanton et al., 2015) oder Unterschieden im Leistungsniveau (Grade-Level) bei Pre-Tests bestätigte der medianbasierte Schätzer große Effekte (z. B. $M \approx 0,93$ ) mit engen Konfidenzintervallen, was mit den visuellen Histogrammen übereinstimmt.
- Mittlere Effekte: Vergleiche von Aufgabentypen (interleaved vs. blocked practice) und Curriculum-Modellen zeigten moderate Effekte ( $M \approx 0,38 - 0,47$ ) mit Konfidenzintervallen, die von Null verschieden liegen.
- Kleine/Null-Effekte: In Vergleichen von Geschlechterunterschieden in TIMSS-Scores oder der Wirksamkeit von Lehrbüchern lieferte der medianbasierte Schätzer kleine Punktschätzungen ( $M \approx 0,16$ ). Entscheidend ist, dass die Bootstrap-Konfidenzintervalle für diese Fälle oft Null einschlossen (z. B. $[-0,19, 0,51]$ ), was signalisiert, dass die beobachteten Unterschiede möglicherweise auf Zufall beruhen – eine Nuance, die durch Punktschätzungen allein oft verschleiert wird.
Vergleich mit Cohen's d: Die Studie hebt hervor, dass Cohen's d und der medianbasierte Schätzer oft korrelieren, sich jedoch bei schiefen Daten oder geringen Varianzen signifikant unterscheiden können. Die Autoren stellen fest, dass kleine Varianzen Cohen's d künstlich aufblähen können, während der medianbasierte Ansatz stabil bleibt.

Bedeutung und Behauptungen
Die Autoren behaupten nicht, dass der medianbasierte Schätzer Cohen's d, Hedges' g oder andere etablierte Maße ersetzen sollte. Stattdessen positionieren sie ihn als produktive Ergänzung zum Repertoire des Forschers zur Quantifizierung und Interpretation von Differenzen in Daten.

Die primäre Bedeutung der Arbeit liegt in ihrer Befürwortung von:

Kontextueller Fundierung: Bereitstellung eines Metrik für die Effektstärke, die enger mit der Art und Weise korreliert, wie Forscher und Praktiker über Schülerleistungen argumentieren (z. B. „Wie viele Schüler haben sich über den Median der Kontrollgruppe hinaus verbessert?“).
Transparenz und Ehrlichkeit: Betonung der Tatsache, dass eine Effektstärke eine Wahrscheinlichkeitsverteilung ist und nicht nur eine Zahl. Die Autoren argumentieren, dass das Berichten von 95 %-Konfidenzintervallen mittels Bootstrap-Methoden essenziell für eine ehrliche Berichterstattung ist, insbesondere bei kleinen Datensätzen oder geringer Varianz, um eine Überinterpretation von Punktschätzungen zu verhindern.
Robustheit: Angebot einer Methode, die keine Normalitätsannahme erfordert, wodurch sie für die „naturalistischen“, schiefen und heterogenen Daten geeignet ist, die in der mathematikdidaktischen Forschung häufig vorkommen.

Letztlich legt das Papier nahe, dass die Kombination des medianbasierten Schätzers mit Konfidenzintervallen und visuellen Datendarstellungen (glatte Histogramme) die grundlegenden Fragen besser beantwortet, ob ein Effekt real ist, wie groß er ist und ob er praktisch nützlich ist.