A Bayesian Approach to Estimating Effect Sizes in Educational Research

🎓 Die große Schulforschung: Warum „Durchschnitt" oft trügt

Stellen Sie sich vor, Sie sind ein Schulleiter. Sie haben zwei Klassen: Die eine lernt mit einer neuen, aufregenden Methode (die Interventionsgruppe), die andere mit dem alten, bewährten Lehrbuch (die Kontrollgruppe). Am Ende des Jahres machen alle einen Test.

Die klassische Statistik würde jetzt sagen: „Schauen wir uns den Durchschnitt der neuen Methode an und den der alten. Wenn der neue Durchschnitt höher ist, war die Methode erfolgreich."

Das Problem: Das ist wie ein Koch, der sagt: „Der Suppen-Durchschnitt schmeckt toll!" Aber er hat vergessen, dass in einer Schüssel die Suppe verbrannt war und in einer anderen sie zu salzig war. Der Durchschnitt verschleiert die Realität.

Dieses Papier von Yannis Bähni schlägt vor, wie man mit einer modernen Methode (dem Bayesschen Ansatz) nicht nur den Durchschnitt, sondern die ganze Geschichte hinter den Zahlen erzählt.

---

1. Der neue Blickwinkel: Nicht nur ein Punkt, sondern eine Landschaft

Stellen Sie sich vor, Sie werfen einen einzelnen Stein in einen See. Die klassische Statistik misst nur, wie weit der Stein geflogen ist (ein einziger Wert).

Die Bayessche Methode hingegen wirft nicht nur einen Stein, sondern schaut sich das gesamte Muster der Wellen an. Sie sagt nicht nur: „Die neue Methode ist um 0,2 Punkte besser." Sie sagt: „Die neue Methode ist im Durchschnitt 0,2 Punkte besser, aber in manchen Klassen ist sie riesig, in anderen kaum spürbar, und in einer ganz kleinen Gruppe war sie sogar leicht schlechter."

Das ist wie ein Wetterbericht:

• Klassisch: „Es wird 20 Grad." (Trocken, aber ungenau).
• Bayessch: „Es wird im Durchschnitt 20 Grad, aber in den Bergen ist es kühler, im Tal wärmer, und es gibt eine 30%ige Chance auf einen plötzlichen Regenschauer."

2. Die drei wichtigsten Werkzeuge (Die „Maßstäbe")

Das Papier erklärt, wie man verschiedene Arten von „Lernfortschritt" misst. Man kann sich das wie das Messen von Wachstum vorstellen:

• Der „Pooled"-Vergleich (Zwischen den Gruppen):

  • Analogie: Ein Vergleich zweier Läufergruppen. Gruppe A läuft schneller als Gruppe B.
  • Die Innovation: Statt nur den Durchschnitt aller Läufer zu nehmen, schaut man sich an, wie stark die Gruppen innerhalb ihrer eigenen Teams variieren. Manche Teams sind sehr homogen (alle gleich schnell), andere sehr gemischt. Das Papier zeigt, wie man das mathematisch sauber berechnet, ohne dass die Zahlen verzerrt werden.

• Der „Paired"-Vergleich (Innerhalb einer Gruppe):

  • Analogie: Ein Schüler macht heute einen Test und morgen einen anderen. Wie viel hat er gelernt?
  • Das Problem: Wenn man einfach den Unterschied nimmt, ignoriert man, dass manche Schüler von Anfang an sehr gut waren und andere sehr schlecht.
  • Die Lösung: Das Papier empfiehlt, zwei verschiedene Maßstäbe zu verwenden:
    1. $d_s$: Ein grober Maßstab für den allgemeinen Fortschritt.
    2. $d_z$: Ein feinerer Maßstab, der berücksichtigt, dass der heutige Test mit dem gestrigen zusammenhängt (wie bei einem Paar, das sich kennt).
  • Wichtig: Manchmal lernen Schüler sogar weniger (sie werden verwirrt). Das Papier sagt: „Das ist okay! Negative Werte sind realistisch und sollten nicht ignoriert werden."

3. Das Geheimnis der Klassen (Die „Multilevel"-Struktur)

Das ist der wichtigste Teil des Papiers. In der echten Welt sind Schüler nicht isoliert; sie sitzen in Klassen. Eine Klasse hat vielleicht einen tollen Lehrer, eine andere einen strengen, eine dritte hat viele ruhige Schüler.

• Das alte Modell: Ignoriert die Klassen. Es behandelt alle 1.377 Schüler als eine riesige, homogene Masse.
• Das neue Modell (Bayessch): Erkennt, dass Schüler in Klassen „gestapelt" sind.
  • Die Metapher: Stellen Sie sich vor, Sie messen die Körpergröße von Menschen. Wenn Sie nur den Durchschnitt aller Menschen nehmen, sagen Sie: „Menschen sind 1,75m groß." Aber wenn Sie nach Ländern aufschlüsseln, sehen Sie: „In Land A sind sie im Durchschnitt 1,80m, in Land B 1,70m."
  • Das Papier zeigt, dass die Wirksamkeit einer Lehrmethode von der Klasse abhängt. In manchen Klassen ist die Methode ein Durchbruch, in anderen bringt sie nichts. Das neue Modell berechnet nicht nur den Durchschnitt, sondern auch, wie stark die Ergebnisse zwischen den Klassen schwanken.

4. Warum das alles besser ist als die alten Methoden

Das Papier listet sechs Vorteile auf, die man sich wie die Vorteile eines modernen Navigationsgeräts gegenüber einer alten Landkarte vorstellen kann:

1. Keine „Ja/Nein"-Falle: Statt nur zu fragen „Ist es signifikant? (Ja/Nein)", zeigt es uns, wie wahrscheinlich es ist, dass die Methode funktioniert.
2. Die ganze Geschichte: Wir bekommen eine ganze Verteilung von möglichen Ergebnissen, nicht nur einen einzigen Punkt.
3. Realismus: Es berücksichtigt, dass Klassen unterschiedlich sind (Multilevel).
4. Flexibilität: Es kann mit ungleichen Gruppen und unterschiedlichen Schwankungen umgehen (manche Gruppen sind sehr stabil, andere chaotisch).
5. Robustheit: Es ist weniger anfällig für „Ausreißer" (Schüler, die extrem schlecht oder extrem gut sind und den Durchschnitt verzerren).
6. Komplexität: Es kann mehr als nur zwei Gruppen gleichzeitig vergleichen.

5. Die Kehrseite (Die „Hürden")

Das Papier ist ehrlich: Diese Methode ist nicht einfach.

• Rechenzeit: Es dauert länger als die alten Methoden (wie ein langsamerer, aber genauerer Koch).
• Lernkurve: Man muss die „Werkzeuge" (die Software brms und Stan) erst lernen. Man muss entscheiden, welche „Voreinstellungen" (Priors) man nutzt.
• Vorsicht: Auch mit der besten Methode muss man die Ergebnisse kritisch prüfen. Ein Effekt ist nicht immer gleichbedeutend mit einem pädagogischen Wunder.

Fazit: Was bedeutet das für die Praxis?

Das Papier sagt im Grunde: „Hören Sie auf, nur den Durchschnitt zu betrachten!"

Wenn Sie eine neue Lehrmethode testen, wollen Sie nicht nur wissen, ob sie im Durchschnitt funktioniert. Sie wollen wissen:

• Funktioniert sie in allen Klassen gleich gut?
• Gibt es Klassen, in denen sie versagt?
• Wie sicher sind wir in unserer Aussage?

Indem man diese neuen, bayesschen Werkzeuge nutzt, bekommt man ein viel nuancierteres, ehrlicheres und nützlicheres Bild davon, was im Klassenzimmer wirklich passiert. Es verwandelt eine einfache Zahl in eine detaillierte Landkarte des Lernens.