Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines einzelnen Tatorts haben Sie ein riesiges, glitzerndes Lagerhaus voller Millionen von Hinweisen. Das ist das, was in der Welt der „Big Data“-Wissenschaft passiert, wenn Forscher riesige Gruppen von Menschen untersuchen – wie etwa Tausende von Lehrkräften aus der ganzen Welt –, um zu verstehen, wie Dinge funktionieren. Aber hier liegt der Haken: Wenn man so viele Hinweise hat, kann man sie auf eine Million verschiedene Arten anordnen, um eine Geschichte zu erzählen. Man könnte sich entscheiden, sich nur auf die roten Hinweise zu konzentrieren, die von der linken Seite des Raumes zu ignorieren oder sie nach Größe statt nach Farbe zu gruppieren. Jede dieser Entscheidungen ist wie das Beschreiten eines anderen Pfades durch einen Garten. Wenn man einen Pfad wählt, findet man vielleicht einen verborgenen Schatz; wählt man einen anderen, findet man eine Sackgasse. Diese Idee wird als „Garten der sich verzweigenden Pfade“ bezeichnet und legt nahe, dass die Geschichte, die wir erzählen, manchmal mehr davon abhängt, welchen Pfad der Detektiv gewählt hat, als von den tatsächlichen Hinweisen selbst.

Diese Arbeit von Mark White von der Universität Oslo befasst sich eingehend mit diesem Problem unter Verwendung eines massiven Datensatzes namens TALIS 2018, der Lehrkräfte aus vielen Ländern befragte. Der Autor wollte sehen, ob die „Geschichte“, die eine berühmte, hochzitierte Studie über Lehrerfortbildung (genannt „Induktion“) erzählt, tatsächlich wahr ist oder ob sie lediglich das Ergebnis eines ganz bestimmten Pfades durch den Garten war. Die Arbeit betrachtet nicht nur einen einzigen Weg, die Daten zu analysieren; stattdessen probiert sie fast eine halbe Million verschiedener Arten aus, die Zahlen zu berechnen. Es ist, als würde man fast 500.000 verschiedene Detektive bitten, denselben Fall mit leicht unterschiedlichen Regeln zu lösen und zu sehen, ob sie alle denselben Täter finden. Das Ziel ist nicht zu sagen, dass die ursprüngliche Studie „falsch“ war, sondern aufzuzeigen, dass sich die Ergebnisse je nach den getroffenen Entscheidungen entlang des Weges drastisch ändern können, was es schwierig macht, die „echte“ Antwort sicher zu bestimmen.

Der Garten der Millionen Pfade

Betrachten Sie die ursprüngliche Studie, die der Autor untersucht, als eine Karte zu einer Schatztruhe. Die Karte behauptete, dass bestimmte Fortbildungsaktivitäten für Lehrkräfte – wie etwa Teamteaching oder das Führen eines Tagebuchs – die Schlüssel dazu seien, Lehrer glücklicher und besser in ihrem Job zu machen. Die Forscher, die diese Karte zeichneten, nutzten einen spezifischen Satz von Regeln, um den Schatz zu finden: Sie betrachteten amerikanische Lehrkräfte, schlossen nur Vollzeitbeschäftigte ein und verwendeten eine bestimmte mathematische Formel, um die Fortbildung mit den Ergebnissen zu verknüpfen. Sie fanden eine glänzende Schatztruhe und sagten: „Schaut her! Fortbildung funktioniert!“

Aber Mark White fragte sich: „Was wäre, wenn wir die Regeln ein wenig ändern würden?“ Was wäre, wenn wir uns anstatt nur auf Amerika auch Lehrer in Australien oder Neuseeland ansehen würden? Was wäre, wenn wir nur Lehrer in ihrem allerersten Lehrjahr betrachten würden? Was wäre, wenn wir die mathematische Formel leicht ändern würden? Um dies zu beantworten, erfand White nicht einfach nur eine Vermutung; er baute ein „Multiversum“. In der Wissenschaft ist eine Multiversum-Analyse wie eine Simulation, in der man alle einzelnen vernünftigen Kombinationen von Regeln gleichzeitig testet.

In diesem Fall identifizierte White 13 verschiedene „Regler“ oder Entscheidungen, die ein Forscher drehen könnte. Dazu gehörten Entscheidungen wie:

• Wer zählt mit? (Sollten wir nur neue Lehrkräfte einschließen oder alle Lehrkräfte? Sollten wir nur auf Amerika schauen oder auch auf andere englischsprachige Länder?)
• Welche Zahlen verwenden wir? (Sollten wir die Mathematik anpassen, um die Anzahl der Befragten zu berücksichtigen, oder einfach jeden gleich zählen?)
• Wie messen wir die Fortbildung? (Sollten wir das gesamte Fortbildungsprogramm betrachten oder es in winzige Einzelteile zerlegen?)

Wenn man all diese Entscheidungen miteinander multipliziert, erhält man eine atemberaubende Zahl: 497.664 verschiedene mögliche Wege, die Daten zu analysieren. Das sind fast eine halbe Million verschiedener Pfade durch den Garten. White führte die Analyse für jeden dieser Pfade durch.

Der sich verschiebende Schatz

Die Ergebnisse waren ein wenig schockierend. Als White das „Multiversum“ der Ergebnisse betrachtete, stellte er fest, dass die Schatztruhe für jeden Pfad nicht am selben Ort lag.

In einigen der 4�7.664 Analysen sahen die Fortbildungsaktivitäten wie ein Zauberstab aus, der Lehrer unglaublich glücklich und effektiv machte. In anderen Analysen sahen exakt dieselben Fortbildungsaktivitäten so aus, als würden sie die Lehrer tatsächlich benachteiligen und sie weniger effektiv machen. In vielen anderen Pfaden schien die Fortbildung überhaupt keine Rolle zu spielen.

Die Arbeit zeigt dies mit einer riesigen Grafik (Abbildung 1 im Originaltext). Stellen Sie sich eine Linie von Punkten vor, die sich von weit links nach weit rechts erstreckt. Die Punkte ganz links repräsentieren Analysen, in denen die Fortbildung ein Desaster war. Die Punkte ganz rechts repräsentieren Analysen, in denen die Fortbildung ein Wunder war. Die Punkte in der Mitte repräsentieren Analysen, in denen es keinen Unterschied machte. Das Beängstigende ist, dass es auf beiden Seiten grüne Punkte gibt (was bedeutet, dass sie „statistisch signifikant“ oder „real“ sind). Das bedeutet, dass ein Forscher für fast jede spezifische Fortbildungsaktivität und jedes spezifische Lehrerergebnis eine „vernünftige“ Möglichkeit finden konnte, zu beweisen, dass sie ein riesiger Erfolg war, und eine andere „vernünftige“ Möglichkeit, zu beweisen, dass sie ein riesiger Misserfolg war.

Die ursprüngliche Studie hatte einen spezifischen Pfad durch diesen Garten gewählt und ein positives Ergebnis gefunden. Aber Whites Multiversum-Analyse deutet darauf darauf hin, dass dieses Ergebnis nicht unbedingt die „wahre“ Wahrheit war. Es war nur eine von Hunderttausenden möglichen Wahrheiten, und die Entscheidung, welchen Pfad man nimmt, war in gewissem Maße willkürlich.

Warum das wichtig ist

Dieses Papier sagt nicht, dass Lehrerfortbildung nutzlos ist. Es sagt nicht, dass die ursprünglichen Autoren im Unrecht waren. Stattdessen hebt es ein subtiles, aber gewaltiges Problem in der Art und Weise hervor, wie wir Wissenschaft betreiben. Wenn eine Forschungsfrage etwas vage ist – wie etwa „Hilft Fortbildung Lehrkräften?“ –, gibt es so viele Möglichkeiten, sie zu beantworten, dass die Antwort oft von den Entscheidungen abhängt, die der Forscher trifft, noch bevor er überhaupt mit der Datenauswertung beginnt.

Der Autor nennt dies den „Garten der sich verzweigenden Pfade“. Wenn man nicht weiß, auf welchem Pfad man sich befindet, kann man nicht sicher sein, ob der Schatz, den man gefunden hat, echt ist oder nur das Ergebnis des gewählten Pfades. Das Papier legt nahe, dass wir, wenn wir eine Studie mit einem einzigen, klaren Ergebnis sehen, ein wenig neugieriger sein sollten. Wir sollten fragen: „Was wäre, wenn sie einen anderen Pfad gewählt hätten?“

Indem er fast eine halbe Million Analysen durchführte, zeigt uns dieses Papier, dass die „Wahrheit“ über die Lehrerfortbildung viel komplexer und unsicherer ist, als es eine einzelne Schlagzeile vermuten lässt. Es liefert uns keine neue, bessere Antwort; stattdessen liefert es uns ein viel klareres Bild davon, wie unsicher wir uns tatsächlich sind. Es ist eine Erinnerung daran, dass es im Garten der Wissenschaft viele Pfade gibt, und dass sich die Aussicht manchmal komplett verändert, je nachdem, welchen man wählt.