From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
Diese Studie argumentiert, dass internationale Vergleiche für nicht-kognitive PISA-Fragebogenindikatoren von der Abhängigkeit von potenziell irreführenden nationalen Mittelwertrankings zu einer Analyse von innerhalb der Schule variierenden Steigungen übergehen sollten, die ein robusteres und politisch relevanteres Verständnis darüber bieten, wie Bildungssysteme die Erfahrungen und Leistungen von Schülern prägen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der ein Rätsel darüber lösen will, wie es verschiedenen Schulen auf der Welt ergeht. Jahrelang war das wichtigste Werkzeug der Detektive eine riesige Anzeigetafel, oder eine „Rangliste“, die Länder einfach von Platz eins bis zum letzten Platz basierend auf ihren Durchschnittswerten auflistete. Es ist, als würde man Basketballteams ranken, indem man lediglich auf die Gesamtzahl der Punkte achtet, die sie in einer Saison erzielt haben, ohne zu berücksichtigen, gegen wen sie gespielt haben, wie sie gespielt haben oder ob sie überhaupt dasselbe Spiel spielten. Das funktioniert ganz gut für Dinge wie Mathematik oder Lesen, wo die Antworten meistens richtig oder falsch sind. Aber wenn es um Gefühle, Motivation oder wie glücklich Schüler sind geht, wird es knifflig. Das sind keine Dinge, die man mit einem Lineal messen kann; sie sind eher wie Geschmacksrichtungen oder Farben. Wenn man Menschen in verschiedenen Kulturen fragt, wie „scharf“ ihr Essen ist, kann eine Bewertung von „sehr scharf“ in einem Land etwas völlig anderes bedeuten als in einem anderen.
Dieses Papier handelt von einer Gruppe von Forschern, die beschlossen haben, nicht mehr nur auf die Anzeigetafel zu schauen, sondern auf die Beziehungen zwischen den Spielern und dem Spiel. Anstatt zu fragen: „Welches Land hat die höchste durchschnittliche Glückseligkeit?“, fragten sie: „Wie verändert der Hintergrund oder die Testergebnisse eines Schülers seine Gefühle gegenüber der Schule?“ Sie wollten sehen, ob sich die Regeln des Spiels ändern, wenn man vom einzelnen Schüler auf ein ganzes Land herauszoomt.
Die Forscher, angeführt von Kit-Tai Hau und seinem Team, nahmen eine massive Momentaufnahme von Daten von 612.004 Schülern aus 80 Ländern, die im Rahmen des PISA-Tests 2018 erhoben wurden. Sie untersuchten 31 verschiedene Fragebögen zu Themen wie Motivation, Wohlbefinden und wie Schüler ihre Klassenzimmer wahrnehmen. Ihre erste große Entdeckung war, dass die Anzeigetafel für diese Gefühle weitgehend unbrauchbar war. Als sie die Zahlen auswerteten, fanden sie heraus, dass die Unterschiede zwischen den Ländern winzig waren – nur etwa 6 % der Variation dieser Gefühle entstanden dadurch, in welchem Land der Schüler war. Die anderen 94 % ereigneten sich innerhalb der Länder, hauptsächlich zwischen verschiedenen Schulen. Es ist, als würde man versuchen, die durchschnittliche Körpergröße von Menschen in Frankreich im Vergleich zu Italien zu vergleichen und feststellen, dass der Unterschied so gering ist, dass er keine Rolle spielt, während der Unterschied zwischen einem Basketballteam und einem Gymnastikteam in derselben Stadt riesig ist.
Doch die wahre Magie geschah, als sie aufhörten, nach Durchschnitten zu schauen, und anfingen, nach „Steigungen“ zu suchen. Stellen Sie sich einen Graphen vor, bei dem die Linie nach oben oder unten verläuft. Eine „Steigung“ sagt Ihnen, wie sich eine Sache verändert, während sich eine andere verändert. Die Forscher fanden heraus, dass sich die Geschichte oft ins Gegenteil verkehrt, wenn man nur den Durchschnitt des Landes betrachtet. Zum Beispiel: Auf der Ebene des einzelnen Schülers führt es meist dazu, dass man gut in Lesen ist, dass man sich gut fühlt. Aber wenn man auf der Ebene des Landes schaut, hatten Länder mit höheren durchschnittlichen Lesewerten manchmal Schüler, die ein geringeres Selbstvertrauen angaben. Es ist ein wenig wie der „Big Fish, Little Pond“-Effekt: Wenn man ein kluger Fisch in einem Teich voller anderer kluger Fische ist, fühlt man sich vielleicht weniger besonders als der klügste Fisch in einem kleinen, ruhigen Teich. Der Durchschnitt des Landes verbirgt dies, weil er alle Teiche vermischt.
Das Papier argumenttiert, dass wir, anstatt Länder nach ihrem Durchschnitts-„Stimmungszustand“ zu ranken, uns diese Steigungen ansehen sollten, um zu verstehen, wie Bildungssysteme funktionieren. Sie fanden heraus, dass das Verhältnis zwischen dem Hintergrund eines Schülers (wie dem Wohlstand der Familie) und seiner Schulerfahrung ein viel besserer Weg ist, um ein System zu beurteilen. Sie entdeckten, dass diese Beziehungen (die Steigungen) in ihrer Richtung meist konsistent waren – das heißt, die Theorie hielt stand – aber die Stärke dieser Beziehungen von Land zu Land variierte. Interessanterweise lagen die meisten Unterschiede in diesen Steigungen nicht zwischen den Ländern, sondern zwischen den Schulen innerhalb desselben Landes. Dies deutet darauf an, dass wir, wenn wir Probleme lösen oder verbessern wollen, nicht nur auf die nationale Politik schauen sollten, sondern darauf, was in spezifischen Schulen passiert.
Die Autoren prüften auch, ob ihre Ergebnisse nicht bloß ein Zufall waren, der durch die Art und Weise verursacht wurde, wie sie die Daten gezählt hatten. Sie probierten verschiedene Wege der Gewichtung der Zahlen aus, und die Ergebnisse blieben gleich. Sie fanden auch heraus, dass einige strukturelle Merkmale eines Landes, wie etwa die Segregation von Schulen (wie sehr Schüler aus unterschiedlichen Hintergründen voneinander getrennt sind), erklären könnten, warum die Steigungen in einigen Orten anders waren. Zum Beispiel: In Ländern, in denen die Schulen stärker gemischt waren, war die Verbindung zwischen gutem Abschneiden und dem sich gut Fühlen oft stärker.
Am Ende schlägt das Papier einen bedeutenden Wandel in der Art und Weise vor, wie wir internationale Bildungsberichte betrachten. Wir sollten die Anzeigetafel nicht völlig wegwerfen, aber wir sollten uns nicht auf sie verlassen, um zu bestimmen, wie glücklich oder motiviert Schüler sind. Die Anzeigetafel ist ein schwaches Werkzeug für Gefühle, weil sie den Kontext ignoriert. Der „Steigungs“-Ansatz ist wie der Wechsel von einem verschwommenen Gruppenfoto zu einem hochauflösenden Video, das zeigt, wie Schüler mit ihrer Welt interagieren. Er zeigt uns, dass die wichtigsten Unterschiede nicht zwischen Nationen bestehen, sondern zwischen den Schulen innerhalb dieser Nationen. Indem wir uns auf diese Beziehungen statt auf die Durchschnittswerte konzentrieren, können wir ein klareres, ehrlicheres Bild davon bekommen, wie Bildungssysteme das Leben junger Menschen prägen – und so von der bloßen Frage, wer am „besten“ ist, hin zu dem Verständnis gelangen, wie man die Dinge für alle besser machen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.