When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

Alle paar Jahre findet in Klassenzimmern auf der ganzen Welt ein massives globales Experiment statt. Hunderttausende Fünfzehnjährige setzen sich, um dieselben Tests in Mathematik, Lesen und Naturwissenschaften zu absolvieren. Dies ist das Programm für internationale Schülerleistung, bekannt als PISA. Die Ergebnisse sind mehr als nur ein Zeugnis für Schulen; sie sind eine Momentaufnahme davon, wie gut die Jugend eines Landes auf die Zukunft vorbereitet ist. Da die Tests in Zyklen stattfinden, können Forscher zurückblicken und sehen, ob ein Land im Laufe der Zeit besser oder schlechter wird. Doch es gibt eine verborgene Komplikation in diesem Vergleich. Die Schüler, die den Test absolvieren, sind von einem Jahr zum nächsten nicht immer dasselbe Teilstück der Bevölkerung. In einigen Ländern erreicht der Test vielleicht fast jeden Fünfzehnjährigen, während er in anderen vielleicht nur einen kleinen Bruchteil erreicht. Wenn sich die Gruppe der Schüler ändert, kann sich der Durchschnittswert einfach deshalb verschieben, weil sich die Zusammensetzung der Menschen geändert hat, und nicht, weil die Schüler selbst mehr oder weniger gelernt haben. Um dies zu beheben, nutzt die Organisation, die die Tests durchführt, eine spezielle mathematische Anpassung. Sie versucht zu schätzen, welche Punktzahlen die leistungsstärksten Schüler erzielt hätten, wenn der Test jeden einzelnen Fünfzehnjährigen im Land erreicht hätte, nicht nur diejenigen, die tatsächlich teilgenommen haben. Diese bereinigte Zahl soll ein faires Maß sein, um Fortschritte über verschiedene Jahre und verschiedene Nationen hinweg vergleichen zu können.

Zwei Forscher, Jonas A. Mandalunes und Danica Jane S. Mandalunes, beschlossen zu untersuchen, wie fragil diese Anpassung wirklich ist. Sie konzentrierten sich auf das kritischste Teil des Puzzles: die Gesamtzahl der Fünfzehnjährigen in jedem Land. Diese Zahl fungiert als Nenner, oder der untere Teil des Bruchs, der bestimmt, wie groß die Anpassung ausfallen muss. Die Forscher stellten eine einfache, aber tiefgreifende Frage: Was passiert mit den Endergebnissen, wenn man diesen unteren Wert ändert? Sie gingen nicht davon aus, dass eine Quelle der Bevölkerungsdaten perfekt und die andere falsch sei. Stattdessen behandelten sie zwei verschiedene Wege der Zählung von Fünfzehnjährigen als zwei verschiedene Szenarien. Ein Szenario nutzte die Zahlen, die nationale Regierungen offiziell an die Testorganisatoren übermittelt hatten. Das andere Szenario nutzte eine weithin respektierte globale Projektion des Bevölkerungswachstums der Vereinten Nationen. Indem sie die gesamte Trendanalyse zweimal durchführten – einmal mit den offiziellen Zahlen und einmal mit den globalen Projektionen – konnten sie sehen, wie sehr sich die Geschichte des Fortschritts eines Landes änderte, je nachdem, welche Zählung verwendet wurde.

Die Forscher untersuchten Daten aus dreiundsiebzig Volkswirtschaften zwischen 2018 und 2022. Sie fanden heraus, dass sich die offizielle Zählung der Fünfzehnjährigen, die von den Testorganisatoren verwendet wurde, an vielen Orten signifikant änderte. Im Durchschnitt betrug der Unterschied in der Abdeckungsrate zwischen den beiden Jahren fast zwei Prozentpunkte, aber in einigen Fällen war die Änderung massiv und schwankte um bis zu siebenundzwanzig Punkte in die eine Richtung oder fünfundvierzig in die andere. Als sie untersuchten, warum diese Zahlen sich änderten, entdeckten sie, dass die Verschiebung in den meisten Fällen aus der Erhebung selbst kam – das heißt, der Test erreichte einen anderen Anteil der eingeschriebenen Schüler – und nicht etwa daraus, dass sich die Anzahl der tatsächlich eingeschriebenen Schüler geändert hatte. Diese Unterscheidung ist entscheidend, denn sie bedeutet, dass ein steigender Wert nicht zwangsläufig bedeuten muss, dass mehr Kinder zur Schule gehen; es kann lediglich bedeuten, dass der Test eine andere Gruppe von ihnen erreicht hat.

Die auffälligste Erkenntnis war, wie sensibel die endgültigen Trends auf diesen Nenner reagierten. Als die Forscher die offizielle Bevölkerungszählung durch die Projektion der Vereinten Nationen ersetzten, verschob sich die geschätzte Veränderung der Testergebnisse dramatisch. In der Mathematik betrug der durchschnittliche Unterschied zwischen den beiden Szenarien etwa 3,4 Punkte. Im Lesen waren es 3,5 Punkte und in den Naturwissenschaften 3,4 Punkte. Um dies in Perspektive zu setzen: Die Testorganisator veröffentlichen einen Standardwert für den „Verknüpfungsfehler“ (link error), um den Lesern zu helfen, den Spielraum der Unsicherheit in ihren Trends zu verstehen. Für Mathematik liegt dieser Wert bei 2,24 Punkten. Der Unterschied, der allein durch die Änderung der Bevölkerungszählung verursacht wurde, war in achtunddreißig von neunundsechzig Ländern größer als dieser Standard-Unsicherheitsbereich. Im Lesen überstieg er den Spielraum in zweiundfünfzig Ländern und in den Naturwissenschaften in einundfünfzig Ländern. Dies bedeutet, dass für die Mehrheit der untersuchten Länder die Wahl der verwendeten Bevölkerungszahl wichtiger war als die statistische Unsicherheit, die normalerweise mit dem Test selbst assoziiert wird.

Die Forscher untersuchten auch, was passiert, wenn die Mathematik an eine Grenze stößt. Das Anpassungsverfahren geht davon aus, dass der Test weniger Schüler erreicht hat, als tatsächlich im Land existieren. In einigen spezifischen Fällen deutete die Mathematik jedoch darauf hin, dass der Test mehr Schüler erreicht hatte als die offizielle Bevölkerungszahl. Wenn dies geschah, musste das Verfahren eine Sonderkorrektur vornehmen: Es setzte das zusätzliche Gewicht einfach auf Null und gab den Rohwert der Schüler an, die den Test absolviert hatten, wodurch die Anpassung effektiv abgeschaltet wurde. Dies geschah in Ländern wie Korea und Irland im Jahr 2022. Die Forscher zeigten, dass dieser Wechsel von einem bereinigten Wert zu einem Rohwert einen plötzlichen Bruch in den Daten erzeugt. Es ist kein glatter Übergang; es ist ein harter Stopp, bei dem sich die Methode vollständig ändert. Sie merkten auch an, dass in einigen Fällen die offizielle Bevölkerungszahl höher war als die Anzahl der Schüler, die der Test zu erreichen vorgab, was unmöglich sein sollte, wenn die Definitionen perfekt aufeinander abgestimmt wären. Dies deutet darauf hin, dass die Definitionen dessen, wer als „Fünfzehnjähriger“ zählt oder wer „eingeschrieben“ ist, zwischen den Testorganisatoren und den Bevölkerungsstatistikern abweichen könnten.

Die Studie kam nicht zu dem Schluss, dass eine der Bevölkerungszählungen die wahre und die andere die falsche sei. Die Forscher waren vorsichtig und stellten klar, dass weder die offiziellen Regierungszahlen noch die Projektionen der Vereinten Nationen die absolute Wahrheit darstellen. Die offiziellen Zahlen lassen oft Details darüber vermissen, wann genau die Zählung vorgenommen wurde oder welche spezifische Definition von „Ansässigkeit“ verwendet wurde. Die globalen Projektionen sind Modelle, die auf Annahmen basieren. Das Kernproblem ist, dass der endgültige Trendwert stark von einer Zahl abhängt, die nicht vollständig erklärt oder konsistent ist. Die Forscher fanden heraus, dass die Unterschiede bestehen blieben, selbst als sie versuchten, die Daten zu bereinigen, indem sie Länder mit bekannten territorialen Streitigkeiten oder inkonsistenten Aufzeichnungen entfernten. Die Lücke zwischen den beiden Szenarien verschwand nicht; sie verschob sich lediglich geringfügig. Dies deutet darauf hin, dass die Sensitivität ein grundlegendes Merkmal der aktuellen Methode ist und nicht nur ein Ergebnis ungeordneter Daten.

Am Ende argumentieren die Forscher, dass die Art und Weise, wie diese Trends berichtet werden, sich ändern muss, um ehrlicher mit dieser Unsicherheit umzugehen. Sie empfehlen, dass die Testorganisatoren genau angeben, woher die Bevölkerungszahlen stammen, einschließlich des Datums und der verwendeten spezifischen Definition. Sie schlagen vor, dass jeder gemeldete Trend von einem Bereich begleitet werden sollte, der zeigt, wie das Ergebnis aussehen würde, wenn eine andere, angemessene Bevölkerungszählung verwendet würde. Dies wäre kein Konfidenzintervall im statistischen Sinne, sondern eine klare Aussage darüber, wie sehr das Ergebnis vom Nenner abhängt. Schließlich schlagen sie vor, dass, falls die Mathematik aufgrund nicht zusammenpassender Zahlen versagt, der bereinigte Wert nicht stillschweigend korrigiert oder verborgen werden sollte, sondern markiert und zurückgehalten werden sollte, bis die Eingabewerte abgeglichen wurden. Die Studie zeigt, dass die Geschichte darüber, wie Länder sich verbessern oder verschlechtern, real ist, aber die spezifischen Zahlen, die wir verwenden, um diese Geschichte zu erzählen, weit zerbrechlicher sind, als sie scheinen. Die Trends existieren, aber ihre genaue Größenordnung ist an die Wahl von Zahlen gebunden, die derzeit im Dunkeln getroffen wird.