Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022
Diese Studie zeigt auf, dass die der PISA 2022-Plausibilitätswerte inhärente Obergrenze der Messpräzision die erreichbare Vorhersagegenauigkeit fundamental begrenzt und die Rangfolge der Prädiktoren über verschiedene Fachbereiche und Bildungssysteme hinweg destabilisiert, was erforderlich macht, dass Leistungsvergleiche und Modellinterpretationen auf diesen berechenbaren Messgrenzen basieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr absolvieren Millionen von Teenagern weltweit einen massiven Test namens PISA, der darauf ausgelegt ist, zu prüfen, wie gut sie Mathematik, Lesen und Naturwissenschaften verstehen. Die Ergebnisse werden von Regierungen und Pädagogen genutzt, um zu beurteilen, welche Schulen und Länder die beste Arbeit leisten. In den letzten Jahren haben Forscher begonnen, diese Testergebnisse zu nutzen, um Computermodelle zu erstellen, die versuchen, den Erfolg eines Schülers basierend auf dessen Hintergrund vorherzusagen, wie etwa dem Einkommen der Familie, den Büchern im Haushalt oder dem Schulklima. Diese Studien produzieren oft eine Rangliste der wichtigsten Faktoren und legen nahe, dass wir uns auf die obersten Punkte dieser Liste konzentrieren sollten, wenn wir die Ergebnisse verbessern wollen. Es gibt jedoch ein verborgenes Problem mit diesem Ansatz. Die für diese Studien verwendeten Testergebnisse sind keine direkten Beobachtungen der Leistungsfähigkeit eines Schülers. Stattdessen handelt es sich um statistische Schätzungen, die erstellt wurden, indem zehn verschiedene mögliche Zahlen für jeden Schüler aus einer Wolke von Möglichkeiten gezogen wurden. Da diese Zahlen Schätzwerte sind, enthalten sie ein gewisses Maß an eingebautem Rauschen oder Unsicherheit, das durch keine Menge an Daten jemals erklärt werden kann. Diese Unsicherheit setzt eine harte Grenze für die Genauigkeit, mit der ein Modell die Leistung eines Schülers vorhersagen kann – eine Grenze, die sich je nach dem getesteten Fach und dem Land, in dem der Test durchgeführt wurde, verändert.
Eine neue Studie von Jonas Mandalunes untersucht genau, wie sehr dieses verborgene Rauschen unsere Fähigkeit einschränkt, aus diesen massiven Tests zu lernen. Der Forscher nutzte die internationale Datenbank des PISA-Zyklus 2022, die Daten von über 600.000 Schülern aus 80 verschiedenen Bildungssystemen umfasst. Die Studie konzentrierte sich auf vier Bereiche: Mathematik, Lesen, Naturwissenschaften und eine neuere Ergänzung namens kreatives Denken. Die Kernfrage war simpel: Wie viel eines Schülerpunkts kann ein Computermodell tatsächlich erklären, und verändert dieser Grenzwert die Liste der Faktoren, die am meisten zu bedeuten scheinen? Um dies zu beantworten, berechnete der Forscher für jedes Fach in jedem Land eine „Obergrenze“ (Ceiling). Diese Obergrenze stellt die maximal mögliche Genauigkeit dar, die ein Vorhersagemodell jemals erreichen könnte, schlichtweg deshalb, weil die Testergebnisse selbst nicht perfekt sind. Die Studie ergab, dass diese Obergrenze stark variiert. Für kreatives Denken lag die Grenze je nach Land zwischen etwa 65 Prozent und fast 90 Prozent. Für Mathematik war die Spanne enger, aber dennoch variabel, von etwa 81 Prozent bis 93 Prozent. Das bedeutet, dass in einigen Orten kein Modell jemals mehr als zwei Drittel der Unterschiede in den Schülerpunkten erklären kann, während das Limit in anderen Orten viel höher liegt.
Die Studie ging weiter, um zu sehen, ob dieser Grenzwert die Rangfolge der Faktoren beeinflusst, die die Punktzahlen beeinflussen. Der Forscher ließ dieselben Computermodelle immer wieder laufen, wobei er jedes Mal eine andere der zehn möglichen Punktschätzungen für die Schüler verwendete. In den am präzisesten gemessenen Fächern blieb die Liste der wichtigsten Faktoren weitgehend gleich. Aber in den weniger präzisen Fächern, wie dem kreativen Denken, änderte sich die Liste dramatisch. Wenn der Forscher von einer Punktenschätzung zur anderen wechselte, tauschten mehr als 40 Prozent der obersten fünf Faktoren auf der Liste die Plätze. Das bedeutet, dass eine Studie, die eine einzige Liste der „wichtigsten“ Faktoren angibt, im Wesentlichen nur eine einzige zufällige Momentaufnahme einer viel breiteren, sich verschiebenden Realität zeigt. Hätte der Forscher eine andere Punktenschätzung gewählt, hätte er vielleicht zu dem Schluss gekommen, dass ein völlig anderer Satz von Faktoren den Erfolg der Schüler antreibt.
Ein weiterer kritischer Befund betraf die Art und Weise, wie die Daten aufgeteilt wurden, um die Modelle zu testen. Viele Studien mischen Schüler aus verschiedenen Schulen zufällig in Trainings- und Testgruppen. Die neue Forschung zeigte, dass diese Methode eine falsche Genauigkeit suggeriert. Da Schüler derselben Schule dazu neigen, sich ähnlich zu sein, kann ein Modell, das während des Trainings Schüler einer bestimmten Schule sieht, muster lernen, die spezifisch für diese Schule sind, anstatt etwas über die Schüler selbst zu lernen. Als der Forscher das Modell dazu zwang, ganze Schulen während des Trainings und Testens getrennt zu halten, sank die vorhergesagte Genauigkeit signifikant. In einigen Fällen war der Rückgang massiv und offenbarte, dass frühere Studien ihre Ergebnisse um bis zu 0,36 Punkte aufgebläht hatten, einfach weil sie die Schulstruktur nicht berücksichtigt hatten. Die Größe dieser Inflation hing von der Anzahl der Schulen in der Studie ab, nicht von der Komplexität des verwendeten Computermodells.
Die Studie untersuchte auch, warum sich die Präzision der Punktzahlen zwischen den Fächern so stark unterschied. Sie fand heraus, dass die Präzision der Punktzahlen tendenziell abnimmt, je mehr ein Test auf menschliche Bewerter für offene Antworten angewiesen ist, insbesondere in sehr großen Ländern. Kreatives Denken, das vollständig von Menschen bewertet wurde, die schriftliche Antworten lasen, zeigte die größte Variation in der Präzision. Im Gegensatz dazu war Mathematik, das größtenteils von Maschinen bewertet wird, konsistenter. Dies deutet darauf hin, dass die Art und Weise, wie ein Test durchgeführt und bewertet wird, ebenso wichtig ist wie die Fragen selbst, wenn es darum geht, wie viel wir aus den Ergebnissen lernen können.
Die Implikationen dieser Erkenntnisse sind eindeutig für jeden, der Bildungsdaten verstehen möchte. Man kann die Leistung eines Modells in einem Land nicht mit der Leistung in einem anderen Land oder in einem anderen Fach vergleichen, ohne zuerst die Präzisions-Obergrenze für diesen spezifischen Kontext zu kennen. Ein Modell, das 45 Prozent der Varianz in einem Land mit einer niedrigen Obergrenze erklärt, arbeitet eigentlich recht gut und erfasst den Großteil dessen, was man wissen kann. Dasselbe Modell in einem Land mit einer hohen Obergrenze könnte schlecht abschneiden und viel vom Signal unerklärt lassen. Des Weiteren sollte jede Liste wichtiger Faktoren, die aus diesen Tests abgeleitet wurde, mit Vorsicht behandelt werden. Da die Rangfolgen je nach verwendeter Punktenschätzung so stark schwanken, ist eine einzelne Liste kein stabiles Faktum, sondern eine temporäre Realisierung. Die Studie kommt zu dem Schluss, dass Forscher immer die Präzisions-Obergrenze zusammen mit ihren Ergebnissen angeben und ihre Modelle über alle möglichen Punktenschätzungen hinweg testen sollten, um zu sehen, ob ihre Schlussfolgerungen standhalten. Ohne diese Überprüfungen könnten die Ranglisten und Vergleiche, die die Bildungspolitik leiten, auf einem Fundament aus statistischem Rauschen statt auf soliden Beweisen aufgebaut sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.