Which disadvantaged students beat the odds in STEM? A design-consistent, fairness-audited machine learning study of 143,573 adolescents in 79 PISA 2022 education systems
Diese Studie verwendet einen designkonsistenten, auf Fairness geprüften Machine-Learning-Ansatz auf Basis von PISA 2022-Daten von 143.573 benachteiligten Jugendlichen aus 79 Bildungssystemen, um zu identifizieren, dass die Selbstwirksamkeit in Mathematik zwar der stärkste universelle Prädiktor für STEM-Resilienz ist, die prädiktiven Modelle jedoch signifikante Einschränkungen bei der Übertragbarkeit sowie systematische Verzerrungen gegenüber Mädchen und ländlichen Schülern aufweisen, was die Notwendigkeit kontextspezifischer und gerechterer Screening-Strategien unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr setzen sich Millionen von Fünfzehnjährigen auf der ganzen Welt standardisierten Tests aus, die messen, wie gut sie Mathematik und Naturwissenschaften verstehen. Seit Jahrzehnten kennen Forscher eine einfache, hartnäckige Wahrheit über diese Ergebnisse: Der Wohlstand der Familie eines Schülers ist einer der stärksten Prädiktoren für dessen Punktzahl. Kinder aus ärmeren Verhältnissen erzielen tendenziell niedrigere Werte, während Kinder aus wohlhabenderen Haushalten tendenziell höhere erzielen. Diese Kluft ist von großer Bedeutung, da die Kompetenz in diesen Fächern das Tor zu Karrieren in den Bereichen Wissenschaft, Technologie, Ingenieurwesen und Mathematik ist. Dennoch ist die Geschichte nicht vollständig deterministisch. In jedem Land, das an diesen Tests teilnimmt, gibt es Schüler aus dem ärmsten Viertel der Haushalte, die die Chancen überwinden. Sie erreichen hohe Leistungen sowohl in Mathematik als auch in den Naturwissenschaften und beweisen damit, dass Benachteiligung Erfolg nicht unmöglich macht. Diese Schüler werden oft als „akademisch resilient“ bezeichnet. Die Frage, die Pädagogen und politische Entscheidungsträger seit langem beschäftigt, ist nicht nur, wer diese Schüler sind, sondern welche Faktoren ihnen zum Erfolg verhelfen. Ist es ihr eigenes Selbstvertrauen? Die Unterstützung ihrer Lehrer? Die Ressourcen, die in ihren Schulen zur Verfügung stehen?
Lange Zeit beruhte die Beantwortung dieser Frage auf traditioneller Statistik, die oft Schwierigkeiten hat, das komplex aneinandergeknüpften Geflecht der Faktoren zu entwirren, die das Leben eines Schülers beeinflussen. Vor kurzem haben Forscher begonnen, maschinelles Lernen zu verwenden – eine Art von Computerprogramm, das Muster in riesigen Datenmengen finden kann –, um nach Antworten zu suchen. Viele dieser frühen Versuche machten jedoch Abkürzungen und ignorierten die spezifische Art und Weise, wie die Testdaten erhoben wurden. Sie behandelten die Daten wie eine einfache Namensliste statt wie eine sorgfältig konzipierte Umfrage und testeten ihre Modelle oft nur an denselben Daten, die sie auch für den Aufbau verwendet hatten, ohne zu prüfen, ob die Ergebnisse in einem anderen Land Bestand hätten. Eine neue Studie, die im Jahr 2026 unter der Leitung von Omar Allohibi von der Taibah University veröffentlicht wurde, setzt daraufhin an, diese Probleme zu lösen. Durch die Analyse von Daten von 143.573 benachteiligten Jugendlichen aus 79 verschiedenen Bildungssystemen entwickelten sie ein Modell des maschinellen Lernens, das darauf ausgelegt ist, vorherzusagen, welche Schüler die Chancen überwinden würden. Entscheidend war, dass sie das Modell mit äußerster Sorgfalt bauten, um das Design der Umfrage zu respektieren, es an Ländern testeten, die es zuvor noch nie gesehen hatte, und prüften, ob es verschiedene Schülergruppen fair behandelte.
Die Studie begann mit der Definition dessen, was „die Chancen überwinden“ genau bedeutete. Sie konzentrierten sich ausschließlich auf Schüler aus dem untersten Viertel der sozioökonomischen Skala in jedem Land. Anschließend suchten sie nach jenen, die ein bestimmtes Kompetenzniveau sowohl in Mathematik als auch in den Naturwissenschaften erreichten – ein Standard, der hoch genug war, um darauf hinzudeuten, dass sie bereit für fortgeschrittenes Studium sind. Sie fanden heraus, dass weltweit nur etwa 12,5 Prozent dieser benachteiligten Schüler diese hohe Hürde nahmen. Die Rate variierte extrem von Land zu Land, von weniger als einem Zehntel Prozent in einigen Systemen bis hin zu 62 Prozent in Singapur. Diese Variation deutete darauf hin, dass das Umfeld des Schulsystems selbst eine massive Rolle dabei spielt, ob ein Schüler erfolgreich sein kann.
Als sie ihr Modell des maschinellen Lernens darauf trainierten, vorherzusagen, welche Schüler resilient seien, lieferte es eine bemerkenswerte Genauigkeit. Das Modell konnte zwischen kämpfenden und erfolgreichen Schülern weitafter unterscheiden als eine einfache Schätzung basierend auf dem Durchschnitt der jeweiligen Länder. Der stärkste Prädiktor, den das Modell fand, war nicht eine Schulressource oder das Einkommensniveau der Familie, sondern der Glaube des Schülers an seine eigene Fähigkeit, Mathematik zu betreiben. Dieses Gefühl, bekannt als Selbstwirksamkeit, war der stärkste Einzelfaktor über alle 79 Länder hinweg. Schüler, die glaubten, Mathematikaufgaben lösen zu können, waren weitaus wahrscheinlicher erfolgreich, selbst wenn sie mit erheblichen Benachteiligungen konfrontiert waren. Andere Faktoren, wie der Zugang zu Computern zu Hause und die Fähigkeit, Stress zu widerstehen, spielten ebenfalls wichtige Rollen. Interessanterweise fand das Modell auch, dass Schüler, die außerhalb der Schule bezahlte Arbeit verrichteten, weniger wahrscheinlich resilient waren, was wahrscheinlich daran lag, dass sie weniger Zeit zum Lernen hatten.
Die Studie deckte jedoch eine kritische Einschränkung in der Art und Weise auf, wie diese Modelle oft verwendet werden. Als sie ein, an Daten aus vielen Ländern trainiertes Modell nahmen und versuchten, die Ergebnisse in einem einzelnen, bisher ungesehenen Land vorherzusagen, sank die Genauigkeit signifikant. Obwohl das Modell immer noch nützlich war, war es nicht so zuverlässig, wie die globalen Zahlen vermuten ließen. Viel wichtiger war, dass die spezifischen Faktoren, die in einem Land am wichtigsten waren, oft andere waren als die Faktoren, die in einem anderen Land entscheidend waren. Die einzige Ausnahme war der Glaube an die eigene mathematische Leistungsfähigkeit, der in jedem Land der wichtigste Prädiktor blieb. Dieser Befund stellt die Vorstellung infrage, dass es eine einzige, universelle Liste von „Schlüsseln für den Erfolg“ gibt, die für jede Kultur und jedes Bildungssystem gleichermaßen gilt. Stattdessen legt er nahe, dass zwar das Selbstvertrauen ein universeller Motor für den Erfolg ist, die anderen unterstützenden Faktoren jedoch stark vom lokalen Kontext abhängen.
Sie führten auch ein Fairness-Audit durch, um zu sehen, ob das Modell alle Schüler gleich behandelte. Sie entdeckten, dass das Modell zwar im Durchschnitt genau war, aber unterschiedliche Arten von Fehlern bei verschiedenen Gruppen machte. Es war signifikant weniger wahrscheinlich, resiliente Mädchen korrekt zu identifizieren als resiliente Jungen. Es war auch viel weniger wahrscheinlich, resiliente Schüler aus ländlichen Gebieten im Vergleich zu denen aus Städten zu erkennen. Als sie das Geschlecht aus den Eingabedaten des Modells entfernten, verschwand die Lücke bei den Mädchen, was darauf hindeute, dass das Modell gelernt hatte, das Geschlecht als eine Abkürzung zu nutzen, die gegen Mädchen arbeitete. Das Entfernen des ländlichen Standorts aus dem Modell behob den Unterschied für die ländlichen Schüler jedoch nicht. Dies deutete darauf hin, dass das Problem für die Schüler in ländlichen Gebieten nicht die Voreingenommenheit des Modells war, sondern die Tatsache, dass die allgemeinen Bedingungen in ländlichen Gebieten den Erfolg schwieriger vorhersehbar machten.
Die Studie kommt zu dem Schluss, dass maschinelles Lernen uns zwar helfen kann, die Faktoren hinter der akademischen Resilienz zu verstehen, wir aber vorsichtig sein müssen, wie wir diese Werkzeuge einsetzen. Die wichtigste Erkenntnis ist, dass das Vertrauen in die eigene Fähigkeit, Mathematik zu lernen, eine kraftvolle, universelle Kraft ist, die benachteiligten Schülern zum Erfolg verhelfen kann. Aber sich auf ein einziges globales Modell zu verlassen, um Entscheidungen für jeden Schüler in jedem Land zu treffen, ist riskant. Die Faktoren, die den Erfolg vorantreiben, sind nicht überall dieselben, und ein Modell, das an einem Ort gut funktioniert, könnte an einem anderen Ziel verfehlen. Wenn diese Werkzeuge zudem dazu verwendet werden, Schüler für Förderprogramme zu identifizieren, müssen sie sorgfältig überprüft werden, um sicherzustellen, dass sie nicht systematisch Mädchen oder Schüler in ländlichen Gemeinden übersehen. Indem Forscher die Komplexität der Daten respektieren und Modelle in der realen Welt testen, in der sie eingesetzt werden sollen, können sie Werkzeuge bauen, die der Bildungsgerechtigkeit wirklich dienen, anstatt versehentlich die Klüfte zu vertiefen, die sie eigentlich schließen wollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.