Substituting National-IQ and Harmonized-Learning Indicators: An Output-Specific Replication and Sensitivity Audit
Diese Arbeit führt eine Sensitivitätsprüfung durch, die nationale IQ-Werte mit harmonisierten Lernindikatoren vergleicht, wobei sie hohe Korrelationen und ähnliche Rangverteilungen feststellt, jedoch zu dem Schluss kommt, dass die Datensätze trotz ihrer statistischen Ähnlichkeiten nicht austauschbar oder kausal äquivalent sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Untersuchung von Nationen versuchen Forscher oft, die kollektive geistige Kapazität der Bevölkerung eines Landes zu messen. Ein Ansatz besteht darin, Scores aus Intelligenztests zu erstellen, die an kleinen Gruppen von Individuen durchgeführt wurden, und diese zu einem nationalen Schätzwert zu mitteln. Ein anderer Ansatz betrachtet die Ergebnisse standardisierter Prüfungen, die Millionen von Schulkindern in Mathematik, Lesen und Naturwissenschaften ablegen. Jahrelang wurden diese zwei verschiedenen Datensätze miteinander verglichen. Wenn sie sich gemeinsam bewegen – wenn Länder mit hohen Testergebnissen auch hohe geschätzte Intelligenzwerte aufweisen – haben einige angenommen, dass die beiden Maße im Wesentlichen dasselbe sind, austauschbare Werkzeuge, die in der Forschung ohne Änderung der Aussage verwendet werden können. Diese Annahme ist verlockend, da sie die komplexe Aufgabe des Vergleichs von Nationen vereinfacht. Eine hohe Korrelation zwischen zwei Listen von Zahlen bedeutet jedoch nicht automatisch, dass sie über jedes einzelne Land dieselbe Geschichte erzählen, noch garantiert sie, dass sie zu denselben Schlussfolgerungen führen, wenn sie zur Vorhersage des wirtschaftlichen Erfolgs verwendet werden.
Ein kürzlich durchgeführter Audit des unabhängigen Forschers Georgios Kiminos stellt diese Annahme in Frage, indem er die beiden Maße nicht als identische Zwillinge behandelt, sondern als zwei verschiedene Instrumente, die gegen spezifische Fragen getestet werden müssen. Die Studie stellt eine praktische, wenn auch unglamouröse Frage: Wenn ein Forscher einen nationalen Intelligenzscore durch einen harmonisierten Lernwert ersetzt, ändert sich dann das Ranking der Länder? Bleibt die Liste der Top-Performer-Nationen dieselbe? Hält die Verbindung zwischen diesen Werten und dem Reichtum eines Landes stand? Um dies zu beantworten, sammelte der Forscher Daten für genau sechsundsechzig Volkswirtschaften, für die beide Arten von Werten verfügbar waren. Er führte eine Reihe von Prüfungen durch und verglich dabei, wie die Länder gegeneinander aufgestellt waren, welche Nationen an der Spitze und am Ende der Listen erschienen und wie stark jede Liste das Bruttoinlandsprodukt pro Kopf im Jahr 2017 vorhersagte.
Die Ergebnisse zeigen, dass die beiden Maße zwar eng miteinander verwandt, aber nicht austauschbar sind. Als der Forscher die Rankings der sechsundsechzig Länder verglich, bewegte sich das durchschnittliche Land beim Wechsel vom Intelligenzscore zum Lernwert fast zehn Positionen auf der Liste nach oben oder unten. Obwohl das allgemeine Muster ähnlich blieb, änderte sich die spezifische Reihenfolge in einem Maße, das von Bedeutung war. Betrachtet man beispielsweise die Gruppe der führenden Nationen, stimmten die beiden Listen nur bei vier der sieben besten Ländern überein. Am unteren Ende der Liste stimmten sie nur bei zwei der sieben am schlechtesten bewerteten Nationen überein. Das bedeutet, dass ein Land, das in einem System als führend gilt, in einem anderen als lediglich durchschnittlich angesehen werden kann, und eine Nation, die in einem System kämpft, in einem anderen weniger prekär erscheinen mag. Die beiden Maße sind wie zwei verschiedene Karten desselben Geländes: Sie zeigen die gleiche allgemeine Form der Landschaft, aber wenn man versucht, zu einem spezifischen Ziel zu navigieren, kann die Route, die sie vorschlagen, erheblich variieren.
Die Studie untersuchte auch, wie gut diese Werte den wirtschaftlichen Wohlstand eines Landes vorhersagten. In dieser spezifischen Gruppe von fünfundsechzig Ländern zeigten die Lernwerte eine etwas stärkere Verbindung zu Wohlstand als die Intelligenzscores. Der Unterschied war jedoch so geringfügig, dass statistische Tests nicht bestätigen konnten, dass es sich um einen realen, zuverlässigen Vorteil handelte, der nicht ein Zufallsprodukt der spezifischen Stichprobe war. Der Forscher stellte fest, dass das Ergebnis davon abhing, wie die Daten konstruiert wurden. Wenn die Stichprobe geändert wurde, um andere Länder einzubeziehen, oder wenn die Daten gewichtet wurden, um die Bevölkerungsgröße widerzuspiegeln, anstatt jedes Land als gleich zu behandeln, verschob sich die Größe des Unterschieds zwischen den beiden Maßen. In einigen Variationen sahen die Lernwerte bei der Vorhersage des Wohlstands wesentlich besser aus; in anderen verringerte sich der Abstand oder kehrte sich sogar um. Entscheidend war, dass die Studie fand, dass die Richtung des Unterschieds in der Primäranalyse konsistent blieb, die Größenordnung dieses Unterschieds jedoch vollständig davon abhing, welche Länder einbezogen wurden und wie die Daten gewichtet wurden.
Diese Arbeit dient als Warnung für jeden, der nationale Daten für breite Vergleiche verwendet. Der Audit zeigt, dass eine hohe Korrelation kein Zauberstab ist, der zwei verschiedene Maße identisch macht. Nur weil zwei Listen von Zahlen gemeinsam verlaufen, bedeutet das nicht, dass sie über die Details übereinstimmen, noch dass sie zu denselben politischen Entscheidungen oder Forschungsergebnissen führen. Der Forscher erklärte nicht, dass ein Maß dem anderen überlegen sei, noch bewies er, dass eines davon ungültig sei. Stattdessen hebt die Studie hervor, dass die Wahl des verwendeten Wertes entscheidend ist. Sie zeigt, dass der Austausch eines Indikators gegen einen anderen das Ranking der Nationen verändern, die Identifizierung von Ausreißern beeinflussen und die Stärke ihrer Beziehung zu wirtschaftlichen Ergebnissen verschieben kann. Die Ergebnisse legen nahe, dass Forscher, bevor sie ein Maß durch ein anderes ersetzen, genau definieren müssen, was sie bewahren wollen – das spezifische Ranking, die Klassifizierung der Top-Performer oder die Verbindung zu einem Ergebnis – und testen müssen, ob das neue Maß dieses Fundament tatsächlich hält. Ohne eine solche Prüfung bleibt der Austausch eine unverifizierte Vermutung, und die daraus gezogenen Schlussfolgerungen könnten fragiler sein, als sie scheinen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.